江苏龙网

  1. 主页 > 生活百科 > >

“AI换脸”诈骗防不胜防

AI换脸

转自：北京商报
员工被要求向指定账户转账，老板却是AI换脸后的“冒牌货”？就在2月 ， 一则涉案金额高达2亿港元的AI换脸诈骗案引发了高度关注 。
如果说2023 年是生成式AI的元年，那么2024年它又迎来了新的爆发 。ChatGPT带来人工智能革命性的突破，Sora的横空出世，又将人们带入视频生成全新领域 。而在各种新鲜技术层出不穷的当下，不法分子通过AI换脸诈骗的隐患也随之滋生 。问题随之而来：AI换脸怎么实现的？有没有好的方法甄别？此类风险又该如何预防？

“AI换脸”诈骗防不胜防

文章插图
AI诈骗横行
根据香港警方披露 ， 一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，按照高管们的安排，先后15次将2亿港元转到指定的账户 。没承想，其他“参会人员”都是经过AI换脸后的诈骗人员 。
事后调查发现，诈骗人在开始行动前，早已搜集好了公司高层的媒体采访、视频平台的相关内容，并拿到英国总公司高层管理人员的形象和声音，利用Deepfake（深度伪造）技术，制作出高层人员的发言视频 。而诈骗人在视频会议当天直接使用提前制作好的视频，由于视频会议的内容基本上是总公司的高管们单方面向其他人下达命令 ， 会议期间并没有暴露真相 。
此次诈骗事件中的“Deepfake”技术 ， 在早年就已经引起过轰动 。这样的深度伪造技术指基于AI人工智能技术进行人体图像的合成 。目前使用AI的深伪技术已经能达到还原度很高的换脸效果，再结合语音伪造技术 ， 就能做到“造人” 。
香港2亿港元诈骗案并不是个例 。近日，陕西西安财务人员张女士与老板视频通话，被要求转账186万元到一个指定账号 。被害人张女士称，“老板”让把这个款赶紧转过去，这笔款要得非常着急，因为“老板”声音还有视频图像都跟他本人是一样的，所以并未起疑 。当然，这同样是一场骗局 。
种种案件的发生 ， 已经昭示着AI诈骗离我们不再遥远 。电信诈骗不法分子通常会换脸成亲人、朋友、同事等 ， 向受害人索取钱财，视频的方式看似可信度高 ， 却也让受害人放松了警惕 。
【“AI换脸”诈骗防不胜防】已有检测算法辨别换脸
“眼见不一定为实”“有图有视频也不一定是真相”的时代已经来临 。AI技术革新催生了花样繁杂的诈骗手段 ， 对于普通人来说，了解技术背后的原理 ， 才能“知己知彼” 。
事实上，AI换脸背后的技术逻辑并不复杂 。“简单来讲，AI换脸主要使用的就是深度合成技术 。”中国信通院人工智能中心安全与元宇宙部主任石霖介绍道，首先使用大量的人脸数据，通过深度学习算法和神经网络，训练模型识别和理解人脸的关键特征 ， 这些特征主要包括五官的位置、表情、光照等 。在换脸的过程中，使用训练好的模型提取原始人脸照片或视频的特征，然后将目标人脸与之相匹配，实现这些特征的转移 。
石霖补充到，前几年，实现AI换脸存在一定的门槛，通常需要高质量的数据集对模型进行训练和微调 ， 让模型能够准确地识别和提取面部特征；在制作换脸视频的过程中，需要足够的算力资源来支撑模型的运行 。然而当前，已经有很多相对成熟的深度合成的开源项目或者工具 。“可以说AI换脸的成本正在逐步降低，速度和拟真度正在不断提升，已经达到了快速制作一段肉眼难以辨别的换脸视频的程度 。”
不过与此同时，当前AI换脸的一些技术弱点仍然存在 。石霖指出 ， 一些换脸的视频会存在光照、表情等不够自然、帧与帧之间不够连贯的问题，尽管随着模型能力的提升，这些换脸的痕迹已经做到几乎肉眼难以辨别的程度，但我们仍然可以通过一些专用的检测算法进行辨别 。这些检测算法在训练过程中大量学习了换脸视频中伪造特征的方式 ， 在使用的过程中逐帧提取特征，从而判断一段视频是否经过了换脸 。当前，这些技术已经开始用在金融场景中，实现对诈骗等行为的识别 。
那么，这些鉴别技术应用于反诈领域 ， 前景如何？不得不承认，网络信号与算力仍是待解决的难题 。“由于这些技术仍然需要大量的计算资源特别是GPU的支持，因此，通常在使用过程中 ， 需要将相关的检测模型部署在服务器中 。但如果想要将这些检测模型部署在手机、个人电脑中，或嵌入到社交、会议软件里，可能会对软硬件的使用体验造成较大的影响 。近年来，很多技术企业已经开始尝试不断优化检测模型 ， 探索将模型部署在端侧 。”石霖说道 。


推荐阅读


上一篇：与OpenAI合作13天后，Figure人形机器人展示与人类对话能力

下一篇：如何在视频号上做出10w+的火爆视频