实时深度伪造技术，即舞弊者使用人工智能生成的视频或音频来复制某人的声音、图像和动作，以此进行舞弊行为，这是舞弊手法的新趋势。本文作者详细介绍了这些实时深度伪造欺诈手段及其应对策略。

今年二月，一位跨国公司的员工参加了一次虚拟会议，以为对方是公司的首席财务官及其他几位同事。最初，他对接收到关于此次会议的消息感到怀疑，因为这封邮件提及了一笔需要保密的重要交易，让他感觉像是钓鱼邮件。但随着会议的开始，看到参会人员都是他认识的人之后，他的疑虑逐渐消散。然而，事实上，电话会议中的其他人全都是通过精心制作的实时深度伪造视频再现的，舞弊者利用人工智能复制了参会者的语音、图像和动作。在会议中，“假CFO”指示该员工将2500万美元转账到香港的多个银行账户即犯罪分子的账户中。虽然这位员工身在香港，但虚拟会议中的参与者却看似身处伦敦。直到后来他向公司总部求证时，才得知自己被骗了。（参考Heather Chen和Kathleen Magramo在CNN上发表的文章《金融员工在与深度伪造的“首席财务官”视频通话后支付2500万美元》，日期为2024年2月4日。）

2024年4月，舞弊者通过实时的深度伪造视频冒充特斯拉CEO埃隆·马斯克，骗得一名韩国女子400万印度卢比（大约5万美元）。这是一起结合了高科技的情感诈骗案，受害者误以为埃隆·马斯克在Instagram上把她加为了好友。后来，在一个深度伪造的视频里，“他”向她表白并说服她把钱存入韩国的一个银行账户，同时许诺她将会因此变得非常有钱。参考文献：• 《韩国女子在涉及深度伪造视频的埃隆·马斯克情感诈骗中损失4万英镑》作者：Shweta Sharma来源：独立报日期：2024年4月24日• 《德雷克的假图帕克、价值5万美元的埃隆·马斯克情感诈骗以及AI生成的种族主义言论：深度伪造正在威胁社会》作者：Jasmine Li来源：财富杂志日期：2024年4月29日

这只是实时深度伪造用于舞弊的个别几个例子——舞弊者正在采用这种新技术实施舞弊行为。“深度伪造”是新闻报道中常用的术语，用来概括所有种类的人工智能生成的舞弊活动，其中包括预先录制的深度伪造视频和实时发生的深度伪造。本文将着重讨论当前流行的深度伪造舞弊——即实时深度伪造技术，这类伪造是在舞弊进行过程中即时生成的。

随着人工智能及机器学习技术的飞速发展，舞弊者可以实时与受害者互动，比如假冒公司高层批准交易、在所谓的“老年人骗局”中假扮成急需帮助的家人、扮演公众人物散布不实信息，以及在情感骗局中骗取钱财。实时深度伪造让机构和个人面临着前所未有的挑战。面对如此逼真的骗局，我们甚至意识不到自己被骗，又该如何防范？本文将分析实时深度伪造给机构和个人所带来的威胁，并探讨正在采取哪些措施来应对这种几乎完美的舞弊手段。

在互联网还未普及应用于金融交易处理的年代，舞弊审查手段就已经包含了对诸如发票、采购单、支票及银行对账单等纸质文档的审查。国际注册舞弊审查师协会（ACFE）早期的一个培训案例非常清晰地展示了这类核查程序的重要性。培训师提到了一桩案例，关于ACFE的创始人兼主席约瑟夫·T·韦尔斯博士（CFE, CPA）以及ACFE的名誉会长詹姆斯·拉特利（CFE）是如何解决一起贪污案的。在案件调查期间，他们在数百张支票中发现了几张被特别折叠并整齐存放于抽屉中的支票。

他们很快就发现，原来是一名采购代理指示应付账款文员将特定供应商的纸质支票交给他。之后，他将这些支票对折并放入衬衫口袋中，等到去银行的时候再取出并存入。这些被折叠过的支票随着银行对账单被退回，然后和其他支票一起放回了抽屉中，然而这些支票上的折痕成了明显的线索，揭露了他的行为。

在数字化时代，舞弊调查人员难以找到像纸质凭证这样的实体证据。随着1990年代亚马逊和PayPal的兴起，电子商务迅速膨胀，舞弊者也开始利用电子方式远程实施舞弊。数字时代的一种早期舞弊手段便是著名的“尼日利亚王子”骗局，这种骗局通过电子邮件请求受害者向声称遭受某种冤屈的尼日利亚王室成员提供大量资金。这是一种19世纪更新版的老骗术，当时舞弊者通过书信与受害者通信，请求资金帮助一名西班牙王子出狱。2019年，已知最早的深度伪舞弊诈案例之一发生时，舞弊者利用人工智能生成的语音电话，成功说服了一家英国能源公司的高管将22万欧元（大约24万美元）转账给一家匈牙利供应商。（参见Brittani Johnson的文章《骗局的演变：简短历史》，Iris，2023年4月27日；Jeff Laughlin的文章《王子回来了，他还需要你的帮助转移一些资金：老骗术就是新骗术》，南方伊利诺伊大学爱德华兹维尔分校IT Spotlight，2021年3月15日；以及Jesse Damiani的文章《深度伪造的声音被用于诈骗CEO 24.3万美元》，Forbes，2019年9月3日。）

2022年12月，在德克萨斯州奥斯汀的一场ACFE培训会议上，本文共同作者扎卡里·凯利展示了一段由人工智能实时生成的视频，证明了舞弊者利用深度伪造技术变得多么简单。这段视频中，主持人西蒙·考威尔看似在电视节目《美国达人秀》上演唱，实际上那是由人工智能公司Metaphysic制作的，视频显示考威尔在参赛选手丹尼尔·埃门特背后的大屏幕上唱歌。实际上考威尔并没有真的唱歌，声音来自埃门特。（参见“西蒙·考威尔登台唱歌？！Metaphysic让你目瞪口呆”，《美国达人秀》，2022年6月2日。）利用像Metaphysic这样的公司所提供的技术制造的人工智能生成的深度伪造，不仅能够模仿电视游戏节目的主持人，更为网络犯罪分子提供了高度复杂的工具。

这些工具可能被恶意利用，比如破解安全系统，包括生物识别系统。尽管目前还没有公开报道指出深度伪造技术被用于突破生物识别安全系统（生物识别指的是通过面部识别或指纹等身体特征进行身份验证的技术），但专家们相信这种情况迟早会发生。科技研究咨询公司高德纳在今年二月发布了警告，预计到2026年，使用人工智能生成的深度伪造攻击面部生物识别系统，“将会使得30%的企业不再认为这种身份验证和认证解决方案单独使用是可靠的。”（参见“Gartner预测：到2026年，由于人工智能生成的深度伪造，30%的企业将认为身份验证和认证解决方案单独使用不可靠”，2024年2月1日。）

去年，LexisNexis Risk Solutions政府集团的首席执行官Haywood Talcove在接受《洛杉矶时报》采访时提到，最新的AI技术有能力绕过企业采用的替代密码的安全验证方法。他举了加州的例子，该州实行的两步在线身份验证过程需要人们上传驾照或身份证的照片和一张自拍照。舞弊者可以轻松在线购买到假的身份证件，然后使用深度伪造技术生成与之匹配的自拍照。Talcove还表示，如果他的银行开始使用他的声音作为密码，他会感到非常紧张。“仅仅依赖声音进行验证已经不再可靠了。”（参见“实时深度伪造是一项危险的新威胁。如何保护自己。”）

生成式人工智能（GAI）是一种能够响应查询而生成文本、图像、视频、音频、代码及其他媒体内容的人工智能系统，它正在彻底改变全球范围内的组织和企业。现在这些组织和企业必须重新评估犯罪分子接触其敏感信息的容易程度，并审查社交媒体账号和网站上的音频及视频记录。个人也需要思考某个企业（比如银行）是否在其安全系统中使用了语音识别技术，因为这意味着企业会有他们的语音记录。银行和其他企业可能会把客户的语音或图像文件存放在数据库中，这些文件有可能被员工或黑客获取并出售，就像Outabox遭到黑客攻击的情况一样。这家澳大利亚公司在多家酒吧和俱乐部部署了面部识别软件。据报道，在4月底，超过100万顾客的部分个人信息（PII），包括姓名、地址和驾照信息被窃取并公开在网络上。（参见Jordan Pearson，《连线》杂志2024年5月2日，“一家面部识别公司的数据泄露揭示了生物特征识别背后的隐忧”。）

“deepfake”这个词最早出现在2017年底的Reddit上，是一个“分享(未经同意的)使用开源换脸技术的色情视频”的人的用户名。(参见麻省理工学院斯隆管理学院梅雷迪思·萨默斯2020年7月21日发表的《深度造假解释》。)这些图像是预先录制好的，不是实时的，人工智能算法把名人的脸放到真实的色情视频中。

预先录制的色情视频是深度伪造技术最常见的用途之一，大约99%的受害者是女性。受害者包括流行音乐偶像泰勒·斯威夫特(Taylor Swift)，今年早些时候，她的深度造假照片在社交媒体网站X(前身为Twitter)上获得了超过4500万的浏览量，之后被该社交媒体网站删除。通过利用一张清晰的面部照片，全程不到25分钟且对舞弊者来说几乎没有任何成本，就可以创造一个关于任何人的预先录制的60秒的深度伪造色请视频。

这些极为逼真的视频可以展现未曾发生的场景，而生成式人工智能（GAI）让分辨真实与虚构变得更加困难。预录制的虚假名人代言视频曾经将CBS新闻主播盖尔·金和演员汤姆·汉克斯描绘成减肥产品和牙科计划的代言人。（参见Anumita Kaur，《华盛顿邮报》2023年10月3日，“名人警告追随者不要被AI深度伪造所欺骗”。）今年1月，大约5000名新罕布什尔州居民收到了预录制的深度伪造自动电话，电话中模拟了美国总统乔·拜登的声音，指示他们不要参与总统初选投票。（参见Pranshu Verma和Meryl Kornfield，《华盛顿邮报》2024年2月26日，“民主党活动人士承认委托制作拜登AI自动电话在新罕布什尔州播放”。）事后揭露深度伪造往往难以挽回，因为观看这些视频的人或接听自动电话的接收者可能仍然相信那些虚假信息。

不法分子越来越多地利用实时深度伪造音频来进行“老人骗局”。在德国，这种类型的舞弊始于1990年代，骗子们通过电话联系毫无防备的老人，假装是他们的孙子（或其他亲近的家庭成员），声称遭遇紧急状况急需资金。[参见Shelley Pascual，《德国本地报》，2018年6月26日，“欺骗奥玛：了解在德国流行的‘孙子骗局’”。] 由被呼叫人实际声音生成的AI语音录音增加了这些骗局的可信度。去年，一位86岁的佛罗里达女性因骗子使用深度伪造的声音冒充她被捕的孙子并声称需要保释金而被骗走了16,000美元。（参见Jessica Bruno，WPTV，2023年3月23日，“联邦贸易委员会警告称，AI语音克隆正在加剧‘老人骗局’”。）

去年，美国联邦贸易委员会（FTC）发布了针对这类骗局的警告，建议潜在受害者使用已知的电话号码联系自己的亲人，以确认或否定求助的真实性。FTC还提醒说，深度伪造音频欺诈者可能会要求受害者“汇款、发送加密货币或购买礼品卡并提供卡号和PIN码。”（参见Alvaro Puig，《联邦贸易委员会》，2023年3月20日，“舞弊者使用AI增强家庭紧急情况舞弊手法”。）舞弊者使用的易于获取且价格低廉的克隆软件使他们能够获取任何人声音的音频片段，进而制作出逼真的音频。2023年，微软推出了VALL-E，这是一款人工智能语言模型，只需短短三秒钟的音频就能够模拟一个人的声音。（参见“VALL-E (X)”，微软。）

全球各地的政府都在努力通过立法和监管手段来解决深度伪造技术带来的问题，但许多这些规定可能跟不上不断进步的技术步伐。大多数规定主要是针对预录制的深度伪造内容，而不是实时生成的深度伪造内容。最近的立法行动包括：

• 欧洲委员会人工智能法案（已于三月份获批）。这一法案被誉为“首个人工智能法律框架”，它关注人工智能所带来的风险，并为欧洲在全球人工智能伦理及可持续发展标准的设立中取得领导地位打下基础。该法案的目的是确保人工智能系统遵守基本权利并安全可用。（参见“塑造欧洲的数字未来”，欧盟委员会）这项法律涵盖了所有在欧盟境内提供人工智能技术的企业。
  

• 英国的《在线安全法案》（犯罪罪名将于2024年1月生效）。该法案要求受法案管辖的服务提供商必须识别、减轻和管理以下风险：(i) 非法内容和活动，以及 (ii) 对儿童有害的内容和活动，并赋予政府监管机构OFCOM（通信办公室）新的职能和权力。（参见“2023年在线安全法案”，legislation.gov.uk。）
  

• 中国政府（2023年）。这项立法禁止在没有得到用户同意的情况下创建深度伪造内容，并要求在使用人工智能生成内容时必须披露相关信息。这项法律仅适用于在互联网上发布的内容。（参见Asha Hemrajani，《外交家》，2023年3月8日，“中国的新深度伪造立法：亚洲其他国家是否应该跟进？”）
  

• 美国的《阻止明确伪造图像及非经同意编辑（DEFIANCE）法案》在今年初在美国众议院和参议院提出。该法案允许受害者如果深度伪造内容的创造者知道或“鲁莽地无视”受害者没有给予同意，则可提起诉讼。但这是民事法院的一种救济方式，并没有设立刑事诉讼的规定。约有14个美国州已经制定了反对未经同意的色情深度伪造内容的法律，而10个州则有关于限制在政治竞选中使用深度伪造内容的法律。（参见Solcyré Burga，《时代周刊》，1月31日，“一项新法案如何帮助防范深度伪造内容”以及Bill Kramer，《MultiState》，4月5日，“越来越多的州正在制定应对AI深度伪造内容的法律”。）

• 美国联邦贸易委员会的冒充规则。提议中的修正案扩大了联邦贸易委员会的冒充规则范围，禁止除了政府和企业外的个人冒充行为，并将法律责任扩展至那些明知或有理由知道所提供的商品和服务可能被用于非法冒充但仍继续提供这些商品和服务的相关方。（参见“FTC提议新保护措施以打击个人AI冒充行为”，FTC，2024年2月15日。）

全球各国政府都在努力制定必要的立法措施，以保护公民不受深度伪造内容的危害，并对实施这种行为的人进行惩处。这是一个复杂的问题，需要强有力的立法行动、持续的监测和根据当局了解的有效措施以及技术发展带来的新犯罪工具进行不断的更新。

评估当前法律法规在应对深度伪造内容带来的法律挑战方面的充分性，是在快速变化的技术环境中面临的重要议题。深度伪造内容引起的数据安全和隐私问题意味着个人、企业以及政府需要共同合作，制定并实施多层次的战略。缓解新兴技术固有的风险并保护实体免受人工智能生成的舞弊行为影响，需要采用包括检测工具、强大的法律框架和坚实的身份验证措施在内的综合手段。

可能仅有一些特定的策略是有效的，并且它们与对抗预录制深度伪造内容的策略不同。例如，检查深度伪造人物的图像与声音是否一致、照明及阴影是否准确等核查方法，对于实时生成的人工智能深度伪造内容来说已不再有效。

管理层应当确保员工（特别是金融服务业的员工）了解实时深度伪造技术及其带来的风险，同时还要知晓犯罪分子是如何利用这种技术的。组织需要制定强有力的规程来预防、发现和缓解深度伪造带来的影响。“审计界有一句常用的话是‘信任但要验证’，但在面对深度伪造时，我们应该采纳曾因Crazy Eddie证券舞弊案被判有罪的舞弊犯山姆·安塔尔的观点：‘不要信任；只验证。’”为了确认可能是实时深度伪造的视频和音频的真实性，雇主和反舞弊调查员需要确保他们的员工和客户（也包括他们自己）获得这方面的培训。依据美国国土安全部的说法，以下策略对于应对并减轻实时深度伪造的危害至关重要：

1. 制定政策和立法，让组织能够审查媒体，并能在必要时采取行动。

2. 发展识别深度伪造内容的能力，并证实媒体的真实性。

3. 制定在发现深度伪造内容时如何行动的规则。

4. 营造一种推崇真实性和不容忍深度伪造内容的文化氛围。（参见美国国土安全部2021年的“深度伪造身份的日益增长的威胁”和2022年的“深度伪造第二阶段—缓解措施”。）

在缺乏详细政策和程序来对抗和缓解实时深度伪造内容的情况下，最简单的建议可能就是最好的：采取“零信任”的态度。如果深夜接到声称是身处困境的家人的电话显得可疑，挂断电话后使用你确信真实的电话号码回拨。相信你的直觉。随着舞弊者继续使用更为复杂的技术实施实时深度伪造骗局，反舞弊专业人士需要用更先进的技术来应对这一挑战。

可以在视频制作时嵌入数字水印或其他数据和图像，以此作为验证的方法。数字水印添加了计算机可以检测但人类无法察觉的像素或音频模式。这些模式会在任何被修改的地方消失，从而使版权所有者能够证明媒体是原始版本的修改版；但这种方法目前还不完全可靠，并且对于实时视频来说成本可能过高。（参见Nil Shah，《综艺》杂志，2024年3月21日，“为什么水印只是对抗深度伪造的一部分”以及Nick Gaubitch，《Pindrop》，2023年10月20日，“水印能否防止深度伪造攻击？”）

美国政府鼓励创新以解决复杂的消费者保护问题，比如识别深度伪造内容。联邦贸易委员会最近公布了声音克隆挑战赛（根据《美国竞争法》已举办至第六届）的四位优胜者：

1. Omni Speech的AI Detect利用人工智能算法区分真实声音和合成声音之间的细微差别。

2. 圣路易斯华盛顿大学的张宁（Ning Zhang）开发的DeFake通过在社交媒体和其他平台上的音频录音中插入扭曲，形成一种水印的形式，使得准确克隆声音变得更加困难。

3. OriginStory在创建原始语音录音时对其进行认证，并在音频流中嵌入一种类型的水印。

4. Pindrop Security的Voice Cloning Detection技术通过分析来电的两秒片段，实时识别声音克隆和音频深度伪造。

FTC强调没有任何单一解决方案能够彻底解决深度伪造的问题。该机构支持采取跨学科的方法来预防声音克隆所带来的危害。（参见“FTC宣布声音克隆挑战赛获奖者”，FTC，2024年4月8日。）世界经济论坛持有类似观点，指出对于深度伪造内容的缓解措施“没有一劳永逸的办法”。（参见Anna Maria Collard，《世界经济论坛》，2024年2月12日，“2024年及以后的四种防范深度伪造的方法”。）

为了传播信息并增强对抗深度伪造内容的韧性，公共和私营部门的成员正在共同努力，其中包括致力于制定技术标准以认证媒体内容来源和历史的“内容原产地与真实性联盟”。一个由出版和科技成员组成的联盟（英国广播公司、加拿大广播公司/加拿大广播电台、国际新闻通讯社协会、Media City Bergen、微软和《纽约时报》），被称为“Project Origin”项目，也在进行类似的努力，旨在通过追踪内容从创建到分发的过程来证明其完整性，从而增强人们对数字新闻的信任。私人和公共实体的合作对于对抗深度伪造内容构成的威胁是必要的，这种威胁不仅影响个人层面，还威胁到政府和社会。

参见侧边栏：“报告深度伪造内容”。

Carolyn Conn博士，注册舞弊审查师，注册会计师，担任德克萨斯州立大学会计系的临床副教授，该校位于德克萨斯州圣马科斯。可通过cc31@txstate.edu联系她。

Zachary M. Kelley是德克萨斯州立大学信息系统与分析系的讲师，该校位于德克萨斯州圣马科斯。可通过zachkelley@txstate.edu联系他。

推荐阅读和资源：

Deepfake definitions and background:

• “What the Heck is a Deepfake?” University of Virginia Information Security.

• “The Real-Time Deepfake Romance Scams Have Arrived,” by Matt Burgess, Wired, April 18, 2024.

Deepfake technology, impacts on crime and law enforcement, and mitigation:

• “A new approach to fighting fraud while enhancing customer experience,” McKinsey & Company, Nov. 8, 2022.

• “Facing reality? Law enforcement and the challenge of deepfakes, an observatory report,” Europol Innovation Lab, 2022.

• “The People Onscreen Are Fake. The Disinformation is Real,” by Adam Satariano and Paul Mozur, The New York Times, Feb. 7, 2023.

Deepfake examples (pre-recorded):

• “A Short History of Deepfakes,” by David Song, Medium, Sept. 23, 2019.

• “Man arrested in Sydney’s west over clubs data breach,” by Max Mason, David Marin-Guzman and Zoe Samios, Financial Review, May 2, 2024.

• “Third-party providers a customer data ‘weak spot’, Australian privacy commissioner says,” by Josh Taylor, The Guardian, May 6, 2024.

• “When seeing is no longer believing,” by Donie O’Sullivan, CNN.

Legislation and regulation:

• “A Look at Global Deepfake Regulation Approaches,” by Amanda Lawson, Responsible Artificial Intelligence Institute, April 24, 2023.

• “Deepfake laws: is AI outpacing legislation?” by Aled Owen, Onfido, an Entrust Company, Feb. 2, 2024.

• “EU AI Act: first regulation on artificial intelligence,” European Parliament, Aug. 6, 2023.

• “FTC Announces Impersonation Rule Goes into Effect Today,” U.S. Federal Trade Commission press release, April 1, 2024.

• “The FTC is trying to help victims of impersonation scams get their money back,” by Wes Davis, The Verge, April 1, 2024.

• “Deceptive Audio or Visual Media (‘Deepfakes’) 2024 Legislation,” by National Conference on State Legislatures, updated May 7, 2024.

END