基于AI的深度伪造威胁及应对措施

  随着人工智能的逐步发展，深度伪造技术迅速兴起，并给军事、国家、经济、社会等带来威胁。2022年7月6日美国兰德公司（Rand）发布了一篇题为《人工智能、深度伪造和虚假信息》的报告（Artificial Intelligence, Deepfakes, and Disinformation），分析深度伪造所带来的威胁并提出应对措施。报告首先回顾了支持深度伪造的技术和相关的人工智能驱动技术，这些技术为深度伪造视频、语音克隆、深度伪造图像和生成文本提供了基础；强调了深度伪造带来的威胁，以及能减轻这些威胁的因素；最后综述一直以来人们检测和打击深度伪造所做的努力，并总结了对决策者的建议。

  虚假信息正在一直在升级。虚假信息战的主要工具是简单的模因：社会化媒体上分享传达特定想法或感受的图像、视频或文本。报告列举了利用模因作为虚假信息工具的例子：俄罗斯利用模因干预2016年美国大选；模因成为人类用来质疑新冠疫苗功效最喜欢的工具。研究表明，模因以及其它常见的传统信息工具（假新闻网页和故事以及尖锐的帖子）已经成功破坏了美国选民对大选的信心，在他们心中播下了分裂的种子，并使更多人相信阴谋论。

  然而，计算机科学和人工智能 (AI) 的进步带来了一种新的、极具说服力的传播虚假信息的方法：深度伪造（Deepfakes）。深度伪造视频是经过合成处理的片段，其中所描绘的面部或身体经过数字修改，使之呈现为其他人或其它事物。此类视频慢慢的变逼真，人们担心这项技术将极大增加国内外虚假信息的威胁。

  人工智能为虚假信息工具提供了基础，本节将回顾支撑这些工具的一系列技术和能力。

  如前所述，深度伪造视频是经过合成处理的片段，其中所描绘的面部或身体经过数字修改，使之呈现为其他人或其它事物。这些合成视频的图像是通过生成对抗网络 (GAN) 制作的。GAN 系统由一个随机噪声图生成器和一个判断图像真伪的鉴别器组成。这两个组件在功能上是对抗性的，它们扮演着两个对抗性角色，如伪造者和侦探。训练期结束后，生成器可以生成高保线年GAN系统创立以来，深度伪造视频慢慢的变有说服力。去年一个TikTok账号(Tom [@deeptomcruise]，2021)发布了一系列高度逼真的深度伪造视频，视频看起来像是汤姆·克鲁斯在说话。当时该视频的浏览量超过1590万次，并引发了公众对马上就要来临的深度伪造时代的强烈担忧(见图1)。

  制作精良的深度伪造需要高端计算资源、时间、资金和技能。例如，来自@deeptomcruise 的深度伪造要输入数小时的真实汤姆·克鲁斯镜头来训练 AI 模型，而训练本身就需要两个月。深度伪造还需要一对 NVIDIA RTX 8000 图形处理单元 (GPU)，每个成本高达 5,795 美元。然后，研发人员必须逐帧审查最终镜头，以寻找明显的破绽，例如尴尬的或不逼真的眼球运动。最后，还需要一位天才演员能够成功模仿汤姆·克鲁斯的动作和举止。

  随着时间的推移，制作此类视频将需要更低的成本、更少的训练镜头，并变得更逼真、更难以用肉眼检测。现在，很多网站都提供深度伪造服务：Reface能使现有视频和 GIF 交换面孔；MyHeritage为已故亲属的照片制作动画；Zao允许用户将电影角色的脸换成自己的脸。最臭名昭著的是DeepNude 网站允许用户上传女性照片，然后输出裸照。

  语音克隆是使用深度伪造的另一种方式。各种在线和电话应用程序，例如Celebrity Voice Cloning和 Voicer Famous AI Voice Changer，允许用户模仿各种名人的声音。恶意使用此类服务的例子比比皆是。

  深度伪造图像也同样令人担忧，其最常见的形式是头像照片，看起来栩栩如生。图2显示了领英（LinkedIn）个人资料中的一张照片，专家觉得这是一张深度伪造的照片，是国家间谍活动的一部分。简介声称Katie Jones是战略与国际研究中心的俄罗斯和欧亚研究员。

  深度伪造图像也慢慢变得多地被用作虚假社交账号的一部分。在首次大规模发现这一现象中，Facebook 发现了数十个国家资助的账号都使用这种虚假图片作为个人资料照片，以逃避谷歌反向图像搜索功能的追踪。

  通过使用自然语言计算机模型，AI可以生成生动的文本。2020 年 9 月 8 日，《卫报》发表了一篇题为“一个机器人写了这篇文章。你害怕吗，人类？”的文章。《卫报》的编辑给了语言生成器Generative Pre-Trained Transformer-3 (GPT-3) 一段介绍性的文字，并附有以下说明：“请写一篇 500 字左右的短文。. . .语言简洁明了，重点说明为什么人类不必害怕人工智能。” 因此，文本生成程序可能会被对手用来大规模制作文本宣传。例如，文本生成器可以驱动社会化媒体机器人网络，从而无需人工起草内容。对手还能够使用类似于阻塞干扰的电子战技术，就特定主题大规模制造虚假新闻故事来阻碍其它相关新闻，使人们在搜索该主题词条时只会看到其伪造的信息。

  鉴于大众对视频片段的信任程度以及此类视频的无限应用，深度伪造不仅会影响社会，还会影响国家安全。报告说明了对手将深度伪造作为武器的四种主要方式：

  ：例如，在一场关键的选举前夕流出一段伪造候选人不当言行的视频，无疑将会左右大选结果；

  ：美国公众常常采取各种类似宣传的战术来诽谤、攻击和诋毁那些政治立场对立的人。党派之争的深度伪造和其它人工智能驱动的虚假信息，也有一定可能会加剧回音室(echo chambers)的负面影响；

  ：一个虚假但却像病毒一样传播的视频，显示一名警察采取暴力行动、一名法官私下讨论如何绕过司法系统、边防警卫使用种族主义语言，都可能对当局政府的信任产生毁灭性影响；

  ：随着高度可信的深度伪造的出现，即使是准确的视频内容或录音也可能被认为是深度伪造；

  ：大部分发展中国家教育和文化水平较低，各种虚假信息泛滥并助长暴力与冲突。由于内容审核预算比例很低，受错误信息干扰严重，使得深度伪造信息在这些地区更加难以检测；

  ：由于色情内容中的性别差异，深度伪造和 AI 生成的媒体可能会特别使女性付出代价。深度伪造色情技术能将选定的面孔叠加在色情演员的面孔之上，而当事人并不知情。这还可能会引起更广泛的国家安全威胁，因为这个技术可能被用来破坏政治候选人或政府领导人。

  研究表明，人们认为深度伪造视频比虚假新闻文章更生动、更有说服力和更可信。研究参与者更愿意在社会化媒体上分享深度伪造视频的虚假信息。与假文本相比，参与者也更容易相信假视频中的事情是线、减少使用深度伪造的因素

  “浅层”伪造（“shallow” fakes）比深度伪造的成本和风险低

  。浅层伪造是经过手动更改或选择性编辑以误导观众的视频。例如，通过剪辑美国众议院议员佩洛西在接受媒体采访时的视频，并减缓她的讲话速度，让她显得口齿不清，看起来像喝醉了，该视频在网上疯传。此类视频不需要做到逼真就能成功，因为它们的优点是强化先入为主的偏见。因此使深度伪造显得不那么有吸引力。

  。如上所述，制作高度逼真的视频内容需要高成本的设备、大量的培训视频内容库、专业的技术能力及有表演才能的人。该技术终将取得进步，走向平民化。但在此之前，能够有效利用深度伪造技术的范围是有限的。甚至汤姆·克鲁斯深度伪造视频的制作者也指出，一键式高质量深度伪造的时代尚未到来。

  。这样的视频在大多数情况下要几个月的时间才能制作出来，这就从另一方面代表着深度伪造信息必须至少提前几个月开始计划。这限制了对手快速行动的可能，使其难以伺机使用这项技术。制作所需的时间和精力也为政府和有关部门争取了机会，在深度伪造发布之前降低风险。

  。 目前，高质量的深度伪造需要“成千上万”的训练数据图像，这就是为什么这类视频经常以名人和政治家为主。这些要求可能会限制对手为较不知名或较少被拍照的个人（例如情报人员）制造高质量假信息的能力。

  。零日漏洞是一个术语，通常用于描述软件未知或还没有安全补丁的漏洞。当用于虚假信息和深度伪造时，零日漏洞指攻击者开发自定义生成模型的能力，该模型可以创建逃避检测的深度伪造内容。由于检测工具是针对已有的深度伪造内容做训练的，对手通常希望深度伪造尽可能长时间地隐藏，将自定义的深度伪造生成模型保留到关键时刻（如选举前一周），以最大限度地提高观众的视野。

  。上面提到的许多因素，如成本、时间、技术和能力，表明罪犯可能会被抓到并可能因此付出巨大的代价，包括国际压力或经济制裁。对手需要在他们的决策中权衡政治、经济和安全成本。

  当然，这些缓解因素是有相对时限的。久而久之，深度伪造视频的制作将变得更容易、更快、需要的训练数据也会更少。随着此类视频的真实性慢慢的升高，被检测到的可能性也会降低。

  缓解深度伪造兴起的一种主要方法是开发和实现可以检测深度伪造视频的自动化系统

  。美国国防高级研究计划局（DARPA）通过两个重叠的计划对检测技术进行了大量投资：媒体取证 (MediFor) 计划（于 2021 年结束）以及语义取证 (SemaFor) 计划。后者在 2021 财年获得了 1970 万美元的资金，并在 2022 财年申请了 2340 万美元。此外，Facebook 还举办了“深度伪造挑战赛”。

  然而，检测系统面临一个挑战，当人工智能程序学习到与深度伪造视频内容相关的关键线索时，这些经验也会很快被吸收到新的深度伪造内容中，即深度伪造视频的开发能力正与检验测试能力同步提高。报告说明了以下有利于检测算法的方案：

  。检测系统可将储存库收集的图像(包括合成媒体)作为训练数据，使检测程序跟上深度伪造子代的最新进展。

  。如果深度伪造生成器使用这一些数据，检测程序就会发现这些开发内容。放射性训练数据是充满“难以察觉的变化”的数据，因此任何根据这一些数据训练的模型都将带有可识别的标记。

  。如果这一些内容曾经被用来训练一个恶意的深度伪造视频，那么它就会被检测器发现。

  。社交媒体平台能够正常的使用有很多方法来标记深度伪造内容，包括覆盖深度伪造媒体的标签，如水印或平台预警，以识别纵的内容，以及嵌入元数据的警告，或中断合成视频内容的呈现，并同时描述虚假和线、内容溯源

  ：通过内容真实性倡议 (CAI)，Adobe、Qualcom、Trupic、和其他合作者开发了一种以数字方式捕获和呈现照片图像来源的方法。具体来说，CAI开发了一种让摄影师可在智能手机上使用的安全模式，将关键信息嵌入到数字图像的元数据中，使用所谓的“加密资产哈希来提供可验证的、防篡改的签名，表明图像和元数据是否在不知情的情况下被更改”。使用该技术拍摄的照片被分享在新闻网站或社会化媒体平台上时，它们将嵌入一个带圆圈的小 i（参见图 3）。单击时，该图标将显示原始照片图像并识别对照片所做的任何编辑，还将识别照片的拍摄时间和地点，以及使用何种设备拍摄。

  美国在各州层面和联邦层面均提出或通过了相关举措和法案。例如，德克萨斯州规定在选举后 30 天内发布“伤害候选人或影响选举结果”的深度伪造视频是非法；加利福尼亚州规定在选举后 60 天内，“以损害候选人名誉或欺骗选民投票支持或反对候选人为目的”传播候选人的“欺骗性音频或视频媒体”是非法的”；2020 财年美国国防授权法案规定国家情报局局长必须发布关于深度伪造作为武器的综合报告；美国参议员提出深度伪造工作组法案，要求美国国土安全局建立一个工作组来应对深度伪造的风险等。

  最常用的工具之一是反向图像搜索。使用反向图像搜索，用户都能够截取图像或视频并通过谷歌或第三方的反向图像搜索平台来验证可疑图像或视频的真实性。其它开源工具还有Foto-Forensics，可以识别照片中已添加的元素；Forensically 工具可进行克隆检测、噪声分析和元数据分析；Image Verification Assistant 声称正尝试构建“用于媒体验证的综合工具”，并提供图像篡改检测算法、反向图像搜索和元数据分析等工具。

  媒体素养计划旨在帮助观众对信息源自产生好奇，评估其可信度，并对所呈现的材料来批判性思考

  作者发现，一般媒体素养课程与以深度伪造为重点的课程一样有效，可以“加强态度防御”以对抗传统和深度伪造形式的虚假信息。Facebook 和路透社发布了专注于纵媒体的课程，发布了操纵视频指南。提高媒体素养的一个关键方法是通过制作和宣传高质量的深度伪造内容来建立大众对深度伪造的认识。因此，麻省理工学院的一个团队发布了一个深度伪造视频，描绘了尼克松就假设的月球灾难发表演讲。这些深度伪造视频得到普遍关注，达到了他们的提高媒体素养的目的。

  媒体素养工作应继续快速推进。媒体素养工作在大多数情况下要在两个轨道上并行。第一个轨道包括尝试提升广泛的媒体素养技能和建立抵御虚假信息的能力。第二条轨道是继续直接警示观众深度伪造技术的现实存在，以及此类技术用于宣传虚假信息的前景。

  必须继续努力开发新的开源情报技术，以帮助记者、媒体组织、公民事务行为体和其他非技术专家检测和研究深度伪造内容，并确保这些工具对于未经技术培养和训练的个人来说易获得且易操作。

  扩大采用基于溯源的方法很重要。政府应持续关注并推动采用基于内容溯源的方法，其最终可能在削弱深度伪造的潜在危害方面发挥关键作用。