什么条件算是诈骗可以立案八蕉朗读(深度合成应用趋势报告发布，专家：未来一切都可能被伪造)

奥运AI手语主播，虚拟偶像，变脸明星...这些应用背后的深度合成技术发展到了什么阶段？火的「元宇宙」和深度合成有什么关系？深度综合监管面临哪些技术和伦理挑战？

2月18日，在北京举行的第二届长城工程科技大会“人工智能的安全可控与伦理治理”分论坛上，《深度合成应用十大趋势报告》(2022)发布。围绕深度合成带来的伦理问题，会上多位专家进行了讨论。

一个

深度合成内容增长迅速，相关研究也在不断升级。

深度构图技术是指通过生成以深度学习和虚拟现实为代表的构图算法，制作文本、图像、音频、视频、虚拟场景等信息的技术。2017年，一位名为“Deepfakes”的用户在美国Reddit网站上分享了篡改人脸的色情视频，将深度合成技术带到了大众面前。

报告显示，近年来，深度合成内容生产和传播数量快速增长。2021年新发布的深度复合视频数量比2017年增长了10倍以上。此外，深度复合内容的关注度也呈指数级增长。以视频赞/赞数据为例，2021年新发布的深度复合视频数量已经超过6亿。

资料描述:在国内外10个平台(爱奇艺、腾讯视频、优酷、毕丽毕、抖音、Aauto Quicker、微博、YouTube、Twitter、TikTok)中，使用“Deepfakes”等10个中英文关键词进行搜索，按URL重复删除后统计数据结果。图来自《深度综合应用十大趋势报告》(2022)

研究成果是深度合成内容传播的潜在驱动力。其中，蒙特利尔大学在2014年提出了生成对抗网络(GAN)，将数据的保真度推向了一个新的高度，大大降低了深度合成的门槛。报告显示，深度合成领域的论文数量每年都在增加。这些深度合成领域的论文包括对不同模式合成的技术研究，如图像、语音、文本等。其中对图像生成的研究最高，占64%。音频和文字分别占24%和12%。

除了研究，深度合成领域的开源项目也在兴起。开源项目推动了深度合成方法在合成质量和生产效率方面的不断升级和迭代。

在应用场景方面，报告显示深度合成的应用场景不断丰富，如修复历史照片、AI手语主播、虚拟偶像等应用。尤其是在影视制作领域，近年来深度合成技术已经成为被少数艺人劣迹拖垮的作品的拯救工具。

此外，越来越多的企业和机构开始使用深度合成技术为公众提供产品和服务。不同领域有差异。报告称，在深度合成应用的初始阶段，图像和视频是最常见的应用。但由于产品质量参差不齐，容易侵犯用户隐私，监管标准到位后，数量逐渐减少。音频、语音合成已经成为人机交互的重要组成部分，广泛应用于智能硬件、智能客服、语音导航、有声读物、机器人、语音助手、自动新闻播报等场景。在文本方面，深度作文已经越来越多地运用于新闻报道、诗歌创作、聊天和问答等。，并显示出巨大的创作效率和未来潜力。

报告预测，随着数据自动生成、全身合成、3D建模等技术的逐步形成，基于深度合成技术将开发出新的人类生存场景。元宇宙是基于深度合成技术的未来人类虚拟数字空空间。它“完成了现实空空间和时间的多重复制和延伸，跳出了传统物理空空间的限制，提供了一个虚拟人、自然人、机器人融合在一起逼近现实、超越现实的新世界”。

2

深综负面风险加剧，各国监管成为趋势。

报告称，当深度合成技术渗透到社会生活的各个领域，深度合成内容的负面风险不断加剧并产生实质性危害。随着深度合成技术的开放开源，深度合成产品和服务的增加，深度合成内容生产的技术门槛越来越低，实现了技术的“大众化”。通过深度合成技术制造假视频、假音频进行诬陷、诽谤、诈骗、敲诈勒索等违法行为屡见不鲜。

深度合成技术也将对信息传播产生深远影响。报告分析认为，由于深度合成技术的发展，人类的传播活动逐渐步入了“深度后真实”的时代。首先，“深度伪造”深刻影响了新闻对真相的记录，虚假内容的难以识别影响了事实查证的有效性。其次，在重大社会突发事件或政治事件的节点，如果恶意使用深度合成技术，会使虚假信息借助社交媒体在互联网上以病毒式传播和扩散。第三，在日常事件的信息发布和追踪中，深度伪造的信息还会造成舆论场中的舆论不断翻转，激化不同社会群体之间的矛盾。需要迫切关注的是，深度合成技术的恶意伪造内容通常迎合大众的好奇心，具有很强的意识塑造能力。

报告还指出，深度合成内容的识别面临技术挑战。新的伪造手段层出不穷，基于深度神经网络的检测算法存在结构性缺陷。反深度误检技术也面临着“强对抗性”，需要不断更新迭代优化。这类似于“有本事你来抓我”。深度合成和探测会在攻防不断学习的过程中自行进化，避免上一代的对抗技术。目前，无论是学术界还是工业界都在身份识别检测技术的研发上投入了大量的资金，国内外许多科研机构和科技企业都推出了检测产品。

随着深度合成负面效应的显现，在世界范围内建立监管机制已经成为一种趋势。欧盟倾向于将深度综合纳入现有的监管法律框架；在美国，一些州已经通过正式的法律来规范“深度伪造”，比如加州、弗吉尼亚州和德克萨斯州。新加坡也出台了专门法案，明确主体和平台责任；我国2021年1月发布的《网络视听服务管理规定》特别提到，不得利用深度学习技术制作和传播虚假新闻信息。今年1月，网信办发布了《互联网信息服务深度合成管理规定(征求意见稿)》，这是一部系统性、针对性、可操作性的专项管理法规。

三

专家:未来一切有价值的东西都可能是伪造的。

面对当前的挑战，如何规范深度合成技术的应用，减少技术的负面影响？许多专家从道德和治理的角度发表了自己的看法。

阿里巴巴安全感知和认知智能部门负责人薛辉认为，主要有两个难点。第一，因为深度合成技术有很大的商业价值，所以不能一刀切禁止，而应该采取包容审慎的态度。然而，如何确定监管边界是一个问题。另一个问题是深度合成面临着持续的攻防和博弈。在攻防中，进攻方往往能找到一个点突破，但防守相对落后。

中科院自动化所研究员陶建华指出，目前，深度综合的概念内涵和外延并不明确，监管难度较大。“是不是叫深度学习方法深度合成？我认为这是值得商榷的。”

此外，他认为应该更有效地管理深度合成的用户，而不是过多地限制其开发者。人工智能的大量技术都有两面性。他把技术比作刀子，技术的影响力取决于如何使用它。许多最早从事深度合成相关研究的人都是出于娱乐和改善人们生活的动机。例如，有人想知道机器是否可以独立学习母亲的声音，并大声朗读给婴儿听，这是改善生活的方式。但也不排除一些恶意攻击工具。因此，对技术的监督应该是公开的。

浙大网空安全学院院长任奎提出了数据集不足的问题。他介绍，目前的深度合成技术主要是针对人的，所以训练深度合成检测模型需要大量的人脸数据，但是人脸数据和音频数据都是高度敏感的个人信息，很难获取。他建议，可信度高的公益组织可以整理数据，让有资质的研究机构一起参与，让数据的价值最大化，“用在积极的方向”。

然而，未来的深度合成场景可能会更加复杂。在他看来，未来深度合成将不仅仅停留在简单的音频、图像、视频上，还可以用于各种各样的伪造，而且不仅限于数字空之间的伪造，物理空之间的伪造可能更具有欺骗性和致命性。“从关键场景的角度，比如自动驾驶，我可能会在这里伪造一个场景，这个场景可能是数字的，也可能是与物理世界融合的一种方式。如果再进一步考虑，比如元宇宙的概念，不一定要伪造关于人的信息，一切有价值的东西都有可能被伪造，这里深度合成可能有很多想象空和利用空。”

瑞来智能科技有限公司CEO田甜认为，深度伪造的本质问题是缺乏透明度。在这项技术中，传统的“眼见为实”受到了冲击。因此，提高人们对深度合成技术的认识就显得尤为重要。“对于普通观众来说，需要降低问题的门槛，认识到什么是深度合成，或者有简单的工具来判断是否合成。只有把门槛降低到所有受众都能在一个共同的框架下认识、讨论、理解这个问题，才是一个相对健康、良性的发展，其应用才能得到更大程度的拓展。”他说。

采写:南都记者李