骗过百万人类的AI假图假视频，被这三个技术破解了
作者 | ZeR0
编辑 | 漠影
进入生成式人工智能（或称AIGC）狂飙的时代，造假变得更加轻而易举。
近年来，PS公章、信函、保单、证件照的违法行为已经层出不穷，还有些人唯恐天下不乱地借用P图造谣生事，或者进行敲诈勒索。据江西公安近日披露的案件，一个四人犯罪团伙用“PS”合成不雅照进行敲诈勒索，至被抓时已跨三省共计投递900余封敲诈信，敲诈勒索金额总计1.6亿余元（未遂）。
快速进化的AI生成技术，更是让生成假照片、图像/视频换脸更加真假难辨。今年3月，Reddit网友上传了一组记录2001年北美西海岸发生的9.1级地震和海啸事件的新闻事件，但事实上整组照片都是用AI文生图工具Midjourney生成的。
▲Reddit网友上传的虚假地震新闻照片（图源：Reddit）
AI换脸冒充熟人新骗局亦高频出现。今年4月，福州市某科技公司法人代表郭先生10分钟内被人用佯装成好友的AI换脸视频诈骗430万元。无独有偶，5月，安庆市何先生因一段佯装成熟人的9秒AI换脸视频被诈骗245万元。
“有图有真相”已经成为历史，随着AI图像内容安全的警报频繁拉响、图像伪造门槛越来越低，加强AI反制技术研究愈发迫在眉睫。
近日，中国信通院、人工智能及大数据科技企业合合信息等机构联手启动了《文档图像篡改检测标准》编制工作。在上周举行的世界人工智能大会期间，合合信息分享了针对典型图像安全问题的三项重点技术：AI图像篡改检测、生成式图像鉴别、OCR对抗攻击技术。
图像领域的可信AI才刚刚起步。由AI篡改、生成的图像与真实图像有哪些细微差别？如何通过先进AI技术手段进行分辨？可信AI产业化需闯过哪些难关？我们与合合信息智能创新事业部总经理唐琪进行了深入交流。
一、AI图像篡改检测：火眼金睛无惧截图，甄别四类截图篡改
P图是常见的图像篡改手段之一。在学术界，用PS改图学术造假会扰乱评价机制；在产业界及日常生活，PS篡改证件、票据、合同、银行保单、资质证书、交易记录等重要材料的截图若被利用，可能会造成财产损失。
▲合合信息AI图像篡改检测技术应用效果展示（图源：合合信息）
合合信息智能创新事业部总经理唐琪告诉智东西，基于多年行业积累，合合信息发现各种形式的截图篡改方式，基本可以归纳为四种类型：复制移动、拼接、擦除、重打印。
复制移动即在原图中“抠”出关键要素再粘贴到另一处；拼接是将不同图像拼接成一张新图像；擦除能够不留痕迹地擦掉一些关键信息，如去除大面积复杂水印；重打印则是在擦除的基础上重新编辑新文档。
截图因为没有图层，背景没有纹路和底色，没有拍照时产生的成像差异、光照差异等信息，检测难度更高。这需要先进的检测技术来大批量发现被篡改/伪造的信息，保障信息真实性，防止欺诈行为的发生。
然而，现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征，因此难以实现令人满意的准确率。
为此，合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，使用分割模型，Backbone使用ConvNeXt作为编码器，用LightHam和EANet两个网络并行作为解码器，结合图像本身的信息包括但不限于噪声、频谱等，从而捕捉到细粒度的视觉差异，达到高精度鉴别目的。
▲篡改检测技术模型结构（图源：合合信息）
给定一张图片，输入到合合信息的AI图像篡改检测模型中，该模型就能迅速判别这张图像是否被篡改，并且精确定位到图像的篡改区域。篡改处会以热力图的形式呈现。
▲“重打印”篡改图片检测示例（图源：合合信息）
随着图片造假技术的提升和修图软件使用门槛的降低，很多时候，人眼必须进行非常细致地观察，才能发现这些篡改图像的端倪。例如银行等场景每天要审核大量的截图、照片，仅靠人工方式不仅效率低下，因疲惫而出错的概率也更高。相比人类，AI算法能够更高效稳定地检测到一些微小的、像素级的破绽，大幅提升核查效率。
唐琪认为，生成技术与检测技术好比“矛”与“盾”，会不断出现更顶级的生成技术，而科技发展永远是技术和经济性的双重问题，AI图像安全检测技术的行业价值在于能攻破常见的、产业级规模的造假，维护大多数人的权益。
二、AIGC判别：AI视频换脸骗过身份验证？ 多维度特征分辨“虚拟人”
输入一段文字就能生成以假乱真的图像，传几张照片就能进行视频换脸……爆火的AIGC（AI内容生成）技术，在为创作者提供了高效生产力工具的同时，也打开了潘多拉魔盒——一些不法分子用于造假新闻、规避版权、绕过活体身份验证、造谣诽谤、敲诈勒索，非法牟利。
▲AIGC生成图片引发社会问题（图源：合合信息）
比如在金融行业，有人用AI合成技术对线上资金进行盗刷；在传媒行业，某些图片供给方使用软件自动生成海报等图片，故意隐瞒其来源并售卖给第三方，导致后续出现侵权纠纷。AI生成式图像检测技术则有助于解决这些问题。
这类项目主要有两个难点，一是生成出来的图像场景繁多，不能穷举；二是有些生成图和真实图片的相似度过高，信息真伪判定难度大。
以AI换脸视频为例，过去“AI假脸”的纹理特征破绽较为明显，比如眼睛、牙齿轮廓细节不一致，连续动作实时渲染存在丢帧、不流畅等情况，这些“穿帮”画面仅凭肉眼就能察觉。但随着技术快速演进，生成式AI很快就能优化这些细节问题，生成更加以假乱真的画面。
合合信息研发的AI生成式图像鉴别技术，基于空域与频域关系建模，能在不用穷举图片的情况下，利用多维度特征来分辨真实图片和生成式图片的细微差异。
▲AI生成式图像鉴别技术模型结构（图源：合合信息）
唐琪告诉智东西，该模型的设计融入了合合信息在真实场景中积累的大量行业经验。输入图片后，模型通过多个空间注意力头来关注空间特征，并使用纹理增强模块放大浅层特征中因为视频连续性特征而形成的一些细微伪影，增强模型对真实人脸和伪造人脸的感知与判断准确度。目前，相关技术也在不断迭代中。
三、OCR对抗攻击：给文本数据“加密”，严防隐私信息泄露
OCR对抗攻击技术被用于防止不法分子利用技术手段非法爬取图片上的信息。
在日常生活和工作中，人们经常在网上发送自己相关证件、文件的图片，这些图片包含的个人信息（比如地址、银行卡号）可能会被第三方平台用OCR技术批量截获并泄露。
对此，合合信息研发了OCR对抗攻击技术来进行文档图片“加密”，对关键信息进行遮盖，在不影响肉眼观看的情况下，阻止图片中指定的目标文本被机器自动爬取。
▲合合信息OCR对抗攻击技术应用效果展示（图源：合合信息）
输入图片后，首先通过已知的默认OCR系统检测图片中的文本位置和内容信息，指定目标文本后系统在目标文本的周围区域迭代地添加特定的高斯噪声、亮度变换等攻击手段，然后通过默认OCR系统的识别结果作为反馈调整迭代轮数，将对默认OCR系统攻击成功时的图片的最终结果送入目标OCR系统中进行验证。
▲OCR对抗攻击网络系统结构（图源：合合信息）
该技术可在不影响肉眼观看与判断的情况下，对场景文本或者文档内文本进行扰动，对包含中文、英文、数字等关键信息的内容进行“攻击”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，有效降低数据泄露风险，以此达到保护信息的目的。
四、17年深耕AI研发，与AI造假斗智的底气何来？
深耕人工智能17年的合合信息，是国内图像内容安全保护的技术及行业专家。
在智能文字识别及商业大数据领域，合合信息行业根基深厚，为全球超过200个国家和地区的上亿用户提供智能文字识别产品及AI服务，坐拥名片全能王、扫描全能王、启信宝等明星C端产品，并向超过30个行业提供B端服务。
从技术积累来看，合合信息长期聚焦于文档智能领域中的前沿技术探索，已获得超百项自主知识产权发明专利。唐琪说，合合信息的护城河包括多年累积的人才、算法、算力以及行业洞见。
其智能文字识别、智能文档处理相关技术已发表于CVPR、AAAI、ACL、ACM MM等国际顶会，已经拿下15项顶级国际AI竞赛的冠军，并接连获得中国信通院的多项高分评级。
例如，在智能文档处理系统评估中，合合信息产品智能文档处理产品在通用能力及AI核心能力方面均表现优异，多项测试结果获得最高评定等级5分评分。在OCR能力评估中，其智能文字识别产品通过全部7项基础类功能指标测试及9项增强类功能指标测试，获得最高评定等级“增强级”评级。
▲智能文档处理系统评估测试（图源：中国信通院）
评估报告显示，合合信息的智能文字识别产品展现出良好的性能和服务成熟度。以具有较大难度的证件类和票据类性能测试为例，面对旋转、阴影、反光、褶皱、形变等复杂场景，合合信息智能文字识别产品均有较高的识别准确率，字符准确率分别为99.21%和99.59%，字段准确率分别为97.87%和98.42%。
生成式AI的发展面临多重挑战，对可信AIGC提出迫切需求。
在世界人工智能大会多模态基础大模型的可信AI专场论坛上，中国科学院院士、上海华科智谷人工智能研究院院长何积丰谈道，AI系统的“可信性”应反映6种品质：正确性、伦理性、安全性、可释性、公平性、鲁棒性。
▲何积丰院士在世界人工智能大会上演讲的PPT截图
中国信通院等4家机构联合发起《AIGC可信倡议》，联合政产学研用，表达了对AIGC和可信AI在科学研究、技术攻关、工程应用、标准测试、伦理安全、国际合作、人才培育等方面的创新探索的决心。中国信通院副院长王志勤也提出倡议：“要加强可信赖的AIGC技术框架、标准体系、评测机制等技术的研究和推广。”
此前，为了推动AI技术在图像领域的可信化落地，在中国信通院牵头下，合合信息、中国图象图形学学会、中国科学技术大学等机构正联合推进《文档图像篡改检测标准》的编制工作，以系统性建立图像内容安全行业发展秩序，为文档图像内容安全提供可靠保障。
▲《文档图像篡改检测标准》目的和内容概览（图源：合合信息）
该标准将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等焦点议题，凝聚行业共识，以期为行业提供有效指引。
结语：用魔法打败魔法，用AI技术让图像造假无处遁形
生成式AI的爆发，让“眼见为实”成为过去时。
此前全局性裁剪、调色处理、组合式造假等图像篡改手法已经花样百出，攻防博弈持续焦灼。如今AI制作照“骗”的功力越发炉火纯青，生成虚假图像信息变得更廉价、更快速、更易得，仅靠专业人员来辨别既低效又不可控。
生成式AI正展现出颠覆世界的强大能力，让高效图文创作、视频编辑能力变得触手可及，但这些AI能力必须可控可信，才能更多地为人类带来福祉，发挥科技向善的价值。
从恶意P图敲诈勒索，到换脸视频冒充熟人诈骗，乃至绕过身份验证盗取财产，AI篡改或生成的图像的负面应用可能会破坏互联网秩序，危及个人财产及生命安全，令企业蒙受重大经济损失，并极易引发社会信任危机。
多国政府及企业已经积极行动，以防范潜在的安全风险。不少政府都在加速推进AI监管的相关立法，但考虑到AI尚处于新兴发展阶段，过度“踩刹车”会在一定程度上遏制创新，因此不仅要从政策层面加以约束，还需充分借助先进技术的力量，来给生成式AI构筑安全围栏。
随着AI图像篡改检测、生成式图像鉴别、OCR对抗攻击等技术日臻成熟并深入产业，这些技术将提高批量甄别图像内容风险的效率，保护更多个人及企业免受经济损失，为AI图像应用安全保驾护航。
