近日,我院在多媒体内容安全领域取得新进展,相关研究成果发表于IEEE Transactions on Dependable and Secure Computing(TDSC)。TDSC是可信与安全计算领域具有重要影响力的国际学术期刊,被中国计算机学会(CCF)列为网络与信息安全领域A类推荐期刊,最新公布的影响因子为6.8(2025年度)。此次成果的发表,体现了我院在多媒体内容安全、深度伪造检测等方向上的持续探索和科研积累。
论文题目:Learning Generalizable Representations for Deepfake Detection With Realistic Sample Generation and Dual Augmentation
生成式人工智能的发展不断提升人脸伪造内容的逼真程度,也使多媒体真实性鉴别面临新的挑战。现有检测方法往往依赖训练数据中的特定伪造痕迹,遇到新的数据分布或未知伪造方式时,检测性能容易下降,如何让模型学习能够适应不同伪造方式的特征,成为提升深度伪造检测实用性的重要问题。图1展示了论文的核心思路:传统方法学习到的伪造特征范围有限,部分未知伪造样本容易被误判,本文将逼真伪造样本生成与特征增强结合起来,扩展伪造特征的覆盖范围,帮助模型学习更具泛化能力的判别边界。

图1 传统检测方法与RSG-DA的研究思路对比
围绕这一思路,论文提出了逼真样本生成与双重增强框架(Realistic Sample Generation and Dual Augmentation framework,RSG-DA),整体流程如图2所示。通过生成多样化的高逼真度伪造样本,并在特征层面进行增强,提升模型对未知伪造方式的识别能力,同时,借助知识蒸馏将多个教师模型的知识迁移至学生检测器,兼顾检测性能与推理效率。论文在多个公开数据集上开展实验,跨数据集测试的平均帧级AUC达到79.23%,在多项测试中优于对比方法。实验结果表明,该框架具有较好的泛化能力,并能适应不同生成方式与图像质量变化。

图2 RSG-DA逼真样本生成与双重增强框架流程
该论文由朱欣海、贾浩、赵一博、马春杰、李晨、高赞等老师和同学共同完成,研究成果获得国家自然科学重点基金、国家自然科学面上基金、天津市自然科学重点基金、山东省自然科学基金等项目的支持。该成果从训练样本与特征表示两个层面提升了深度伪造检测的泛化能力,为未知人脸伪造的识别提供了方法参考。
近年来,我院持续关注生成式人工智能发展带来的多媒体内容安全问题,推动智能检测算法与媒体真实性鉴别技术的融合。未来,我院将进一步深化与国内外高校和科研机构的学术交流与科研合作,围绕深度伪造检测、生成内容鉴别与模型泛化能力等关键问题开展高水平研究,不断提升学院在数字媒体内容安全领域的学术影响力和科研竞争力。