• 学术研究 • 下一篇
丁博文,芦天亮,彭舒凡,王珑皓
DING Bowen, LU Tianliang, PENG Shufan, WANG Longhao
摘要: 随着深度学习的发展,人脸伪造手段逐渐增多,现有的深伪人脸检测模型多集中于真假二分类阶段,泛化性较差,难以适应如今不断迭代的伪造算法,并且对受到不同清晰度和噪声等干扰的人脸图像研究不够深入。因此,为解决上述问题,提出了一种基于预训练的多分类人脸图像伪造算法识别方法。具体而言,整个模型分为预训练和主体训练两大模块。在预训练阶段,设计了基于掩码策略改进的PR-MAE(Perception and Reconstruction-MAE),深入挖掘掩码特征来构造感知损失,增强模型全局的感知学习能力;构建了UDenseNet训练网络,利用U型化的稠密块提升模型对细节的捕捉能力,以适应更加复杂的任务;加入多噪声融合模块MNF(Multi-Noise Fusion),以动态注入策略提高模型对多类噪声的抵抗能力,提升模型鲁棒性。在主体训练过程,引入CLIP(Contrastive Language-Image Pretraining)补充学习模块,与预训练后的UDenseNet进行对比学习,以进一步提升模型归类的准确率。实验结果表明,在最新的MCFF(Multi-Classification Fake Faces)和DF40多分类深伪人脸数据集上准确率(Accuracy, ACC)指标达到89.12%和90.25%,在低清晰度图像中ACC平均值达到87.22%,在各类噪声下检测率达到83.36%,泛化性测试中指标最高也能达到90%以上。