Deepfake

Deepfake Generation

Deepfake 生成技术利用深度学习模型合成逼真的人脸图像或视频。

• 技术基础 自编码器、GAN、Diffusion Model 等生成模型
• 发展历程 AE→GAN→FaceSwap→First Order Motion→Diffusion
• 应用场景 娱乐、教育、艺术创作 vs 欺诈、虚假信息
• 伦理问题 未经授权使用他人面容涉及侵犯肖像权

生成技术分类

• Entire Face Synthesis (全脸合成) 从噪声或文本直接生成一张完整的人脸
• Attribute Manipulation (属性操控) 修改人脸的属性：年龄、性别、表情、发色等
• Facial Reenactment (面部重演) 用一个人的表情驱动另一个人的脸部
• Speaking Manipulation (说话操控) 让目标人物说出指定的内容（口型同步）
• Face Swap (换脸) 将源人脸替换到目标视频中

Entire Face Synthesis (全脸合成)

从零开始生成一张不存在的人脸，或根据描述生成特定人脸。

• 技术基础 GAN（ProGAN、StyleGAN）、Diffusion Model（Stable Diffusion）
• StyleGAN 通过潜在编码控制人脸属性，生成高质量图像
• Diffusion 通过去噪过程生成，可控性更强
• 应用 虚拟形象、数据增强、艺术创作
• 风险 可生成完全不存在的人，用于身份伪造

# StyleGAN 生成人脸示例（伪代码）
latent = torch.randn(1, 512)  # 潜在编码
img = generator(latent)  # 生成 1024x1024 人脸

# 通过潜在空间操作修改属性
# 如：年龄、笑容、发型等
img = generator(latent + age_offset)

Attribute Manipulation (属性操控)

修改图像中人物的面部属性。

• 属性类型 年龄、性别、表情、发色、眼镜、妆容等
• 技术方法 条件生成、潜在空间编辑、属性向量操作
• 典型模型 StarGAN、AttGAN、StyleFlow 等
• 应用 娱乐 APP（如变老滤镜）、电影特效
• 滥用风险 伪造证件、身份冒充

Facial Reenactment (面部重演)

用一个人的面部表情驱动另一个人的脸部表情。

• 核心思想 提取源人物的表情特征（关键点、表情向量），应用到目标人脸
• 关键点驱动 使用面部关键点（如68点）作为中间表示
• 典型方法 First Order Motion Model、Face Vid2Vid 等
• 应用 虚拟主播、电影配音、视频会议
• 风险 伪造演讲、伪造新闻

Speaking Manipulation (说话操控)

让目标人物说出指定的内容，主要需要对口型。

• 口型同步 根据音频生成匹配的口型
• Wav2Lip 经典的说话视频生成方法
• 全身合成 不仅换脸，还包括身体动作
• 音频驱动 直接用语音生成视频
• 风险 伪造政要演讲、伪造证据

# Wav2Lip 说话视频生成
# 输入：人脸图像 + 语音 → 输出：说话视频
model = Wav2Lip()
video = model.generate(face_image, audio)

Face Swap (换脸)

将源人脸替换到目标视频中。

• 技术流程 检测人脸→提取特征→替换→融合
• 经典工具 FakeApp、DeepFaceLab、FaceSwap
• 质量评估 图像质量、表情自然度、时间一致性
• 应用 电影特效、角色扮演
• 滥用风险 色情内容、身份冒用、虚假新闻

Deepfake Detection

Deepfake 检测是识别图像或视频是否被伪造的技术。

• 检测目标 二分类（真/假）、定位篡改区域
• 技术路线 基于特征学习、数据驱动 vs 基于物理/生理信号
• 核心挑战 Generality（泛化性）：检测器在新型生成方法上仍有效

常用数据集

Image-based Deepfake Detection (图像检测)

针对单张图像的真假判断。

• 检测线索 GAN 伪影、频域特征、颜色不一致、边界痕迹
• 学习方法 卷积神经网络学习判别特征
• 频域分析 GAN 生成在频域有特定模式
• 自监督 学习"如何生成"有助于"判断真假"

# 图像 deepfake 检测示例
class DeepfakeDetector(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = EfficientNet()
        self.head = nn.Linear(1280, 2)  # 真/假
    
    def forward(self, x):
        features = self.backbone(x)
        return self.head(features)

# 训练
model = DeepfakeDetector()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

Image-based Deepfake Segmentation (篡改区域分割)

不仅判断真假，还定位被篡改的区域。

• 任务目标 像素级分类，逐像素判断是否被篡改
• 应用价值 提供可解释性，便于人工审核
• 技术方法 编码器-解码器架构（U-Net）
• 难点 篡改区域与周围融合自然时难以检测

Video-based Deepfake Detection (视频检测)

利用视频的时间信息进行检测。

• 时���线索 眨眼不自然、面部运动不连贯、嘴型跳跃
• 时序建模 3D CNN、LSTM、Transformer 处理时序
• 生理信号 检测脉搏、呼吸等生理信号的一致性
• 多帧分析 跨帧一致性检测

# 视频 deepfake 检测示例
class VideoDeepfakeDetector(nn.Module):
    def __init__(self):
        super().__init__()
        self.spatial = EfficientNet()  # 空间特征
        self.temporal = nn.LSTM(1280, 256, batch_first=True)  # 时序特征
        self.classifier = nn.Linear(256, 2)
    
    def forward(self, x):
        # x: (batch, frames, channels, h, w)
        batch, frames = x.shape[:2]
        features = self.spatial(x.view(-1, *x.shape[2:]))
        features = features.view(batch, frames, -1)
        
        _, (h, _) = self.temporal(features)
        return self.classifier(h.squeeze(0))

Generalizability (泛化性)

泛化性是检测器在实际应用中的核心挑战。

• 核心问题 训练时见过的生成方法能检测，新方法可能失效
• 难点 生成技术不断进化，旧检测器可能很快过时
• 改进方向 数据增强、开集训练、鲁棒特征学习、元学习
• 实用建议 组合多种检测器、定期更新、结合人工审核
• 未来方向 检测 + 溯源（识别是哪种方法生成的）

防御策略建议

• 多层防御 不依赖单一检测器，组合使用
• 持续更新 定期用新数据更新检测器
• 溯源技术 数字水印、身份认证
• 公众教育 提高媒体素养，警惕虚假内容
• 法律监管 规范深度合成技术使用