换脸保特征：用于ITS中行人隐私的双用途管道 大家读完觉得有帮助记得关注和点赞摘要训练人工智能模型为自动驾驶汽车AV——智能交通系统ITS的一项应用——做出实时决策需要大规模且多样化的数据集。行人意图和轨迹预测是自动驾驶汽车中使用的关键模型需要包含多样化行人图像的数据集。对这些数据集的无限制访问会带来严重的安全风险如身份盗窃和行人追踪。挑战在于在保持训练模型所需图像属性的同时应用隐私保护流程。现有的隐私方法可能会保护行人的隐私但会降低图像的可用性从而阻碍模型的有效性。本工作的重点是实施一个五阶段管道通过换脸技术保护行人隐私同时保持基本的面部属性完整。该管道应专门定制以满足Egy-DRiVeS数据集的隐私需求。此外还对Roop和Ghost-v2换脸模型进行了评估。事实证明正如将要讨论的Roop在多个方面优于Ghost-v2。因此Roop是管道中使用的换脸模型以在通过身份隐藏实现行人隐私和通过面部属性保留实现数据可用性之间取得平衡。I 引言与相关工作智能交通系统ITS通过使系统更智能、更安全和更具动态性为出行行业做出了贡献。为了赋能ITS必须利用包括人工智能AI、全球定位系统GPS、物联网IoT和大数据在内的蓬勃发展技术。一些AI模型允许在自动驾驶汽车中使用决策能力和感知机制例如行人意图和轨迹预测以及路径规划。为了训练这些模型大规模且多样化的数据集是必需的。使用基于AI的模型车辆应该能够预测行人的预期行为并做出适当的实时决策以避免潜在碰撞并确保行人安全。包含真实行人片段以研究他们在各种情境下自然行为的数据集是必不可少的。至关重要的是面部线索和身体运动是这些模型所需的主要特征 [10, 11, 3]。面部区域亟需保护因为它揭示了关于行人的可识别生物识别数据。对这些数据集的未经授权访问会给行人带来严重的安全威胁包括身份盗窃、通过数据挖掘提取个人信息、监控追踪和深度伪造生成。一些国家已经制定了全球隐私法规例如欧洲的《通用数据保护条例》GDPR和《加州消费者隐私法案》CCPA。一些发展中国家正在构建自己的城市数据集同时遵守法律和伦理隐私保护指南。Egy-DRiVeS数据集是一个埃及数据集包含从公共街道拍摄的图像和视频 [18]。这些城市数据集需要特定的隐私保护程序来处理其独特性例如各种行人外貌包括戴面纱的女性。为了使AV应用合乎伦理地运行应通过对数据集应用保护程序来保护行人的隐私。然而在应用这些程序后图像对训练任务的可用性也必须考虑。模糊化常用于混淆行人的面部但由于面部属性不再清晰可辨图像变得不可用。因此必须采用既能确保行人隐私又能保持后续训练任务数据可用性的隐私保护技术。本工作解决了在ITS数据集中保护行人隐私同时确保数据可用性得以维持的挑战。因此本工作的目标是实施一个隐私保护管道以保护行人身份并保持数据可用性。聚焦于面部区域使用换脸技术来模糊行人身份同时保留有效数据可用性所必需的面部属性。简单的图像处理技术如模糊和像素化可以模糊行人身份 [1, 2]。然而这些技术会降低图像质量因为面部属性变得不可识别在后续模型训练中无法使用。反向变换方法 [13]如去模糊可以在处理后恢复原始图像。因此这些方法的输出既不能保证隐私也不能保证数据可用性。PRO-Face框架 [20] 旨在使行人对于人类不可识别但对于识别机器可识别。最初对脸部图像应用混淆如模糊然后通过孪生网络将混淆图像与原始图像融合。输出是混淆的但仍能被传统面部识别器识别。虽然适用于监控视频等应用其中所有面部都将被匿名化但系统能够为任何所需任务识别行人。因此它不能用于行人意图预测因为关键的面部属性不可见。Deep-privacy [8]、CIAGAN [12] 和 Deep-privacy2 [7] 模型通过使用生成对抗网络GAN[4] 进行匿名化来保护面部隐私。这些模型生成合成面部以隐藏原始身份并利用条件GAN [14] 来控制新图像中的面部属性如姿势或面部表情。尽管所有模型都达到了高隐私标准但它们表现出较低的属性保留能力。因此它们不适用于依赖面部线索的AV训练数据集。换脸通过将另一个源面部的身份特征转移到目标面部同时保持目标的重要面部特征完整来模糊目标的身份。这种方法很有前景因为目标面部保留在画面中自然分布和面部结构未被改变。因此换脸技术在保持面部属性和保护行人隐私方面优于生成新匿名面部的其他方法。3PFS框架 [21] 提出了一个管道同时保留后续任务中使用的面部属性和保护行人隐私。该管道包括行人和面部检测器、质量增强器、源面部选择算法和换脸器。使用了Ghost换脸器的微调版本。后来开发了新版本的Ghost模型Ghost-v2 [5]专门用于处理野外图像。这个框架提出了最接近本工作目标的方法。尽管未正式发表Roop [17] 是最强大的换脸模型之一它利用一系列预训练模型来产生高保真度和高度逼真的结果。模型阶段包括面部检测与分析、换脸和增强。基于所综述的文献据我们所知很少有方法明确解决AV数据集中行人隐私的问题。大多数现有模型处理高质量面部图像这在低分辨率的AV数据集中并不常见。然而一些举措填补了这一空白如Ghost-v2 [5] 模型和3PFS管道 [21]。这凸显了致力于填补现有空白的必要性。看起来换脸技术在数据可用性和隐私之间提供了所需的精细平衡。基于成功的多阶段方法如3PFS管道 [21] 和Roop [17] 模型一些预处理和后处理步骤对于有效的换脸至关重要。相应地本工作的主要贡献是实施一个五阶段管道在AV数据集中保护行人隐私并维持数据可用性特别定制以处理埃及城市图像中发现的一些独特情况。利用Roop和Ghost-v2换脸器进行行人去标识化。在隐私保护和可用性维护方面评估换脸模型。II 方法论II-A 管道概述该管道由五个阶段组成。首先行人检测检测并分类帧内的行人。其次人脸检测检测所检测行人的面部。然后质量增强通过恢复来提高检测到的面部的质量。接着应用换脸将面部属性从源面部转移到目标面部。最后融合将新面部放回原始面部的位置。面部表情、头部姿势和视线方向是在转移过程中保留的特征。作为概念验证该管道应用于单帧。使用的源面部是固定的并从可公开共享的图像中随机选择。然而由于使用的源和目标面部不会被透露该过程是不可逆的因此从管道的输出中无法识别源身份。因此源身份不易被识别。图1说明了所提出的管道阶段。图1 所提出管道的5个阶段。II-B 阶段1行人检测YOLOV11预训练模型 [9]YOLO家族最新版本之一用于检测不同对象将其封装在边界框中并用类名和置信度分数进行注释。它实现了更高的计算速度、准确性和精确度。原始图像中所有检测到的行人对象根据框坐标被裁剪并输入到下一阶段。II-C 阶段2人脸检测使用SCRFD预训练模型 [6] 进行人脸检测。由于通用目标检测器计算量大SCRFD被优化以增强对不同尺寸、姿势甚至遮挡面部的检测这使其适用于AV数据集。从裁剪后的行人图像中检测面部用边界框包围并裁剪以输入下一阶段。II-D 阶段3质量增强AV数据集中的低分辨率图像阻碍了换脸过程因此使用质量增强器。通用质量增强器无法恢复成功换脸所需的面部细节。因此使用了Codeformer [22]一个基于Transformer的盲人脸恢复模型。它使用一个码本为每个面部特征存储一组图像以在恢复过程中指导模型确保它选择最接近的特征而不是创建可能影响面部属性保留的新特征。II-E 阶段4换脸该阶段的目标是确保目标图像中的身份被隐藏。目标的面部表情、视线方向和头部姿势得以保留。输出逼真可用于进一步应用。II-E1 Ghost-v2Ghost-v2 [5] 将换脸扩展到换头这考虑了更复杂的细节如面部、头型和头发允许更好的属性保留。它专门用于符合我们目标的野外场景。架构如下• 对齐器通过将目标的姿势和面部表情应用于源身份来执行交叉重演。一组编码器在多个尺度上生成目标的姿势、面部表情和源身份的三个嵌入。这些嵌入被输入到条件GAN中以输出具有目标姿势和面部表情的源身份。• 混合器通过使用颜色参考、修复技术和二值掩码输出最终结果。颜色参考用于使颜色和光照与目标图像对齐。掩码定义要混合的区域。最后修复技术填充和重建最终输出中缺失的部分以匹配目标图像。II-E2 Roop尽管Roop [17] 是为娱乐目的开发的但仔细观察其内部使用的预训练模型序列可以解释其为何适用于预定目标。应用的阶段如下人脸检测SCRFD模型从输入帧中检测面部。人脸分析如果输入图像中有多张脸使用面部嵌入来选择最接近源的目标面部以实现更好的逼真度。这不适用于我们的情况因为我们输入的是单张面部图像。换脸使用预训练的换脸模型 Inswapper_128.onnx。它将交换后的面部融合回目标图像。人脸增强使用 GFPGAN [19] 增强模型改善图像的整体质量。II-F 阶段5融合使用从OpenCV库导入的SeamlessClone函数进行融合。该函数使用泊松图像编辑技术通过操纵图像的梯度向量来无缝融合两个图像。相应地去标识图像被放置在目标的坐标处并调整边界处的像素值以显示图像梯度、颜色和光照之间的平滑融合。II-G 评估整个管道的性能通过评估换脸模型来评估因为这是直接针对目标的核心功能部分。管道的其他阶段用于为换脸准备图像并后处理换脸输出以生成匿名化和可用的行人图像。使用四个定量指标如下关键点差异面部关键点代表不同面部属性如眼睛、鼻子和嘴角的估计坐标。478个关键点反映面部结构、几何形状和姿势。计算原始面部和交换后面部关键点之间的平均空间距离。低值反映姿势、面部几何形状和结构保持良好。混合形状差异混合形状预测器使用关键点生成52个面部表情系数例如browDownLeft 或 browDownRight。计算原始和交换混合形状分数之间的绝对差之和以表示面部表情变化的程度。值越低表情保留越好。面部相似度计算原始和交换面部嵌入之间的余弦相似度表示原始和交换面部的相似程度。值越低面部差异越大因此身份保留越好。视线向量相似度Gaze-LLE [16] 估计面部视线它输出估计视线方向的向量。计算原始和交换向量之间的余弦相似度。值越高越好推断目标视线得到保留。III 结果与讨论III-A 集合1高质量面部图像的换脸表I显示了换脸模型在高质量面部图像上的视觉输出以评估独立模型的质量作为概念验证。从表I可以看出两个模型都输出逼真的图像隐藏了目标身份没有伪影如重影或颜色梯度不匹配。两个模型在视觉上都显示姿势和视线方向得到保留——将在表II中进行量化证明。Roop保留了目标面部的头型、面部结构和头发——包括眉毛和胡须。与Ghost-v2不同后者由于头部交换而从源获取所有这些属性。评估指标是使用一组面部特写图像样本的平均值计算的。基于表II可以得出以下结论Roop具有更低的混合形状差异因此它能更好地保留面部表情。Roop具有更低的关键点差异这表明Roop能更好地保留目标面部的面部结构、几何形状和姿势。Ghost-v2具有更低的余弦相似度这表明输出面部与原始面部的差异更大更好地隐藏了目标身份。两者都具有非常高的视线余弦相似度值≈1这表明原始面部和交换面部的视线向量极其相似因此该属性得到良好保留。表I 特写面部图像的换脸结果。源面部目标面部Ghost-v2Roop表II 换脸器的评估结果。评估方法RoopGhost-v2混合形状差异1.8982.0478关键点差异0.005960.00710余弦相似度身份0.19970.1393视线向量余弦相似度0.93680.9385III-B 集合2行人和人脸检测模型的重要性图2显示Ghost-v2无法检测到远处的面部来执行交换。尽管Roop由于其内部的人脸检测器在大多数情况下成功了但在极端场景如极远距离的行人或极度扭曲的面部中也有少数失败。因此使用行人和人脸检测模块来确保两个模型都输入清晰可检测的面部。图2 Ghost-v2模型在原始街道图像上的输出。图3显示了一个包含多个行人的输入图像所有行人都被YOLO模型成功检测然后输入到SCRFD模型在阶段结束时为每个行人提供裁剪后的面部图像。在以下所有结果中都使用了从埃及街道拍摄的真实图像。从图3可以看出远处的面部质量低面部属性不可见。显然这阻碍了换脸过程因为模型无法输出期望的结果如表III所示。此外从表III可以得出Ghost-v2无法处理遮挡的面部而Roop可以。Ghost-v2无法处理戴面纱的女性图像由于执行全头部交换它产生了一个不真实的、幽灵般的面部。Roop被证明更可靠因为它能够交换面部——与Ghost-v2不同但它产生的低质量图像可能仍然不可用。图3 YOLO和SCRFD模型的输出。表III 从埃及街道图像裁剪的面部上的换脸结果。源面部目标面部Ghost-v2RoopIII-C 集合3质量增强图像上的换脸为解决街道图像低分辨率特性的挑战在将裁剪图像输入换脸模型之前对其应用了Codeformer质量增强模块。表IV显示了换脸的输出。可以注意到以下观察在使用质量增强器后两个模型的性能在输出高质量清晰交换面部的能力方面都得到了提升。Ghost-v2在处理戴面纱女性图像方面仍然存在问题在逼真度、交换保真度甚至属性保留方面都表现不佳。输出在视觉上不吸引人面部表情与目标图像不同。Roop在输出图像逼真度、属性保留和处理更具挑战性情况的鲁棒性方面仍然优于Ghost-v2。表IV 街道图像增强裁剪面部上的换脸结果。源面部目标面部Ghost-v2RoopIII-D 结果所实施管道的最终图像输出前面的结果集旨在说明管道每个模块的重要性。本集将展示使用Roop模型因为它被证明比Ghost-v2更可靠对一张包含多个行人的埃及街道图像应用管道5个阶段的结果。值得一提的是该过程完全自动化输入是任何街道图像输出是相同的图像所有可检测到的行人都被匿名化。图4是一个样本包含四个距离拍摄镜头不同距离的行人。管道能够检测并隐藏图像中四个行人的身份。III-E 额外阶段后续任务的可用性测试基于视线方向的“看/不看”特征是行人意图预测模型中使用的最关键特征。它在JAAD数据集 [15] 等数据集中被标注。表5显示了在管道应用于所有清晰可见的行人之前和之后预训练特征提取器的结果。该提取器用绿色突出显示看向镜头的行人用红色突出显示不看镜头的行人。如图5所示所有行人的“看/不看”特征在管道应用前后都得到保持这证明管道能够在维护行人隐私的同时保留后续任务所需的面部属性。IV 结论与未来建议包含行人片段的数据集将行人的隐私置于风险之中。因此保护行人隐私是必须的同样重要的是保持这些受保护图像对下游任务的可用性。因此本工作实施了一个五阶段管道旨在保留基本的面部属性尤其是在埃及街道上的同时保护行人隐私。结果表明Roop是管道的完美选择因为它在4个定量指标中的3个上优于Ghost-v2。两个模型在高质量面部图像上都显示出令人满意的结果但Roop在处理具有挑战性的场景方面被证明更鲁棒和可靠。Ghost-v2通常无法处理遮挡的面部并用源头发替换了女性的面纱这在伦理上可能是不恰当的。总之所实施的管道能够成功地在行人隐私和数据可用性之间取得所需的平衡。对于未来的工作该管道将应用于Egy-DRiVeS数据集的更多样本以更好地评估其可靠性和鲁棒性。此外如果3分钟的推理时间得到优化它可以应用于视频。而且质量增强器将图像调整为统一尺寸这在将图像调整回其尺寸进行融合时会扭曲面部属性。因此微调模型以处理各种图像尺寸将是有益的。最后源面部选择算法可以通过选择与目标不相似的源面部来提升性能以实现更好的身份隐藏并通过考虑年龄、性别和肤色获得更逼真的输出。此外可以使用生成模型为源选择提供完全合成的面部。图4 应用五阶段管道后的样本输出。图5 使用管道前后“看/不看”特征的比较。