简要

这次的专题制作为针对对DeepFake进行深入研究,通过使用不同的神经网络、CNN、注意力机制和细粒度进行训练,训练出的模型,再检测不同的视频集或是图片集。在这次的研究中使用到了五种神经网络:Xception&ResNet50, VGG19&InceptionV3Large, MobileNet50。

訓練過程

在本研究中,我們使用了一種基於深度學習檢測Deepfake進行檢測。該方法包括圖片預處理、特偵提取、模型訓練以及性能評估的四個部分。

成果展示

VGG19&InceptionV3

正确预测图像

使用训练好的模型进行测试,将判断为虚假的图像打上红色的框架, 真实的打上绿色的框。 图中八张图片都是被正确判断的

错误预测图像

在这边的图像八张中, 全部的都是错误判断的。将正确的认为是错误, 错误的认为是正确的。 错误点可能为人的夸张表情动作。存在识别错误的情况。

混淆矩阵

这个为这次的混淆矩阵, 可以观察到准确率为79.3%。召回率为86.62%。正确被预判的有6280张,正确预判错误的有3521张。这个模型在识别正确的人像的能力较强。

重新进行训练后的VGG19 & InceptionV3

Image 4

圖中八張圖片都是被正確判斷的,重新進行訓練后加入了細粒度和注意力機制。對圖像進行標注,將預測的圖像正確性寫在圖像上。

Image 5

圖中八張圖是被錯誤判斷的, 一樣是將錯誤的認爲是正確 正確的判斷為錯誤。

Image 6

上圖為重新訓練後的混肴表,被正確預判的圖像 只有 1174張,正確率為30.59%。被正確預判的僞造影像為7336張,準確率為52.64%。在這次的訓練中,這個模型在僞造影像中的識別率更高

MobileNetV3Large

Image 7

上圖的八張圖 為 使用MobileNetV3Large 進行訓練的成果,可以看到圖像被識別標注上,從圖中知道真實影像幾乎都被預測正確,在虛假影像識別和標注上,幾乎所有的錯誤的影像都被判斷為正確。

Image 8

這張圖是準確率, 準確率接近百分之55.可以知道 將正確的幾乎全部判斷正確。

Xception & ResNet50

Image 10

上面的圖爲 使用 Xception & ResNet50 進行訓練的成果,可以看到圖像 上被檢測被標注上,檢測後的結果。可以看到真實的圖像幾乎被預判正確。 在虛假圖像檢測和被標注上,也全部被預判正確

Image 11

從混肴表中可以觀察出被檢測辨識的圖像有 2w 張,其中被正確辨識的 正確圖像 為 9689 張,被正確辨識的虛假圖像有 9387 張。總體的準確率達 到了 95.38%. 在所有的辨識圖像的,這個的圖像集的辨識度最高。

重新进行训练的Xception&ResNet50

Image 13

這有八張圖 八張都是 被正確預測的 四張正確和四張被僞造的

Image 14

這張圖一樣有八張圖 全部是被錯誤預測的預想 上述有正確的被認爲是錯誤 錯誤的被認爲是錯誤

Image 15

這張圖為 重新訓練後的

制作人

制作人照片

資工三 史煜疏