简要
这次的专题制作为针对对DeepFake进行深入研究,通过使用不同的神经网络、CNN、注意力机制和细粒度进行训练,训练出的模型,再检测不同的视频集或是图片集。在这次的研究中使用到了五种神经网络:Xception&ResNet50, VGG19&InceptionV3Large, MobileNet50。
訓練過程
在本研究中,我們使用了一種基於深度學習檢測Deepfake進行檢測。該方法包括圖片預處理、特偵提取、模型訓練以及性能評估的四個部分。
成果展示
VGG19&InceptionV3
![正确预测图像](photo/vgg&inoldt.png)
使用训练好的模型进行测试,将判断为虚假的图像打上红色的框架, 真实的打上绿色的框。 图中八张图片都是被正确判断的
![错误预测图像](photo/vgg&inoldf.png)
在这边的图像八张中, 全部的都是错误判断的。将正确的认为是错误, 错误的认为是正确的。 错误点可能为人的夸张表情动作。存在识别错误的情况。
![混淆矩阵](photo/vgg&inoldb.png)
这个为这次的混淆矩阵, 可以观察到准确率为79.3%。召回率为86.62%。正确被预判的有6280张,正确预判错误的有3521张。这个模型在识别正确的人像的能力较强。
重新进行训练后的VGG19 & InceptionV3
![Image 4](photo/vggnewt.png)
圖中八張圖片都是被正確判斷的,重新進行訓練后加入了細粒度和注意力機制。對圖像進行標注,將預測的圖像正確性寫在圖像上。
![Image 5](photo/vgginnewf.png)
圖中八張圖是被錯誤判斷的, 一樣是將錯誤的認爲是正確 正確的判斷為錯誤。
![Image 6](photo/vgginnewb.png)
上圖為重新訓練後的混肴表,被正確預判的圖像 只有 1174張,正確率為30.59%。被正確預判的僞造影像為7336張,準確率為52.64%。在這次的訓練中,這個模型在僞造影像中的識別率更高
MobileNetV3Large
![Image 7](photo/mabV3t.png)
上圖的八張圖 為 使用MobileNetV3Large 進行訓練的成果,可以看到圖像被識別標注上,從圖中知道真實影像幾乎都被預測正確,在虛假影像識別和標注上,幾乎所有的錯誤的影像都被判斷為正確。
![Image 8](photo/maV3b.png)
這張圖是準確率, 準確率接近百分之55.可以知道 將正確的幾乎全部判斷正確。
Xception & ResNet50
![Image 10](photo/oldrexct.png)
上面的圖爲 使用 Xception & ResNet50 進行訓練的成果,可以看到圖像 上被檢測被標注上,檢測後的結果。可以看到真實的圖像幾乎被預判正確。 在虛假圖像檢測和被標注上,也全部被預判正確
![Image 11](photo/oldrexcb.png)
從混肴表中可以觀察出被檢測辨識的圖像有 2w 張,其中被正確辨識的 正確圖像 為 9689 張,被正確辨識的虛假圖像有 9387 張。總體的準確率達 到了 95.38%. 在所有的辨識圖像的,這個的圖像集的辨識度最高。
重新进行训练的Xception&ResNet50
![Image 13](photo/newxcretr.png)
這有八張圖 八張都是 被正確預測的 四張正確和四張被僞造的
![Image 14](photo/newxcref.png)
這張圖一樣有八張圖 全部是被錯誤預測的預想 上述有正確的被認爲是錯誤 錯誤的被認爲是錯誤
![Image 15](photo/newxcre.png)
這張圖為 重新訓練後的
制作人
![制作人照片](photo/human.jpg)
資工三 史煜疏