2021.3.13 PaddleGAN SIG meeting note

20213月13日 Paddle SIG 周会记录

时间：北京时间20：00~21：00

当前正在推进项目进度同步：

DCGAN：@韩杰 已完成 StyleGAN2：@艾梦 已完成(预测版本) Pix2Style2Pix：@艾梦 已完成 AnimeGAN @愚鱼 已完成 Photo2Cartoon @郝强, 已完成 First Order训练版：@李果，基本完成，待合入 Wave2lip：已完成 -Tutorial @此方 -Generator + inference @李晓波 Wav2lip + hq_wav2lip + Dataloader 已完成，模型体积压缩中 DRN @已完成 美甲创意项目 @Habout 人脸超分DFDNet @Kevin StarGAN：@李杨柳

StarGANv2：动物生成 Amity 应用Pytorch完成，可以考虑应用Paddle版本复现

2D图像—>3D图像生成 @甄昊天 论文：https://arxiv.org/abs/1904.04290 参考Repo： https://github.com/google/neural_rerendering_in_the_wild 视频效果： https://www.youtube.com/watch?v=E1crWQn_kmY

deepfill v2 @韩杰 作用：图片修复，还原图片中缺失的部分 论文：https://arxiv.org/abs/1806.03589 参考repo：https://github.com/yangyu12/deepfill_v2.pytorch ； https://github.com/JiahuiYu/generative_inpainting

lip2wav @夕月 论文： https://arxiv.org/pdf/2005.08209.pdf 新闻：https://www.reddit.com/r/artificial/comments/gu1s3d/lip2wav_synthesize_speech_only_from_the_lip/

图像去模糊 @李杨柳 训练数据需要清晰&模糊成对匹配 DeblurGAN-v2 SRN-DeblurNet Deep Image Ankonwledge 待领取（不分先后顺序）

AI深度估计（非GAN方向，但如果大家感兴趣可以考虑） 论文： https://arxiv.org/pdf/1904.11111.pdf 画面扩充（例如把原片从4:3变成16:9宽画幅）https://github.com/vt-vl-lab/FGVC 老照片修复 https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life 2021年规划讨论：

影像超分 艺术圈大家对AI比较感兴趣，扩圈可行，题材是重点 渠道：B站鬼畜区、虚拟偶像、dameidamei 题材：简笔画生成真实画像，水墨画一笔一笔生成 AI变声（柯南） 人体动作迁移（分辨率较低 2k）https://www.impersonator.org/work/impersonator-plus-plus.html 数据生成（戴眼镜的、头部姿态改变等等）ToDo:PADDLE思路共享 语音克隆 ToDo:找语音团队支持 时间穿行：https://time-travel-rephotography.github.io/ https://arxiv.org/pdf/2012.12261.pdf

其他有用的素材：

• Voice Clone：https://github.com/CorentinJ/Real-Time-Voice-Cloning
• 影像上色 https://github.com/zhangmozhe/Deep-Exemplar-based-Video-Colorization； Paddle 版本3月底实现
• 人脸数据集： ① http://www.seeprettyface.com/mydataset.html ② http://www.jdl.ac.cn/peal/
• 动物人脸生成： https://thisfursonadoesnotexist.com/
• 人脸生成： https://www.artbreeder.com/
• 反AI现有的技术实现： 【技术实现方式】 1.基于帧间时间特性的方法：利用视频内人眨眼频率、嘴型等时间相关的特性进行判断 2.基于帧内视觉效果的方法：利用图像边缘的瑕疵以及五官位置、面部阴影等不自然的细节进行判断，通常提取特定特征后用深层或浅层的分类器完成检测 3.区块链解决方案：使用区块链的解决方案和通用框架，以追踪数字内容的来源和历史，即使数字内容被多次复制也可对其进行溯源 【现有的技术实现】CNNDetection（https://github.com/PeterWang512/CNNDetection）--基于频谱的分类器，针对不仅GAN，任何CNN生成的假图均可识别 Face X-ray（https://paperswithcode.com/paper/face-x-ray-for-more-general-face-forgery#code）--预测图像混合区域，检测并清晰画出换脸边界，目前只有非官方复现代码 【开源数据集】
• Face Forensics（124kAI生成视频）：https://ai.facebook.com/datasets/dfdc/
• CNNDetection（72张训练集，4000张测试集）：https://github.com/PeterWang512/CNNDetection#3-dataset
• DeeperForensics-1.0 （48475源视频，11000“伪视频”）：https://github.com/EndlessSora/DeeperForensics-1.0/tree/master/dataset
• Celeb-DF（590源视频，5639“伪视频”，需要发邮件获得数据集）：https://github.com/yuezunli/celeb-deepfakeforensics
• DFDC（119154训练集，4000验证集半数“伪视频”，10000测试集）：https://www.kaggle.com/c/deepfake-detection-challenge/data
• deepfake in the wild（7314序列抽取于707“伪视频”）：https://github.com/deepfakeinthewild/deepfake-in-the-wild
• 部分数量比较小的数据集：https://blog.csdn.net/where_is_horse/article/details/102790866