人工智能与影视研究整理 - 版本历史

Xuexf：/* SimSwap */

2022-06-20T09:55:46Z

‎SimSwap

2022-06-20T09:53:55Z

‎One-stage Context and Identity Hallucination Network

2022-06-20T09:46:03Z

‎One Shot Face Swapping on Megapixels

2022-06-20T09:43:36Z

‎UniFaceGAN

2022-06-20T09:38:59Z

‎FaceShifter

2022-06-20T09:37:33Z

‎FaceShifter

2022-06-20T09:35:47Z

‎任意人脸替换

2022-06-20T09:33:35Z

‎FaceShifter

2022-06-20T09:30:42Z

‎FSGAN

2022-06-20T09:26:32Z

‎IPGAN

←上一版本		2022年6月20日 (一) 09:55的版本
第143行：		第143行：

	[[文件:SimSwap.png]]		[[文件:SimSwap.png]]
		+
		+	主体基于自编码器的架构，加入了ID注入模块，在隐空间将新的人脸的身份信息注入，再进行解码，完成任意人脸的替换。

←上一版本		2022年6月20日 (一) 09:53的版本
第133行：		第133行：

	[[文件:One-stage Context and Identity Hallucination Network.png]]		[[文件:One-stage Context and Identity Hallucination Network.png]]
		+
		+	通过幻觉图（Hallucination map）来区分人脸区域和周围区域，并有效学习特征，还设计了一种新的重建损失和swap block，值得关注。属于单阶段的换脸，主要解决训练-合成这种两阶段边缘产生伪影的问题。

	===== SimSwap =====		===== SimSwap =====

←上一版本		2022年6月20日 (一) 09:46的版本
第125行：		第125行：

	[[文件:MegaPixels.png]]		[[文件:MegaPixels.png]]
		+
		+	把人脸图像分成不同层次的表示，对高层表示应用迁移模块，最后将迁移后的表示输入到StyleGAN2的生成器，生成逼真的人脸替换结果。

	===== One-stage Context and Identity Hallucination Network =====		===== One-stage Context and Identity Hallucination Network =====

←上一版本		2022年6月20日 (一) 09:43的版本
第115行：		第115行：

	[[文件:UniFaceGAN.png]]		[[文件:UniFaceGAN.png]]
		+
		+	可以完成人脸替换、人脸重演（face reenactment）任务，还可以进行身份、表情、属性的解耦。
		+
		+	提出了一种新的基于重心坐标插值的光流损失；提出了一种区域感知条件归一化(RCN)层，以空间感知的方式调制解码过程中的特征，从而产生更真实的输出。

	===== One Shot Face Swapping on Megapixels =====		===== One Shot Face Swapping on Megapixels =====

←上一版本		2022年6月20日 (一) 09:38的版本
第104行：		第104行：

	[[文件:FaceShifter.png]]		[[文件:FaceShifter.png]]
		+
		+	[[文件:FaceShifter-hear-net.png]]

	用其提出的AEI-Net（Adaptive Embedding Integration Network）进行多层次的属性编码以及自适应融合，		用其提出的AEI-Net（Adaptive Embedding Integration Network）进行多层次的属性编码以及自适应融合，

←上一版本		2022年6月20日 (一) 09:37的版本
第104行：		第104行：

	[[文件:FaceShifter.png]]		[[文件:FaceShifter.png]]
		+
		+	用其提出的AEI-Net（Adaptive Embedding Integration Network）进行多层次的属性编码以及自适应融合，
		+	解决了源对象和目标对象之间面部照明和脸型不一致的问题，用 HEAR-Net（Heuristic Error Acknowledging Refinement Network）通过自监督的方式解决了面部遮挡物保留的问题。

	===== UniFaceGAN =====		===== UniFaceGAN =====

@@ 第108行： / 第108行： @@
 论文：[https://ieeexplore.ieee.org/abstract/document/9464699 UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing]
 ===== One Shot Face Swapping on Megapixels =====
 论文：[https://openaccess.thecvf.com/content/CVPR2021/html/Zhu_One_Shot_Face_Swapping_on_Megapixels_CVPR_2021_paper.html One Shot Face Swapping on Megapixels]
 ===== One-stage Context and Identity Hallucination Network =====
 论文：[https://dl.acm.org/doi/abs/10.1145/3474085.3475257 One-stage Context and Identity Hallucination Network]
 ===== SimSwap =====
@@ 第122行： / 第128行： @@
 代码：https://github.com/neuralchen/SimSwap

←上一版本		2022年6月20日 (一) 09:33的版本
第102行：		第102行：

	代码：https://paperswithcode.com/paper/faceshifter-towards-high-fidelity-and#code		代码：https://paperswithcode.com/paper/faceshifter-towards-high-fidelity-and#code
		+
		+	[[文件:FaceShifter.png]]

	===== UniFaceGAN =====		===== UniFaceGAN =====

@@ 第92行： / 第92行： @@
 论文：[https://arxiv.org/abs/1908.05932 FSGAN: Subject Agnostic Face Swapping and Reenactment]<br>
 论文：[https://arxiv.org/abs/2202.12972 FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment]
 ===== FaceShifter =====

←上一版本		2022年6月20日 (一) 09:26的版本
第83行：		第83行：

	论文：[https://arxiv.org/abs/1803.11182 Towards Open-Set Identity Preserving Face Synthesis]		论文：[https://arxiv.org/abs/1803.11182 Towards Open-Set Identity Preserving Face Synthesis]
		+
		+	[[文件:IPGAN.png]]
		+
		+	从一张人脸图像提取identity，另一张人脸图像提取attributes，输入生成器进行生成。上图的L是损失，具体的定义见论文。

	===== FSGAN =====		===== FSGAN =====