使用浮世绘人脸图像的数据集来训练StyleGAN模型

描述

作为我的论文《基于分辨率的GAN插值用于域间的可控图像合成》的一部分,我使用浮世绘人脸图像的数据集来训练StyleGAN模型,本文包含该数据集的链接和该数据集的详细信息。

更新

V2 - 删除了28张质量不好的图像(对准不良或没有正面)。

V1 - 最初发行的版本,被使用在与分辨率相关的GAN插值的论文中,用于域之间的可控图像合成。

数据集    浮世绘人脸数据集包含来自浮世绘照片的5209张脸部图像。图像像素为1024x1024、jpeg格式,并已根据FFHQ数据集所使用的过程进行对齐。上面是数据集中(几乎)所有图像的地图,对图像进行了绘制,以使相似的面孔看起来靠近在一起[2]。为了便于显示, 图像已缩小为256x256。  细节  图片是从数个博物馆网站上下載来的,然后我使用Amazon Rekognition尝试从每个图片中检测面部和面部标志。Rekognition在这两个任务上都做得很合理,但是显然并不完美,很多面部都被遗漏了,并且许多图像中都存在对齐错误。同时,许多图像的分辨率並不是很高,因此为了生成1024x1024分辨率的可用数据集,我使用了在Manga109数据集上训练的预训练的ESRGAN [3]模型来按需放大图像,尽管这些图像会留下一些瑕疵,但大体上的结果还是不错的。  其他数据集 

    KaoKore是浮世绘人脸的另一个数据集[4],它具有更多的多样性和标签,但是图像分辨率较低且人脸未对齐。    许可和使用    此数据集是根据``知识共享署名-相同方式共享4.0国际许可证''提供的。   如果使用数据集,请引用为“Aligned ukiyo-e faces dataset, Justin Pinkney 2020”或一个bibtex条目:  

    1. Pinkney, Justin N. M., and Doron Adler. ‘Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains’. ArXiv:2010.05334 [Cs, Eess], 20 October 2020. http://arxiv.org/abs/2010.05334.   2. 为了生成此图像,我首先使用在Imagenet上预训练的ResNet50从每个图像中提取CNN的特征。然后使用UMAP将这些高维特征向量投影到二维,最后使用lapjv算法完成网格划分。   3. Wang, Xintao, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Chen Change Loy, Yu Qiao, and Xiaoou Tang. ‘ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks’. ArXiv:1809.00219 [Cs], 1 September 2018. http://arxiv.org/abs/1809.00219.     4. Tian, Yingtao, Chikahiko Suzuki, Tarin Clanuwat, Mikel Bober-Irizar, Alex Lamb, and Asanobu Kitamoto. ‘KaoKore: A Pre-Modern Japanese Art Facial Expression Dataset’. ArXiv:2002.08595 [Cs, Stat], 20 February 2020. http://arxiv.org/abs/2002.08595.  

       责任编辑:lq

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分