明柳梦少

GitHub：

RenderMe-360/RenderMe-360

这是论文“ RenderMe-360: A Large Digital Asset Library and Benchmarks Towards High-fidelity Head Avatars ”的 Benchmark PyTorch 实现。

摘要

合成高保真头像是 AR、VR 和 Metaverse 上许多应用的核心问题。虽然头像合成算法发展迅速，但最好的合成算法在现实场景中仍然面临很大障碍。其中一个重要原因是数据集不足——1）目前的公共数据集只能支持研究人员在一个或两个任务方向上探索高保真头部头像，如视角、头部姿势、发型或面部表情；2）这些数据集通常包含数据量有限的数字头部资产，并且在不同属性（如表情、年龄和配件）上分布窄。

在本文中，我们介绍了RenderMe-360，一个全面的 4D 人体头部数据集，可推动不同场景中头部头像算法的进步。RenderMe-360 包含海量数据资产，包括 250+ 百万个完整头部帧和来自 500 个不同身份的超过 800k 视频序列，这些视频序列由同步高清多视角摄像机以 30 fps 的速度捕获。它是一个大型头像数字图书馆，具有三个关键属性： 1) 高保真度：所有对象都由 60 个同步高分辨率 2K 相机拍摄，以 360 度收集他们的肖像数据。2) 高度多样性：采集的主题因年龄、时代、种族和文化而异，提供了丰富的材料，在外观和几何形状上具有鲜明的风格。此外，每个受试者都被要求进行各种动态动作，例如表情和头部旋转，这进一步扩大了资产的丰富性。3) 丰富的注释：数据集提供不同粒度的注释：相机参数、背景抠图、扫描、2D 以及 3D 面部标志、半自动注释标记的 FLAME 拟合以及文本描述。基于该数据集，我们为头像研究建立了一个综合基准，在五个主要任务上执行了 16 种最先进的方法：新视图合成、新表情合成、头发渲染、头发编辑和会说话的头像生成。

我们的实验揭示了最先进方法的优缺点，表明它们需要付出额外的努力才能在如此多样化的场景中发挥作用。RenderMe-360 打开了未来探索现代头像的大门。所有数据、代码和模型都将在以下位置公开提供https://renderme-360.github.io/。

特征

高保真：构建一个名为 POLICY 的多摄像机捕获圆柱体来捕获同步的多视图视频。60个教学摄像头/2448×2048/30FPS的视频拍摄。

高多样性：RenderMe-360 是一个大规模数据集，总共有 500 个 ID 和 243M 帧，远远超过其他数据集。广泛的多样性，包括时代、种族、配饰和妆容。每个主题捕获大约 20-30 个表演部分，包括表情、头发和讲话。

Rich Annotations：丰富的多模态注释远超其他数据集：人脸界标 2d & 3d、前后抠图、FLAME 参数、扫描网格、uv 贴图、动作单元、外观注释和文本描述。

资料下载

该数据集将于 6 月发布。

Benchmark & Model Zoo

我们为每个基准提供预训练模型、训练和评估重新实现代码以及训练数据集。

Benchmark	Aspect	Pretrained Model	Reimplementation	Dataset
instant-ngp	Case-specific NVS / Hair Rendering	91MB/model x 40	benchmarks/instant-ngp	400MB
NeuS	Case-specific NVS / Hair Rendering	OneDrive	benchmarks/NeuS	OneDrive
MVP	Case-specific NVS / Hair Rendering	OneDrive	benchmarks/MVP	OneDrive
NV	Case-specific NVS / Hair Rendering	OneDrive	benchmarks/NV	OneDrive
IBRNet	Generalizable NVS	OneDrive	benchmarks/IBRNet	OneDrive
KeypointNerf	Generalizable NVS	OneDrive	benchmarks/KeypointNerf	OneDrive
VisionNerf	Generalizable NVS	OneDrive	benchmarks/VisionNerf	OneDrive
NerFace	Case-specific Novel Expression Synthesis	OneDrive	benchmarks/NerFace	OneDrive
IM Avatar	Case-specific Novel Expression Synthesis	OneDrive	benchmarks/IMavatar	OneDrive
Point-Avatar	Case-specific Novel Expression Synthesis	OneDrive	benchmarks/point-avatar	OneDrive
NSFF	Hair Rendering	OneDrive	benchmarks/NSFF	OneDrive
NRNerf	Hair Rendering	OneDrive	benchmarks/NRNerf	OneDrive
e4e	Hair Editting	OneDrive	benchmarks/e4e	OneDrive
PTI	Hair Editting	OneDrive	benchmarks/PTI	OneDrive
Restyle-e4e	Hair Editting	OneDrive	benchmarks/Restyle-e4e	OneDrive
Hyperstyle	Hair Editting	OneDrive	benchmarks/Hyperstyle	OneDrive
ADNerf	Talking Head	OneDrive	benchmarks/ADNerf	OneDrive
SSPNerf	Talking Head	OneDrive	benchmarks/SSPNerf	OneDrive

用法

代码将于 6 月发布！

引用

@article{2023renderme360,
title={RenderMe-360: Large Digital Asset Library and Benchmark Towards High-fidelity Head Avatars"},
author={Pan, Dongwei and Zhuo, Long and Piao, Jingtan and Luo, Huiwen and Cheng, Wei and Wang, Yuxin and Fan, Siming and Liu, Shengqi and Yang, Lei and Dai, Bo and Liu, Ziwei and Loy, Chen Change and Qian, Chen and Wu, Wayne and Lin, Dahua and Lin, Kwan-Yee},
journal = {arXiv preprint},
volume = {arXiv:2305.13353},
year = {2023}