:fire: FLAME 宇宙 :fire:
本仓库列出了 :fire: FLAME :fire: 3D头部模型的公开可用资源,包括代码、数据集和科学论文。 我们致力于保持列表的更新。欢迎您在讨论区或通过拉取请求添加缺失的基于FLAME的资源(出版物、代码仓库、数据集)。
:fire: FLAME :fire:
从未听说过FLAME?
FLAME是一个轻量级且富有表现力的通用头部模型,由超过33,000个精确对齐的3D扫描数据学习而来。 FLAME结合了线性身份形状空间(从3800名受试者的头部扫描中训练得到)、可关节化的颈部、下颌和眼球、与姿态相关的校正混合形状,以及额外的全局表情混合形状。 详情请参阅科学出版物。 FLAME在知识共享署名许可下公开可用。
代码
使用FLAME的公开仓库列表(按字母顺序排列)。
- BFM_to_FLAME:从Basel人脸模型(BFM)到FLAME的转换。
- CVTHead:从单张图像生成可控的头部化身。
- DECA:从单张图像重建具有可动画面部表情细节的3D人脸。
- DiffPoseTalk:语音驱动的风格化3D面部动画。
- diffusion-rig:个性化模型,用于编辑肖像图像中的面部表情、头部姿势和光照。
- EMOCA:从单张图像重建情感化3D人脸。
- EMOTE:情感化语音驱动的3D人脸动画。
- expgan:具有表情控制的人脸图像生成。
- FaceFormer:FLAME网格拓扑下的语音驱动面部动画。
- FLAME-Blender-Add-on:FLAME Blender插件。
- flame-fitting:将FLAME拟合到扫描数据。
- FLAME_PyTorch:FLAME PyTorch层。
- GANHead 可动画化的神经头部化身。
- GaussianAvatars 使用FLAME控制的3D高斯点的真实感头部化身。
- GIF:使用FLAME参数控制生成人脸图像。
- INSTA:在不到10分钟内从视频生成体积化头部化身。
- INSTA-pytorch:在不到10分钟内从视频生成体积化头部化身(PyTorch版)。
- learning2listen:对二人对话中的互动交流进行建模。
- MICA:从单张图像重建度量准确的3D人脸。
- MeGA:重建可编辑的混合网格-高斯头部化身。
- metrical-tracker:用于单目视频的度量人脸跟踪器。
- NED:视频中的面部情感表情操纵。
- Next3D:具有FLAME参数控制的3D生成模型。
- neural-head-avatars:从视频序列构建神经头部化身。
- NeRSemble:从多视角视频数据构建神经头部化身。
- photometric_optimization:使用可微渲染将FLAME拟合到图像。
- RingNet:从单张图像重建3D人脸。
- ROME:从单张图像创建个性化化身。
- SAFA:人脸图像动画。
- Semantify:对3DMM参数进行语义控制。
- SPECTRE:从图像进行语音感知的3D人脸重建。
- SMIRK:从单张图像重建情感化3D人脸。
- TRUST:从图像进行无种族偏见的肤色估计。
- TF_FLAME:将FLAME拟合到2D/3D关键点、FLAME网格,或采样纹理网格。
- video-head-tracker:在视频序列中跟踪3D头部。
- VOCA:FLAME网格拓扑下的语音驱动面部动画。
数据集
FLAME拓扑网格数据集列表。
- [BP4D+](https://github.com/Zielon/MICA/tree/master/datasets):127名受试者,每人一个中性表情网格模型。 - [CoMA数据集](https://coma.is.tue.mpg.de/download.php):12名受试者,每人12个极端动态表情。 - [D3DFACS](https://flame.is.tue.mpg.de/download.php):10名受试者,共519个动态表情。 - [Decaf数据集](https://github.com/soshishimada/DecafDatasetScript):面部和手部交互的变形捕捉。 - [FaceWarehouse](http://kunzhou.net/zjugaps/facewarehouse/):150名受试者,每人一个中性表情网格模型。 - [FaMoS](https://tempeh.is.tue.mpg.de/):95名受试者,每人28个动态表情和头部姿势,共约60万帧。 - [Florence 2D/3D](https://github.com/Zielon/MICA/tree/master/datasets):53名受试者,每人一个中性表情网格模型。 - [FRGC](https://github.com/Zielon/MICA/tree/master/datasets):531名受试者,每人一个中性表情网格模型。 - [LYHM](https://www-users.cs.york.ac.uk/~nep/research/Headspace/):1216名受试者,每人一个中性表情网格模型。 - [MEAD重建](https://github.com/radekd91/inferno/tree/release/EMOTE/inferno_apps/TalkingHead):MEAD(情感说话面部数据集)的3D面部重建。 - [NeRSemble数据集](https://github.com/tobias-kirschstein/nersemble):10个多视角图像序列和FLAME网格拓扑结构的3D面部。 - [Stirling](https://github.com/Zielon/MICA/tree/master/datasets):133名受试者,每人一个中性表情网格模型。 - [VOCASET](https://github.com/TimoBolkart/voca):12名受试者,每人40个带同步音频的语音序列。出版物
基于FLAME的科学出版物列表。
2024年
- 人头的高斯特征模型。
- FAGhead:从单目视频全面动画化高斯人头。
- GGHead:快速且通用的3D高斯人头。
- Rig3DGS:从随意的单目视频创建可控制的人像。
- GAUSSIAN3DIFF:3D高斯扩散用于3D全头部合成和编辑(ECCV 2024)。
- MeGA:混合网格-高斯头部化身用于高保真渲染和头部编辑(ECCV 2024)。
- DiffPoseTalk:通过扩散模型实现语音驱动的风格化3D面部动画和头部姿势生成(SIGGRAPH 2024)。
- 通过神经网络合成分析的3D面部表情(CVPR 2024)。
- GaussianAvatars:使用绑定3D高斯的逼真头部化身(CVPR 2024)。
- FaceComposer:用于多功能面部内容创作的统一模型(NeurIPS 2023)。
- 感受咬合:基于稳健口腔感知和物理交互感知控制的机器人辅助口内咬合传递(HRI 2024)。
- ReliTalk:从单个视频生成可重光的说话人像(IJCV 2024)。
- CVTHead:基于顶点特征变换器的单样本可控头部化身(WACV 2024)。
- 迈向真实的生成式3D人脸模型(WACV 2024)。
- LaughTalk:具有笑声的富表现力3D说话头生成(WACV 2024)。
- NeRFlame:基于FLAME的NeRF条件化用于3D人脸渲染(ICCS 2024)。
2023年
- DF-3DFace:基于扩散的一对多语音同步3D面部动画
- HeadCraft:为动画3DMM建模高细节形状变化
- 3DiFACE:基于扩散的语音驱动3D面部动画和编辑
- 使用文本到图像扩散模型生成铰接3D头部化身
- 不用制作也能造假:用于准确3D面部的条件化人脸生成
- Text2Face:多模态3D人脸模型
- SelfTalk:理解3D说话人脸的自监督可交换训练图(ACM-MM 2023)
- 具有可控情感的富有表现力的语音驱动面部动画(ICMEW 2023)
- 用于单目3D人脸重建的感知形状损失(Pacific Graphics 2023)
- FLARE:快速学习可动画和可重光的网格化身(SIGGRAPH Asia 2023)
- 情感语音驱动动画与内容-情感解耦(SIGGRAPH Asia 2023)
- Decaf:面部和手部交互的单目变形捕捉(SIGGRAPH Asia 2023)
- 语言模型能学会倾听吗?(ICCV 2023)
- 使用面部组件令牌进行准确的3D人脸重建(ICCV 2023)
- Speech4Mesh:用于语音驱动3D面部动画的语音辅助单目3D面部重建(ICCV 2023)
- Semantify:使用CLIP简化3D可变形模型的控制(ICCV 2023)
- Imitator:个性化语音驱动3D面部动画(ICCV 2023)
- NeRSemble:人头多视图辐射场重建(SIGGRAPH 2023)
- ClipFace:文本引导的纹理3D可变形模型编辑(SIGGRAPH 2023)
- GANHead:面向生成式可动画神经头部化身(CVPR 2023)
- 通过可控局部变形场的隐式神经头部合成(CVPR 2023)
- DiffusionRig:学习面部外观编辑的个性化先验(CVPR 2023)
- 从偏振智能手机图像中捕捉高分辨率面部外观(CVPR 2023)
- 即时体积化头部化身(CVPR 2023)
- 学习个性化高质量体积化头部化身(CVPR 2023)
- Next3D:用于3D感知头部化身的生成神经纹理光栅化(CVPR 2023)
- PointAvatar:从视频中获取可变形点基头部化身(CVPR 2023)
- 视觉语音感知3D面部表情从视频重建(CVPR-W 2023)
- 通过神经缓存扩展神经面部合成到高帧率和低延迟(WACV 2023)
2022
- TeleViewDemo:体验未来的3D远程会议(SIGGRAPH Asia 2022)
- 逼真的一次性网格基头部化身(ECCV 2022)
- 走向人脸的公制重建(ECCV 2022)
- 通过场景消歧实现无种族偏见的肤色估计(ECCV 2022)
- 生成式神经铰接辐射场(NeurIPS 2022)
- EMOCA:情感驱动的单目面部捕捉和动画(CVPR 2022)
- 从单张遮挡人脸图像生成多样化的3D重建(CVPR 2022)
- I M Avatar:从视频中获取隐式可变形头部化身(CVPR 2022)
- 学会倾听:建模非确定性二元面部运动(CVPR 2022)
- 神经情感导演:在"野外"视频中保留语音的面部表情语义控制(CVPR 2022)
- 从单目RGB视频中获取神经头部化身(CVPR 2022)
- RigNeRF:完全可控的神经3D肖像(CVPR 2022)
- 人脸识别模型的模拟对抗测试(CVPR 2022)
- 用于全身3D人体网格估计的准确3D手部姿势估计(CVPR-W 2022)
- MOST-GAN:用于解耦人脸图像操作的3D可变形StyleGAN(AAAI 2022)
- Exp-GAN:具有表情控制的3D感知面部图像生成(ACCV 2022)
2021
- 数据驱动的3D颈部建模与动画 (TVCG 2021)。
- MorphGAN:用于检测识别偏差的单样本人脸合成GAN (BMVC 2021)。
- SIDER:用于面部几何细节恢复的单图像神经优化 (3DV 2021)。
- SAFA:结构感知的面部动画 (3DV 2021)。
- 从野外图像中学习可动画化的详细3D人脸模型 (SIGGRAPH 2021)。