高岭土:用于加速3D深度学习研究的Pytorch库
概述
NVIDIA高岭土库提供了一个用于处理各种3D表示形式的PyTorch API,并包含越来越多的GPU优化操作,例如模块化可微渲染、快速表示形式转换、数据加载、3D检查点、可微相机API、球面谐波和球面高斯的可微照明、一个强大的四叉树加速结构称为结构化点云、用于Jupyter笔记本的交互式3D可视化器、方便的批处理网格容器等等。访问Kaolin Library Documentation开始体验吧!
请注意,Kaolin库是更大规模的NVIDIA Kaolin effort的一部分,用于3D深度学习。
安装和开始使用
从v0.12.0版本开始,高岭土支持使用轮包安装:
# 用你的torch/cuda版本替换TORCH_VERSION和CUDA_VERSION
pip install kaolin==0.16.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-{TORCH_VERSION}_cu{CUDA_VERSION}.html
例如,要在torch 2.0.0和cuda 11.8上安装kaolin 0.16.0:
pip install kaolin==0.16.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.0.0_cu118.html
关于最新版本(0.16.0)
在这个版本中,我们添加了一个物理部分。
在这个新部分中,我们实现了Simplicits,一种用于弹性模拟的几何无关方法。详见项目页面。
我们还添加了一个包含四元数数学功能的数学部分。
最后,我们改进了工作流程,提供了一个简易渲染API,用于快速可视化模型。
查看我们新的教程: 使用Simplicit简易API模拟网格 在这个笔记本中,我们演示了如何使用高层次的Simplicit API来模拟导入的网格。 交互物理模拟 在这个笔记本中,我们演示了如何通过移动对象与模拟交互。 使用Simplicit全功能API 在这个笔记本中,我们演示了如何使用低层次API模拟点云。
网格的简易渲染 使用我们的新高层次API加载网格、创建相机和光照参数并进行交互式渲染。
查看更改日志了解详细信息。
贡献
请查看我们的贡献指南。
使用Kaolin的外部项目
- NVIDIA Kaolin Wisp:
- gradSim: 系统识别和视觉运动控制的可微模拟:
- 使用基于插值的可微渲染器预测3D对象:
- 使用Kaolin的DIB-R光栅化器、相机函数和延时摄影进行3D检查点。
- 神经几何细节级别:隐式3D表面的实时渲染:
- 学习变形四面体网格进行3D重建:
- Text2Mesh:
- 使用Kaolin的渲染函数、相机函数、以及obj和off导入器。
- 用于梯度基网格优化的灵活等值面提取(FlexiCubes) :
许可证
大多数Kaolin的代码库都遵循Apache v2.0许可证,除了kaolin/non_commercial下的代码,这些代码遵循NSCL许可证,仅限于研究和评估目的下的非商业用途。例如,FlexiCubes方法位于non_commercial目录下。
默认kaolin
导入包括Apache许可证的组件:
import kaolin
需要明确导入非商业组件:
import kaolin.non_commercial
引用
如果您在研究中使用Kaolin库,请引用:
@misc{KaolinLibrary,
author = {Fuji Tsang, Clement and Shugrina, Maria and Lafleche, Jean Francois and Takikawa, Towaki and Wang, Jiehan and Loop, Charles and Chen, Wenzheng and Jatavallabhula, Krishna Murthy and Smith, Edward and Rozantsev, Artem and Perel, Or and Shen, Tianchang and Gao, Jun and Fidler, Sanja and State, Gavriel and Gorski, Jason and Xiang, Tommy and Li, Jianing and Li, Michael and Lebaredian, Rev},
title = {Kaolin: A Pytorch Library for Accelerating 3D Deep Learning Research},
year = {2022},
howpublished={\url{https://github.com/NVIDIAGameWorks/kaolin}}
}
贡献者
当前团队:
- 技术负责人:Clement Fuji Tsang
- 经理:Maria (Masha) Shugrina
- Charles Loop
- Vismay Modi
- Or Perel
- Alexander Zook
其他主要贡献者:
- Wenzheng Chen
- Sanja Fidler
- Jun Gao
- Jason Gorski
- Jean-Francois Lafleche
- Rev Lebaredian
- Jianing Li
- Michael Li
- Krishna Murthy Jatavallabhula
- Artem Rozantsev
- Tianchang (Frank) Shen
- Edward Smith
- Gavriel State
- Towaki Takikawa
- Jiehan Wang
- Tommy Xiang