XVERSE 3D-GS UE插件
English | 中文
简介
XVERSE 3D高斯散射UE插件(XVERSE 3D-GS UE Plugin)是由XVERSE科技有限公司(中国深圳)开发的基于虚幻引擎5(UE5)的插件,旨在提供高斯散射模型的实时可视化、管理、编辑和可扩展混合渲染。高斯散射是一种最近兴起的从多张照片重建3D场景的技术,更多详情可参考这里。
目前,我们的插件基于UE5 Niagara实现,充分利用UE5提供的功能优势,实现高斯散射模型的高效渲染和管理。
由于我们处于早期访问阶段,当前可用的功能总结如下:
- 基于Niagara的3D高斯散射高质量实时可视化和渲染
- 轻松从原始高斯散射场景(.ply文件)导入和转换为我们的格式
- 与其他UE资产的混合渲染
- 基于RTS和体积的裁剪
- 裁剪纯Niagara用于VFX
- 支持高斯散射场景的动态照明
- 自动LOD生成,支持Niagara中超过200,000个点云
- Windows系统上的训练工具(XV3DTools):将给定的mp4视频训练成高斯散射ply文件
我们将在此仓库中积极发布新功能,敬请关注。一些未来的更新将包含:
- 动态LOD渲染
- 自动碰撞生成
- 支持预览窗口
- 交互式编辑3D-GS资产
- 3D-GS资产压缩
入门指南
视频教程
YouTube(英文):
B站(中文):
系统要求
- Windows 10或11
- 虚幻引擎5.1.x / 5.2.x / 5.3.x
- cuda11或更高版本(如果使用XV3DTools)
插件下载
- 打开GitHub Release页面
- 下载与您使用的UE版本对应的zip文件
- 解压并将
XV3dGS
文件夹移动到Plugins
文件夹
演示数据下载链接:
我们提供了两组可供下载的测试数据:
这些下载包含demo_fox_1080p.mp4
和demo_office_1080p.mp4
,作为测试XV3DTools本地训练能力的两个示例MP4文件。
demo_fox_gs.ply
和demo_office_gs.ply
是由XV3DTools训练的3DGS模型,可以使用此插件导入到虚幻引擎(UE)中进行实时渲染。
打开演示项目
此仓库包含一个带有示例场景和关卡的演示项目
- 使用git clone下载
git clone https://github.com/xverse-engine/XV3DGS-UEPlugin.git
- 打开
XV3DGS.uproject
启动UE - 打开
demo
关卡
导入您的高斯散射模型
从v1.1.3版本开始,此插件支持直接将多个ply文件拖拽到内容浏览器中进行导入。
点击导航栏上的"加载资产"按钮或转到Window/XV3dgs。
此操作将默认打开一个集成工具页面,设置为加载PLY页面。点击"加载PLY"按钮。
这将触发资源选择窗口的出现。
选择您的高斯模型文件(.ply格式),然后它将自动生成LOD并作为蓝图加载到您的内容浏览器中。
将蓝图拖到关卡视口中,您就可以看到您的高斯场景了。
Windows平台上的本地训练
我们开发了XV3DTools(V1.1.1)来将MP4视频训练成高斯散射ply文件。
请注意: 需要安装CUDA 11或更高版本。CUDA下载链接
XV3DTools使用步骤:
- 从云盘下载XV3DTools(V1.1.1)工具到本地机器:
- 点击图标打开界面并切换到"训练"页面。
-
点击按钮选择要处理的MP4文件,并将其设置为参数"输入MP4路径"(要求视频帧率>20)。路径只能由英文单词组成,不能包含中文字符和特殊字符如"# $ %"。
-
点击按钮选择输出文件夹,并将其设置为参数"输出文件夹"。路径只能由英文单词组成,不能包含中文字符和特殊字符如"# $ %"。
-
点击开始训练按钮。
- 训练前,您可以打开"高级选项"并点击"刷新预估时间"按钮来估算训练时间。参数"每张图像训练迭代次数"可以调整以控制每张图像的迭代次数。
- 训练需要时间。完成后,在输出文件夹中找到训练好的ply文件。
训练速度参考:
- 测试机器配置:Windows 10, CUDA 11.8, GeForce RTX 2080 (8GB显存), i9-9900处理器。
- demo_fox.mp4:视频时长10秒,训练时间10分钟。
- demo_office.mp4:视频时长430秒,训练时间360分钟。
使用我们的插件打包UE关卡为Windows可执行文件
您可以参考以下教程将自己的UE关卡打包成可在Windows系统上运行的exe文件。
我们提供了一个打包好的Windows可执行演示,您可以从发布页下载pack_win_exe.zip
,只需双击exe文件即可启动。
功能介绍
RTS(旋转、平移、缩放)变换
选择3D-GS资产并将其拖入场景中。然后您就可以对其进行变换。
您还可以在关卡视口中选择3D-GS角色,并使用GIZMO对其进行变换。
高斯模型的模型裁剪
- 点击选择您的高斯模型蓝图,然后点击选择"裁剪体积组件",并打开"裁剪体积组件"中的"可见"框。
- 选中"裁剪体积组件"后,您可以在窗口中看到一个裁剪体积。您可以通过调整Transform属性来修改该体积的旋转、平移和缩放。或者,使用键盘快捷键WER来直观地调整GIZMO的旋转、平移和缩放。
- 保持"裁剪体积组件"选中状态,在裁剪类型中选择不同的裁剪选项。默认状态是不裁剪,但您可以更改为裁剪体积内部或外部。下面的示例展示了裁剪体积外部。
- 点击"裁剪GS点"按钮,裁剪指定部分并获得一个干净的Niagara。
- 这个干净的Niagara可以用于VFX。更多详情,请参考我们的VFX教程(即将推出)。
动态照明
动态照明默认是关闭的。
您可以通过打开withRelighting按钮来启用它。
支持所有UE光源类型
光源可以随意移动
更改颜色
修改AlbedoTint参数可以改变整体颜色。
LOD
对于导入的点云,会自动计算LOD,默认情况下会在Niagara 200万点限制内显式显示最大LOD。可以使用参数"VisWhichLOD"强制使用特定LOD。
未来更新将支持基于视图相机的动态LOD切换。
发布说明
- 支持将多个ply文件拖入内容目录
- 修复缓冲区资产位置不正确时的崩溃问题
- 修复XV3DTools使用错误路径的错误
- 支持更多类型的ply头
- 修复移动对象时的闪烁问题
- 更新UI
- 新增模型裁剪功能,允许创建用于VFX的干净Niagara。
- XV3DTools v1.1.1:用户现在可以调整训练迭代次数。
- Windows系统训练工具(XV3DTools v1.0),可将给定的mp4视频训练成GaussianSplatting ply文件
- 自动LOD生成,支持Niagara中超过200,000个点云
- 修复变换中的错误
- 修复v1.0.0中的错误:在UE5.2和UE5.3中为Windows打包时出错
- 基于Niagara的3D高斯散射高质量实时可视化和渲染
- 轻松从原始高斯散射场景(.ply文件)导入和转换到我们的格式
- 与其他UE资产混合渲染
- RTS和几何编辑
- 对高斯散射场景应用VFX效果
- 支持高斯散射场景的动态照明
- 自动增强高斯散射场景