产品介绍
Animate-X 是一个突破性的动画框架,旨在为多种角色提供高质量的动画生成。该项目利用先进的姿势指示器技术,从源视频中提取详细的运动模式,从而提升动画效果。现有的发展中,大多数动画生成方法仅适用于人类角色,而在游戏和娱乐行业广泛采用的拟人化角色上则表现较差。Animate-X 通过更全面的运动建模,解决了这一局限性,从而能够为各种类型的角色(总结为“X”)进行普适性的动画生成。
产品功能
-
运动增强:使用姿势指示器技术,Animate-X 提取源视频的运动模式。
- 隐式姿势指示器:通过 CLIP 视觉特征捕捉视频的运动要素,如整体运动模式和动作间的时间关系。
- 显式姿势指示器:增强 LDM 的泛化能力,提前模拟推理期间可能出现的输入。
-
多角色通用框架:基于 LDM 的通用动画框架,适用于人类和拟人化角色。
-
高质量动画生成:使用 VAEs 和扩散模型进行进阶去噪,生成高质量的动画视频。
-
评估基准:制定了 A^2Bench 基准以评估 Animate-X 在通用动画图像上的表现。
应用场景
-
游戏和娱乐:
- 为游戏开发生成拟人化角色动画,如“黑神话:悟空”、“Elden Ring”和“尼尔:机械纪元”。
- 在动画片和影视制作中应用,例如《龙珠》和《瑞克与莫蒂》。
-
复杂姿势动画:
- 应对如“从坐到站”或“旋转”等复杂动作的生成需求。
-
长视频动画:
- 支持长时间视频的角色动画制作。
Animate-X 的表现经过多次实验验证,显示其在动画质量与运动表现方面优于其它先进方法,广泛适用于多个行业场景和多种类型的角色。