#图像动画
AI视频革新,东京大学、腾讯共同开源图片生成视频项目,可控制运动轨迹
first-order-model
First Order Motion Model项目提供了一种先进的图像动画运动模型,通过驾驶视频和源图像生成逼真的动画序列。支持包括VoxCeleb、Fashion和MGIF在内的多种数据集,提供详细的安装和使用指南。项目支持Python和Docker,确保了环境兼容性,还提供Colab和Kaggle的在线演示。此外,该项目还具备面部交换功能,适用于监督和非监督的视频编辑任务。
PIA
PIA是一种个性化图像动画方法,使用插件式模块在文本到图像模型中生成高运动可控性和强文本图像对齐的视频。它支持1024x1024图像,并且在16GB GPU内存下高效运行,兼容Colab和HuggingFace平台。PIA提供多种动画风格和控制参数,如运动幅度和循环动画。通过简便的环境设置和预训练模型下载,用户可以高效地进行图像动画制作。
MOFA-Video
MOFA-Video项目采用稀疏到稠密运动生成和基于流的运动适配技术,能通过轨迹、关键点序列及其组合等多种控制信号将单张图像转化为动画。最新更新包括关键点面部图像动画的推理脚本和轨迹图像动画的训练代码。该项目即将亮相ECCV 2024,并提供多个演示和检查点,便于用户测试和使用。访问项目页面了解更多详情和效果展示。
FollowYourClick
FollowYourClick是一个开放域图像区域动画生成项目,通过简短文本提示控制图像特定区域的动画效果。支持表情变化、物体运动等多种动画类型,为图像动画创作提供灵活直观的体验。该项目展示了AI技术在图像处理领域的先进应用,可用于创意内容制作和视觉效果生成。
LivePhoto
LivePhoto是一项由香港大学、阿里巴巴集团和蚂蚁集团研究人员开发的图像动画化技术。该技术通过文本引导实现对真实图像的动作控制,能将静态图像转化为动画,同时保持图像的真实感和细节。LivePhoto的核心特点是允许通过文字描述来精确控制图像中的动作,为视觉内容创作提供新的可能性。
Haiper
Haiper提供基于AI的视频生成服务,主要功能包括文本转视频和图片动画制作。该平台利用人工智能技术,简化了视频创作过程,适用于各类用户。Haiper支持通过文字描述生成视频,也可将静态图片转化为动画,为内容创作者提供了便捷的视频制作工具。无论是专业创作者还是普通用户,都能在Haiper上实现自己的视频创意,为AI视频生成和内容创作带来全新可能性。
MagicAnimate
MagicAnimate是一款创新的开源工具,运用扩散模型技术将单一图像和动作视频转化为动画视频。它优化了时间一致性,精准还原参考图像,大幅提升了动画质量。这一工具不仅能处理多样化的动作序列输入,实现跨身份动画,还可应用于油画和电影角色等非常规领域。此外,MagicAnimate能与DALLE3等文本生成图像模型无缝对接,为AI生成的图像注入生动的动态效果,极大拓展了人工智能创作的可能性。