ICCV2023-MCNET

基于隐式身份表示的说话头视频生成方法

MCNet talking head 视频生成深度学习计算机视觉 Github 开源项目

MCNet是一种新型说话头视频生成方法，在ICCV 2023上发表。该方法利用隐式身份表示和记忆补偿网络，生成高质量、自然的说话头视频。MCNet能够保持身份一致性，同时生成逼真、富有表现力的面部动画。项目开源了代码实现和预训练模型，为研究者提供了探索和应用的基础。

MOFA-Video - 可控图像动画图像到视频扩散模型

ECCV 2024GithubMOFA-Video图像动画开源项目混合控制生成模型

MOFA-Video项目采用稀疏到稠密运动生成和基于流的运动适配技术，能通过轨迹、关键点序列及其组合等多种控制信号将单张图像转化为动画。最新更新包括关键点面部图像动画的推理脚本和轨迹图像动画的训练代码。该项目即将亮相ECCV 2024，并提供多个演示和检查点，便于用户测试和使用。访问项目页面了解更多详情和效果展示。

facenet-pytorch - Pytorch下基于预训练模型和快速MTCNN的人脸识别技术

Face RecognitionGithubInception Resnet V1MTCNNPytorchVGGFace2开源项目

facenet-pytorch是一个开源项目，利用Pytorch实现的Inception Resnet (V1)模型，已在VGGFace2和CASIA-Webface上预训练。项目还包括高效的MTCNN实现，用于人脸检测。其特点包括快速人脸检测、生成面部识别嵌入、视频流中的人脸跟踪以及从TensorFlow到Pytorch的参数转换。开发者可以通过简单的安装和使用指引快速集成和应用这些高精度、高性能的预训练模型和工具。

head-pose-estimation - 实时人脸姿态估计，使用ONNX Runtime和OpenCV进行处理

GithubONNX RuntimeOpenCV人脸检测头部姿态估计开源项目面部特征点检测

本项目提供了一个实时的人脸姿态估计解决方案，依赖于ONNX Runtime和OpenCV框架。主要步骤包括人脸检测、68个面部标志点检测以及姿态估计。支持Ubuntu 22.04，提供简单的安装步骤和预训练模型下载链接，使用户可以快速启动并运行。本项目支持视频文件和摄像头输入，提供了详尽的训练指导和代码库，确保了高度的灵活性和扩展性，适合开发和测试用途。

openheygen - 开源AI视频生成工具支持多语言语音合成和唇形同步

GithubHeyGen开源方案开源项目环境配置视频生成音频克隆

OpenHeyGen是一个基于coqui和video-retalking的开源AI视频生成工具。它能将文本转换为多语言语音，并与原始视频人物唇形精准同步。用户提供原始视频和音频后，即可生成高质量AI视频。该工具支持中文、英语、日语等多种语言，操作简便，为视频内容创作者和开发者提供了创新的技术解决方案。其核心功能包括多语言文本到语音转换、唇形同步技术和视频合成，满足各种AI视频制作需求。

Talk-to-Edit - 基于自然语言的AI人脸精细编辑技术

CelebA-DialogGithubStyleGAN2Talk-to-Edit人脸编辑对话系统开源项目

Talk-to-Edit是一个基于自然语言对话的人脸编辑系统，可精细调整刘海、眼镜、胡须、微笑和年龄等五种面部特征。该系统整合了语言理解和图像生成技术，支持128x128和1024x1024分辨率的图像处理。项目还发布了CelebA-Dialog数据集，为视觉-语言人脸任务研究提供资源。

VideoTuna - 多模型集成的AI生成解决方案

AI视频生成GithubVideoTuna图像到视频开源项目文本到视频视频自动化

VideoTuna项目集成多种AI视频生成模型，支持从文本到视频、图像到视频及文本到图像的生成任务。该项目提供全方位的视频生成流程，涵盖预训练、持续训练、后续对齐和微调操作。平台包含U-Net与DiT结构的生成模型，并推出3D视频VAE和可控人脸视频生成模型，为开发者提供提升视频生成自动化和效果的工具。

6DRepNet - 全范围无约束头部姿态估计方法

6DRepNetGithub头部姿态估计开源项目旋转矩阵深度学习计算机视觉

6DRepNet是一种创新的头部姿态估计方法，采用6D旋转矩阵表示和测地线距离损失函数。该方法能学习完整的旋转外观，实现无约束全范围头部姿态预测。在AFLW2000和BIWI数据集上，6DRepNet显著优于现有方法，平均角度误差降低20%。项目提供pip安装包，支持实时摄像头演示。

CV-VAE - 兼容预训练模型的视频生成技术

CV-VAEGithubVAE兼容性开源项目潜在空间视频生成

CV-VAE是一种视频变分自编码器，专为潜在生成视频模型设计。它与预训练图像和视频模型（如SD 2.1和SVD）兼容，用于视频重建和生成。项目提供代码实现和预训练模型权重，支持视频重建和文本到视频转换。CV-VAE为视频生成技术研究提供了新的工具和方向。

mcunet - 面向微控制器的深度学习框架

GithubMCUNetTinyEngine开源项目微控制器深度学习物联网设备

MCUNet是面向微控制器的系统-算法协同设计框架，包含TinyNAS和TinyEngine两大核心组件。该框架在严格内存限制下提升深度学习性能，相比现有方案推理速度提高1.5-3倍，内存占用降低2.7-4.8倍。MCUNet为IoT应用提供高效深度学习基础设施，推动边缘AI发展。

Video-ChatGPT - 创新视频对话技术开启细致视频理解新纪元

GithubVideo-ChatGPT多模态大型视觉语言模型开源项目视频理解问答系统

Video-ChatGPT是一个融合大型视觉和语言模型的视频对话系统。该项目构建了10万条视频-指令对数据集,开发了首个视频对话量化评估框架,在视频推理、创意生成、空间和时间理解等任务中表现出色。这一开源项目为视频内容理解和人机交互带来了新的发展方向。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com