懂AI
AliceMind

AliceMind

阿里巴巴预训练编码器和解码器模型集合

此项目涵盖了阿里巴巴机器智能实验室（MinD Lab）开发的多种预训练模型和优化技术。包括首个提升多模态大语言模型mPLUG-Owl2和多模态文档理解模型mPLUG-DocOwl。另有中文视频语言预训练数据集Youku-mPLUG和多模态语言模型mPLUG-Owl的新型训练范式。此外，还包含开放域对话系统ChatPLUG、跨文本、图像和视频的多模态基础模型mPLUG-2等，适用于语言理解、生成、表格理解和跨语言等应用场景。

AliceMind大规模预训练模型多模态语言模型优化技术模型压缩Github开源项目
访问官网GitHub论文

AliceMind 项目介绍

项目背景

AliceMind 是由阿里巴巴达摩院的 MinD 实验室（机器智能实验室）开发的一个预训练编码器-解码器模型集合。这些模型主要用于丰富和优化自然语言处理及多模态任务中的能力表现。AliceMind 项目集成了一系列前沿的模型和方法，这些模型已经过预训练，并在多个领域展现出卓越的性能。

项目特色

预训练模型

AliceMind 包含多个预训练模型，覆盖从文字到图像及视频语义理解的各种应用。

  • mPLUG-Owl2: 这是一个多模态大语言模型，旨在通过模态协作提升大语言模型 (LLM) 和多模态语言模型 (MLLM) 的能力。
  • mPLUG-DocOwl: 提供了一个无需 OCR 的多模态大语言模型，用于理解各种文档。
  • Youku-mPLUG: 发布了首个大规模公共中文视频语言预训练数据集，并包含用于视频语言模型的 mPLUG-video。
  • mPLUG: 专注于视觉-语言的理解和生成，能够处理图片描述、图文检索、视觉锚定和视觉问答等任务。
  • PLUG: 针对中文的大规模预训练模型，支持语言理解和生成。
  • SDCUP: 一个用于表格理解的预训练模型，引入了新的预训练目标设置以增强表格语义解析的效果。
  • LatticeBERT: 针对中文语言的多粒度输入理解模型。
  • StructuralLM: 用于文档图像理解，通过联合利用单元格和布局信息进行预训练。
  • StructVBERT: 侧重于视觉语言的理解，强调多阶段递进和多任务学习。
  • VECO: 适用于跨语言理解和生成任务的新型语言模型。
  • PALM: 设计用于语境条件下文本生成的新型方案。
  • StructBERT: 扩展了 BERT，通过引入语言结构进行预训练以增强深度语言理解。

微调方法

AliceMind 提供了多种微调方法以提高模型的泛化能力并解决过拟合问题。

  • ChildTuning: 这种方法通过在训练期间屏蔽非子网络的梯度来仅更新子网络，从而优化大规模预训练语言模型的微调效果。

模型压缩

为了提高模型的资源利用效率，AliceMind 提供了高效的模型压缩方法。

  • ContrastivePruning: 利用对比学习保留任务特定和通用知识的剪枝框架。
  • PST (参数高效稀疏训练): 减少下游任务中需要训练的参数，通过数据驱动权重重要性的低秩和结构化特点来提升稀疏训练的效率。

项目新闻

AliceMind 持续推出新技术和模型，不断推动自然语言处理和多模态理解的发展。例如，mPLUG-Owl2 已被 CVPR 2024 接受，mPLUG-DocOwl 被 EMNLP 2023 接受，这些进展都反映了 AliceMind 在多模态模型领域的领先地位。

总结

阿里巴巴的 AliceMind 项目通过卓越的预训练模型和优化技术，促进了语言和多模态理解的进步。AliceMind 的多种创新技术为研究人员和行业从业者带来了丰富的工具和资源，帮助他们在各自领域中取得突破。该项目体现了阿里巴巴在人工智能领域的不断探索和不懈追求。

编辑推荐精选

ai-agents-for-beginners

ai-agents-for-beginners

10 节课教你开启构建 AI 代理所需的一切知识

AI Agents for Beginners 是一个专为初学者打造的课程项目，提供 10 节课程，涵盖构建 AI 代理的必备知识，支持多种语言，包含规划设计、工具使用、多代理等丰富内容，助您快速入门 AI 代理领域。

AEE

AEE

AI Excel全自动制表工具

AEE 在线 AI 全自动 Excel 编辑器，提供智能录入、自动公式、数据整理、图表生成等功能，高效处理 Excel 任务，提升办公效率。支持自动高亮数据、批量计算、不规则数据录入，适用于企业、教育、金融等多场景。

UI-TARS-desktop

UI-TARS-desktop

基于 UI-TARS 视觉语言模型的桌面应用，可通过自然语言控制计算机进行多模态操作。

UI-TARS-desktop 是一款功能强大的桌面应用，基于 UI-TARS（视觉语言模型）构建。它具备自然语言控制、截图与视觉识别、精确的鼠标键盘控制等功能，支持跨平台使用（Windows/MacOS），能提供实时反馈和状态显示，且数据完全本地处理，保障隐私安全。该应用集成了多种大语言模型和搜索方式，还可进行文件系统操作。适用于需要智能交互和自动化任务的场景，如信息检索、文件管理等。其提供了详细的文档，包括快速启动、部署、贡献指南和 SDK 使用说明等，方便开发者使用和扩展。

Wan2.1

Wan2.1

开源且先进的大规模视频生成模型项目

Wan2.1 是一个开源且先进的大规模视频生成模型项目，支持文本到图像、文本到视频、图像到视频等多种生成任务。它具备丰富的配置选项，可调整分辨率、扩散步数等参数，还能对提示词进行增强。使用了多种先进技术和工具，在视频和图像生成领域具有广泛应用前景，适合研究人员和开发者使用。

爱图表

爱图表

全流程 AI 驱动的数据可视化工具，助力用户轻松创作高颜值图表

爱图表（aitubiao.com）就是AI图表，是由镝数科技推出的一款创新型智能数据可视化平台，专注于为用户提供便捷的图表生成、数据分析和报告撰写服务。爱图表是中国首个在图表场景接入DeepSeek的产品。通过接入前沿的DeepSeek系列AI模型，爱图表结合强大的数据处理能力与智能化功能，致力于帮助职场人士高效处理和表达数据，提升工作效率和报告质量。

Qwen2.5-VL

Qwen2.5-VL

一款强大的视觉语言模型，支持图像和视频输入

Qwen2.5-VL 是一款强大的视觉语言模型，支持图像和视频输入，可用于多种场景，如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式，还包含了视觉处理工具，有助于开发者快速集成和使用，提升工作效率。

HunyuanVideo

HunyuanVideo

HunyuanVideo 是一个可基于文本生成高质量图像和视频的项目。

HunyuanVideo 是一个专注于文本到图像及视频生成的项目。它具备强大的视频生成能力，支持多种分辨率和视频长度选择，能根据用户输入的文本生成逼真的图像和视频。使用先进的技术架构和算法，可灵活调整生成参数，满足不同场景的需求，是文本生成图像视频领域的优质工具。

WebUI for Browser Use

WebUI for Browser Use

一个基于 Gradio 构建的 WebUI，支持与浏览器智能体进行便捷交互。

WebUI for Browser Use 是一个强大的项目，它集成了多种大型语言模型，支持自定义浏览器使用，具备持久化浏览器会话等功能。用户可以通过简洁友好的界面轻松控制浏览器智能体完成各类任务，无论是数据提取、网页导航还是表单填写等操作都能高效实现，有利于提高工作效率和获取信息的便捷性。该项目适合开发者、研究人员以及需要自动化浏览器操作的人群使用，在 SEO 优化方面，其关键词涵盖浏览器使用、WebUI、大型语言模型集成等，有助于提高网页在搜索引擎中的曝光度。

xiaozhi-esp32

xiaozhi-esp32

基于 ESP32 的小智 AI 开发项目，支持多种网络连接与协议，实现语音交互等功能。

xiaozhi-esp32 是一个极具创新性的基于 ESP32 的开发项目，专注于人工智能语音交互领域。项目涵盖了丰富的功能，如网络连接、OTA 升级、设备激活等，同时支持多种语言。无论是开发爱好者还是专业开发者，都能借助该项目快速搭建起高效的 AI 语音交互系统，为智能设备开发提供强大助力。

olmocr

olmocr

一个用于 OCR 的项目，支持多种模型和服务器进行 PDF 到 Markdown 的转换，并提供测试和报告功能。

olmocr 是一个专注于光学字符识别（OCR）的 Python 项目，由 Allen Institute for Artificial Intelligence 开发。它支持多种模型和服务器，如 vllm、sglang、OpenAI 等，可将 PDF 文件的页面转换为 Markdown 格式。项目还提供了测试框架和 HTML 报告生成功能，方便用户对 OCR 结果进行评估和分析。适用于科研、文档处理等领域，有助于提高工作效率和准确性。

下拉加载更多