Qmedia简介

Qmedia是一款开源的多媒体AI内容搜索引擎，专为内容创作者设计。它提供了丰富的信息提取方法，可以处理文本、图像和短视频内容。Qmedia的目标是通过开源方式分享和交流AI内容创作的想法，为创作者提供强大的工具和支持。

主要特性

Qmedia具有以下几个核心特性：

1. 内容卡片展示：Qmedia采用卡片形式展示图像、文本和视频内容，使用户可以直观地浏览和管理素材。

2. 多模态内容RAG：支持搜索图像、文本和短视频素材，并能根据用户查询从中提取有用信息，生成高质量答案。

3. 纯本地多模态模型：支持在本地部署各种类型的模型，包括语言模型、特征嵌入模型、图像模型和视频模型等。

4. 灵活部署：Web服务、RAG搜索/问答服务和图像/文本/视频模型服务可以分别部署，用户可以根据自身资源情况灵活选择。

5. 开源共享：Qmedia采用开源方式，鼓励社区参与和贡献，共同推动AI内容创作技术的发展。

技术架构

Qmedia的技术架构主要包括三个部分：

1. 多模态模型服务（mm_server）：

   • 负责多模态模型的部署和API调用
   • 包括Ollama LLM模型、图像模型、视频模型和特征嵌入模型

2. 内容搜索和问答服务（mmrag_server）：

   • 提供内容卡片展示和查询功能
   • 负责图像/文本/短视频内容的提取、嵌入和存储
   • 提供多模态数据RAG检索服务和内容问答服务

3. Web服务（qmedia_web）：

   • 使用TypeScript、Next.js、Tailwind CSS和shadcn/ui构建
   • 提供用户友好的界面，方便用户进行内容搜索和问答

这种架构设计使得Qmedia具有很强的灵活性和可扩展性。用户可以根据自己的需求选择部署全部服务，也可以只使用其中的某些组件。

安装和使用

要使用Qmedia，您需要分别安装和配置三个主要组件：mm_server、mmrag_server和qmedia_web。以下是简要的安装步骤：

1. mm_server安装：

   cd mm_server
   source activate qllm
   python main.py
   

2. mmrag_server安装：

   cd mmrag_server
   source activate qmedia
   python main.py
   

3. qmedia_web安装：

   cd qmedia_web
   pnpm dev
   

安装完成后，您可以通过Web页面使用Qmedia的功能。在启动阶段，mmrag_server会读取伪数据并调用mm_server提取和结构化信息，存储到数据库中。之后的检索和问答将基于数据库中的数据进行。

自定义数据

Qmedia支持使用自定义数据。您可以替换assets目录中的内容，包括图像/视频文件和内容卡片数据。替换后，模型会自动提取信息并存储到数据库中。

独立模型服务

除了完整的Qmedia系统，您还可以独立使用mm_server作为本地图像/文本/视频信息提取服务。这可以作为独立的图像编码、文本编码、视频转写提取和图像OCR服务，通过API在任何场景中使用。

纯Python RAG服务/模型服务

您还可以结合使用mm_server和qmedia_web，在纯Python环境中通过API执行内容提取和RAG检索。

未来发展计划

Qmedia团队有着宏伟的发展计划，包括：

1. 图像/文本短视频内容分析和爆款内容拆解
2. 搜索相似图像/文本/视频
3. 卡片图文内容生成
4. 短视频内容编辑

社区参与

Qmedia是一个开源项目，欢迎社区成员参与贡献。您可以通过以下方式加入Qmedia社区：

1. 在GitHub上给项目点星：https://github.com/QmiAI/Qmedia
2. 加入Discord社区：https://discord.gg/bkU2K7GjAb
3. 加入微信群讨论

结语

Qmedia作为一款专为内容创作者设计的开源AI内容搜索引擎，为创作者提供了强大的工具和支持。通过多模态内容分析、本地模型部署和灵活的架构设计，Qmedia为内容创作带来了新的可能性。无论您是个人创作者还是企业用户，Qmedia都能为您的内容创作过程带来显著的提升。