Qmedia简介

Qmedia是一个开源的多模态AI内容搜索引擎,专为内容创作者设计。它提供了丰富的信息提取方法,可以处理文本、图像和短视频内容。Qmedia整合了非结构化的文本、图像和短视频信息,构建了一个多模态的RAG(检索增强生成)内容问答系统。

🌟 主要特性

1. 内容卡片展示

   • 以卡片形式展示图像/文本和视频内容
   • Web服务使用TypeScript、Next.js、TailwindCSS和Shadcn/UI技术栈实现
   • RAG搜索/问答服务和图像/文本/视频模型服务使用Python框架和LlamaIndex应用实现

2. 多模态内容RAG

   • 搜索图像/文本和短视频素材
   • 基于用户查询从图像/文本和短视频内容中提取有用信息,生成高质量答案
   • 通过内容卡片展示内容来源和图像/文本/短视频信息的分解

3. 纯本地多模态模型

   • 支持本地部署各类模型,包括:
     • 语言模型:llama3:8b-instruct、llama3:70b-instruct等
     • 特征嵌入模型:CLIP Encoder(图像)、BGE Encoder(文本)
     • 图像模型:Qanything(OCR)、llava-llama3(视觉理解)
     • 视频模型:Faster Whisper(转录)等

🛠️ 安装指南

Qmedia由三个主要部分组成:

1. mm_server: 多模态模型服务
2. mmrag_server: 内容搜索和问答服务
3. qmedia_web: Web服务

详细的安装说明请参考各个组件的README文件:

• mm_server安装指南
• mmrag_server安装指南
• qmedia_web安装指南

📚 使用指南

组合使用

同时启动mm_server、qmedia_web和mmrag_server可实现完整的Web页面内容展示、内容RAG搜索和问答、模型服务功能。

启动步骤:

1. 启动mm_server服务

cd mm_server
source activate qllm
python main.py

2. 启动mmrag_server服务

cd mmrag_server
source activate qmedia
python main.py

3. 启动qmedia_web服务

cd qmedia_web
pnpm dev

自定义数据

您可以通过替换assets目录下的内容来使用自己的数据:

• assets/medias: 存放图像/视频文件
• assets/mm_pseudo_data.json: 存放内容卡片数据

替换后重新运行服务,模型将自动提取信息并存储到数据库中。

🔮 未来计划

• 图像/文本短视频内容分析和爆款内容拆解
• 相似图像/文本/视频搜索
• 卡片图像/文本内容生成
• 短视频内容编辑

Qmedia是一个强大而灵活的内容搜索和分析工具,欢迎内容创作者和开发者加入社区,共同探讨AI内容创作的新思路!