Github
Huggingface
文档
论文ModelCache 项目介绍
项目概述
ModelCache 是一个专为大型语言模型（LLMs）设计的语义缓存系统。它通过缓存预生成的模型结果，减少相似请求的响应时间，从而提升用户体验。该项目的目标是通过引入缓存机制来优化服务，帮助企业和研究机构降低推理部署成本，提高模型性能和效率，并为大模型提供可扩展的服务。作为一个开源项目，ModelCache 旨在分享和交流关于大模型语义缓存的相关技术。
快速部署
ModelCache 项目的启动脚本包括 flask4modelcache.py 和 flask4modelcache_demo.py 两种。其中 flask4modelcache_demo.py 是一个嵌入了 sqlite 和 faiss 的快速测试服务，用户无需担心数据库相关的事项。而 flask4modelcache.py 是需要配置 MySQL 和 Milvus 数据库服务的正常服务。
依赖环境
- Python版本：3.8及以上
- 包安装
pip install -r requirements.txt
服务启动
演示服务启动
- 从此地址下载嵌入模型的 bin 文件，并将其放在
model/text2vec-base-chinese文件夹中。 - 使用
flask4modelcache_demo.py启动后台服务。cd CodeFuse-ModelCachepython flask4modelcache_demo.py
正式服务启动
在启动服务之前，需要进行以下环境配置：
- 安装关系型数据库 MySQL，并导入 SQL 文件以创建数据表，SQL 文件在
reference_doc/create_table.sql中。 - 安装向量数据库 Milvus。
- 在配置文件中添加数据库访问信息：
modelcache/config/milvus_config.inimodelcache/config/mysql_config.ini
- 下载嵌入模型的 bin 文件并按照上一步的方法放置。
- 使用
flask4modelcache.py启动后台服务。
服务访问
当前服务通过 RESTful API 提供三项核心功能：缓存写入、缓存查询和缓存清除。
缓存写入示例
import json
import requests
url = 'http://127.0.0.1:5000/modelcache'
type = 'insert'
scope = {"model": "CODEGPT-1008"}
chat_info = [{"query": [{"role": "system", "content": "You are an AI code assistant and you must provide neutral and harmless answers to help users solve code-related problems."}, {"role": "user", "content": "你是谁?"}],
"answer": "Hello, I am an intelligent assistant. How can I assist you?"}]
data = {'type': type, 'scope': scope, 'chat_info': chat_info}
headers = {"Content-Type": "application/json"}
res = requests.post(url, headers=headers, json=json.dumps(data))
缓存查询示例
import json
import requests
url = 'http://127.0.0.1:5000/modelcache'
type = 'query'
scope = {"model": "CODEGPT-1008"}
query = [{"role": "system", "content": "You are an AI code assistant and you must provide neutral and harmless answers to help users solve code-related problems."}, {"role": "user", "content": "Who are you?"}]
data = {'type': type, 'scope': scope, 'query': query}
headers = {"Content-Type": "application/json"}
res = requests.post(url, headers=headers, json=json.dumps(data))
缓存清除示例
import json
import requests
url = 'http://127.0.0.1:5000/modelcache'
type = 'remove'
scope = {"model": "CODEGPT-1008"}
remove_type = 'truncate_by_model'
data = {'type': type, 'scope': scope, 'remove_type': remove_type}
headers = {"Content-Type": "application/json"}
res = requests.post(url, headers=headers, json=json.dumps(data))
核心功能
ModelCache 继承了 GPTCache 的核心思想，主要模块包括：适配器、嵌入、相似性和数据管理。适配器模块负责处理各项任务的业务逻辑，并连接嵌入、相似性和数据管理模块。嵌入模块主要负责将文本转化为语义向量表征，将用户查询转化为向量形式。排名模块用于对召回的向量进行排序和相似度评估。数据管理模块则主要用于数据库的管理。
为了更好地服务于工业应用，进行了以下架构和功能升级：
- 类似于 Redis 的模型嵌入，提供语义缓存能力，不干扰 LLM 调用和安全审核。
- 多种模型加载方案，以解决 Hugging Face 网络连接问题，并支持本地加载及多种预训练模型的嵌入层。
- 数据隔离能力，支持多租户场景下的环境和数据隔离。
- 系统命令支持，通过串接方法解决系统命令中的提示格式问题。
- 长短文本区分，以应对长文本带来的相似度评估挑战。
- Milvus 性能优化，提升数据管理能力及缓存清理、数据分析、日志回写等功能。
结语
ModelCache 通过对大模型的实现加以优化，提升了服务的效率和可扩展性，是一个极具吸引力和价值的项目。无论是经验丰富的开发者还是刚入门的新手，大家对该项目的贡献都将受到热烈的欢迎和感谢。贡献方式包括提出问题、提供建议、编写代码、撰写文档或创建示例等，这将提升项目质量，并对开源社区做出重大贡献。
