Manifest简介
在人工智能和自然语言处理领域,基础模型(Foundation Models)的出现引发了一场革命。这些庞大的预训练模型展现出了惊人的语言理解和生成能力,为各种下游任务提供了强大的基础。然而,如何有效地利用这些模型,设计合适的提示(prompt)以获得理想的输出,对许多开发者来说仍然是一个挑战。
为了解决这个问题,HazyResearch团队开发了Manifest这个开源工具。Manifest是一个轻量级的Python包,旨在简化基础模型的提示编程过程,让开发者能够更轻松、高效地与各种大型语言模型进行交互。
Manifest的核心特性
Manifest的设计理念围绕三个核心特性展开:
-
统一的API接口: Manifest提供了一个统一的接口,支持文本生成、评分和嵌入等多种操作。这意味着开发者可以使用相同的编程模式来处理不同类型的任务,大大简化了工作流程。
-
多模型支持: Manifest支持多种流行的模型和API服务,包括OpenAI、AI21、Cohere、Together等。开发者可以轻松切换不同的模型,比较它们的性能,而无需修改大量代码。
-
缓存机制: Manifest内置了强大的缓存功能,可以存储模型的输入和输出。这不仅有助于提高开发效率,还可以节省API调用成本,同时确保实验的可重复性。
开始使用Manifest
要开始使用Manifest,首先需要安装这个包。可以通过pip来安装基础版本:
pip install manifest-ml
如果需要支持图像生成(diffusion)功能,可以安装带有额外依赖的版本:
pip install manifest-ml[diffusers]
对于希望使用本地Hugging Face模型的用户,可以安装带有API支持的版本:
pip install manifest-ml[api]
安装完成后,使用Manifest非常简单。以下是一个基本的示例,展示如何使用OpenAI的模型:
from manifest import Manifest
# 创建一个Manifest会话,默认使用OpenAI的text-davinci-003引擎
manifest = Manifest(
client_name = "openai",
)
# 运行一个简单的查询
result = manifest.run("为什么天空是蓝色的?")
print(result)
Manifest的主要组件
模型支持
Manifest目前支持多种流行的模型和API服务:
- OpenAI
- AI21
- Cohere
- Together
- Hugging Face (包括本地托管的模型)
开发者可以通过修改client_name
和client_connection
参数来切换不同的模型。例如,要使用Cohere的模型:
manifest = Manifest(
client_name = "cohere",
client_connection = "<COHERE_API_KEY>",
)
全局缓存
Manifest提供了强大的缓存功能,支持SQLite和Redis两种后端。这使得开发者可以轻松地存储和共享模型的输入输出,提高开发效率并节省API调用成本。
使用SQLite缓存的示例:
manifest = Manifest(
client_name = "openai",
cache_name = "sqlite",
cache_connection = "mycache.sqlite",
)
查询执行
Manifest提供了灵活的查询执行方式,支持单个查询、批量查询以及异步查询:
# 单个查询
result = manifest.run("Hello, my name is Laurel")
# 批量查询
results = manifest.run(["Where are the cats?", "Where are the dogs?"])
# 异步批量查询
import asyncio
results = asyncio.run(manifest.arun_batch(["Where are the cats?", "Where are the dogs?"]))
此外,Manifest还支持流式响应,这对于需要实时显示生成结果的应用非常有用:
result_iterator = manifest.run("Tell me a story. Once upon a time", max_tokens=100, stream=True)
for res_text in result_iterator:
print(res_text)
模型池
Manifest引入了模型池的概念,允许开发者同时使用多个模型,并通过不同的调度策略来分配查询:
from manifest.connections.client_pool import ClientConnection
client_connection1 = ClientConnection(
client_name="huggingface",
client_connection="http://127.0.0.1:5000",
)
client_connection2 = ClientConnection(client_name="openai", engine="text-ada-001")
manifest = Manifest(
client_pool=[client_connection1, client_connection2],
cache_name="sqlite",
client_connection=sqlite_cache,
)
这种设计使得开发者可以轻松地比较不同模型的性能,或者在多个API密钥之间进行负载均衡。
高级功能
本地Hugging Face模型
Manifest不仅支持云端API,还允许开发者使用本地托管的Hugging Face模型。这对于需要更多控制权或者处理敏感数据的场景非常有用。要使用本地模型,首先需要启动一个Flask应用来托管模型:
python3 -m manifest.api.app \
--model_type huggingface \
--model_name_or_path EleutherAI/gpt-j-6B \
--device 0
然后,在Manifest中连接到这个本地服务:
manifest = Manifest(
client_name = "huggingface",
client_connection = "http://127.0.0.1:5000",
)
聊天模型支持
对于像ChatGPT这样的对话式AI模型,Manifest提供了专门的支持:
manifest = Manifest(client_name="openaichat")
dialogue = [
{"role": "system", "content": "You are a helpful assistant who also responds in rhymes"},
{"role": "user", "content": "What is the date?"},
]
res = manifest.run(dialogue, max_tokens=100)
嵌入模型
Manifest还支持获取文本嵌入,这对于各种NLP任务都非常有用:
manifest = Manifest(client_name="openaiembedding")
embedding_as_np = manifest.run("Get me an embedding for a bunny")
未来发展路线
Manifest团队有着雄心勃勃的发展计划,未来将会引入更多exciting的功能:
- 更多客户端支持: 计划增加对HuggingFace Hub、Azure OpenAI、Google Vertex和Anthropic等服务的支持。
- 扩展数据类型: 将支持扩展到扩散模型(Diffusion Models)等其他AI模型类型。
- 增强的编排功能: 改进连接池和任务调度机制。
- 本地推理优化: 集成FlexGen等技术,提升本地模型的推理性能。
开发与贡献
Manifest是一个开源项目,欢迎社区贡献。如果你想为Manifest做出贡献,可以遵循以下步骤:
- Fork项目仓库
- 创建你的特性分支
- 提交你的改动
- 推送到你的分支
- 创建一个Pull Request
在提交PR之前,请确保运行了所有测试:
export REDIS_PORT="6379" # 或者你本地Redis运行的端口
cd <REDIS_PATH>
docker run -d -p 127.0.0.1:${REDIS_PORT}:6379 -v `pwd`:`pwd` -w `pwd` --name manifest_redis_test redis
make test
结语
Manifest为开发者提供了一个强大而灵活的工具,大大简化了与基础模型进行交互的过程。无论是进行学术研究、开发商业应用,还是仅仅出于兴趣探索AI的可能性,Manifest都能为你提供便利。
通过统一的API、多模型支持和智能缓存等特性,Manifest让开发者能够更专注于创意和应用逻辑,而不是被繁琐的模型交互细节所困扰。随着AI技术的快速发展,像Manifest这样的工具将在帮助开发者充分利用最新AI成果方面发挥越来越重要的作用。
如果你正在从事NLP或AI相关的项目,不妨尝试使用Manifest来简化你的工作流程。相信它会为你的开发过程带来新的效率和可能性。
最后,如果你在学术或商业项目中使用了Manifest,请考虑引用它:
@misc{orr2022manifest,
author = {Orr, Laurel},
title = {Manifest},
year = {2022},
publisher = {GitHub},
howpublished = {\url{https://github.com/HazyResearch/manifest}},
}
让我们一起探索AI的无限可能,用Manifest构建更智能、更强大的应用吧! 🚀🤖