Logo

Manifest: 简化基础模型提示编程的强大工具

Manifestprompt programming模型API缓存异步查询Github开源项目

manifest

Manifest简介

在人工智能和自然语言处理领域,基础模型(Foundation Models)的出现引发了一场革命。这些庞大的预训练模型展现出了惊人的语言理解和生成能力,为各种下游任务提供了强大的基础。然而,如何有效地利用这些模型,设计合适的提示(prompt)以获得理想的输出,对许多开发者来说仍然是一个挑战。

为了解决这个问题,HazyResearch团队开发了Manifest这个开源工具。Manifest是一个轻量级的Python包,旨在简化基础模型的提示编程过程,让开发者能够更轻松、高效地与各种大型语言模型进行交互。

Manifest Logo

Manifest的核心特性

Manifest的设计理念围绕三个核心特性展开:

  1. 统一的API接口: Manifest提供了一个统一的接口,支持文本生成、评分和嵌入等多种操作。这意味着开发者可以使用相同的编程模式来处理不同类型的任务,大大简化了工作流程。

  2. 多模型支持: Manifest支持多种流行的模型和API服务,包括OpenAI、AI21、Cohere、Together等。开发者可以轻松切换不同的模型,比较它们的性能,而无需修改大量代码。

  3. 缓存机制: Manifest内置了强大的缓存功能,可以存储模型的输入和输出。这不仅有助于提高开发效率,还可以节省API调用成本,同时确保实验的可重复性。

开始使用Manifest

要开始使用Manifest,首先需要安装这个包。可以通过pip来安装基础版本:

pip install manifest-ml

如果需要支持图像生成(diffusion)功能,可以安装带有额外依赖的版本:

pip install manifest-ml[diffusers]

对于希望使用本地Hugging Face模型的用户,可以安装带有API支持的版本:

pip install manifest-ml[api]

安装完成后,使用Manifest非常简单。以下是一个基本的示例,展示如何使用OpenAI的模型:

from manifest import Manifest

# 创建一个Manifest会话,默认使用OpenAI的text-davinci-003引擎
manifest = Manifest(
    client_name = "openai",
)

# 运行一个简单的查询
result = manifest.run("为什么天空是蓝色的?")
print(result)

Manifest的主要组件

模型支持

Manifest目前支持多种流行的模型和API服务:

  • OpenAI
  • AI21
  • Cohere
  • Together
  • Hugging Face (包括本地托管的模型)

开发者可以通过修改client_name和client_connection参数来切换不同的模型。例如,要使用Cohere的模型:

manifest = Manifest(
    client_name = "cohere",
    client_connection = "<COHERE_API_KEY>",
)

全局缓存

Manifest提供了强大的缓存功能,支持SQLite和Redis两种后端。这使得开发者可以轻松地存储和共享模型的输入输出,提高开发效率并节省API调用成本。

使用SQLite缓存的示例:

manifest = Manifest(
    client_name = "openai",
    cache_name = "sqlite",
    cache_connection = "mycache.sqlite",
)

查询执行

Manifest提供了灵活的查询执行方式,支持单个查询、批量查询以及异步查询:

# 单个查询
result = manifest.run("Hello, my name is Laurel")

# 批量查询
results = manifest.run(["Where are the cats?", "Where are the dogs?"])

# 异步批量查询
import asyncio
results = asyncio.run(manifest.arun_batch(["Where are the cats?", "Where are the dogs?"]))

此外,Manifest还支持流式响应,这对于需要实时显示生成结果的应用非常有用:

result_iterator = manifest.run("Tell me a story. Once upon a time", max_tokens=100, stream=True)
for res_text in result_iterator:
    print(res_text)

模型池

Manifest引入了模型池的概念,允许开发者同时使用多个模型,并通过不同的调度策略来分配查询:

from manifest.connections.client_pool import ClientConnection

client_connection1 = ClientConnection(
    client_name="huggingface",
    client_connection="http://127.0.0.1:5000",
)
client_connection2 = ClientConnection(client_name="openai", engine="text-ada-001")
manifest = Manifest(
    client_pool=[client_connection1, client_connection2],
    cache_name="sqlite",
    client_connection=sqlite_cache,
)

这种设计使得开发者可以轻松地比较不同模型的性能,或者在多个API密钥之间进行负载均衡。

高级功能

本地Hugging Face模型

Manifest不仅支持云端API,还允许开发者使用本地托管的Hugging Face模型。这对于需要更多控制权或者处理敏感数据的场景非常有用。要使用本地模型,首先需要启动一个Flask应用来托管模型:

python3 -m manifest.api.app \
    --model_type huggingface \
    --model_name_or_path EleutherAI/gpt-j-6B \
    --device 0

然后,在Manifest中连接到这个本地服务:

manifest = Manifest(
    client_name = "huggingface",
    client_connection = "http://127.0.0.1:5000",
)

聊天模型支持

对于像ChatGPT这样的对话式AI模型,Manifest提供了专门的支持:

manifest = Manifest(client_name="openaichat")
dialogue = [
    {"role": "system", "content": "You are a helpful assistant who also responds in rhymes"},
    {"role": "user", "content": "What is the date?"},
]
res = manifest.run(dialogue, max_tokens=100)

嵌入模型

Manifest还支持获取文本嵌入,这对于各种NLP任务都非常有用:

manifest = Manifest(client_name="openaiembedding")
embedding_as_np = manifest.run("Get me an embedding for a bunny")

未来发展路线

Manifest团队有着雄心勃勃的发展计划,未来将会引入更多exciting的功能:

  1. 更多客户端支持: 计划增加对HuggingFace Hub、Azure OpenAI、Google Vertex和Anthropic等服务的支持。
  2. 扩展数据类型: 将支持扩展到扩散模型(Diffusion Models)等其他AI模型类型。
  3. 增强的编排功能: 改进连接池和任务调度机制。
  4. 本地推理优化: 集成FlexGen等技术,提升本地模型的推理性能。

开发与贡献

Manifest是一个开源项目,欢迎社区贡献。如果你想为Manifest做出贡献,可以遵循以下步骤:

  1. Fork项目仓库
  2. 创建你的特性分支
  3. 提交你的改动
  4. 推送到你的分支
  5. 创建一个Pull Request

在提交PR之前,请确保运行了所有测试:

export REDIS_PORT="6379"  # 或者你本地Redis运行的端口
cd <REDIS_PATH>
docker run -d -p 127.0.0.1:${REDIS_PORT}:6379 -v `pwd`:`pwd` -w `pwd` --name manifest_redis_test redis
make test

结语

Manifest为开发者提供了一个强大而灵活的工具,大大简化了与基础模型进行交互的过程。无论是进行学术研究、开发商业应用,还是仅仅出于兴趣探索AI的可能性,Manifest都能为你提供便利。

通过统一的API、多模型支持和智能缓存等特性,Manifest让开发者能够更专注于创意和应用逻辑,而不是被繁琐的模型交互细节所困扰。随着AI技术的快速发展,像Manifest这样的工具将在帮助开发者充分利用最新AI成果方面发挥越来越重要的作用。

如果你正在从事NLP或AI相关的项目,不妨尝试使用Manifest来简化你的工作流程。相信它会为你的开发过程带来新的效率和可能性。

Manifest Features

最后,如果你在学术或商业项目中使用了Manifest,请考虑引用它:

@misc{orr2022manifest,
  author = {Orr, Laurel},
  title = {Manifest},
  year = {2022},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/HazyResearch/manifest}},
}

让我们一起探索AI的无限可能,用Manifest构建更智能、更强大的应用吧! 🚀🤖

相关项目

Project Cover
manifest
Manifest是一个轻量级Python工具包，致力于简化基础模型的提示设计和迭代。该工具支持多种API模型，为生成、评分和嵌入操作提供统一接口，并通过缓存机制提升效率和可重现性。Manifest还具备异步查询、流式响应和模型池功能，为开发者提供了灵活使用各类大型语言模型的能力。

最新项目

Project Cover
豆包MarsCode
豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。
Project Cover
AI写歌
Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。
Project Cover
商汤小浣熊
小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。
Project Cover
有言AI
有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。
Project Cover
Kimi
Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。
Project Cover
吐司
探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。
Project Cover
SubCat字幕猫
SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。
Project Cover
AIWritePaper论文写作
AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。
Project Cover
稿定AI
稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。
使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号