访问官网
Github
论文Ax 项目介绍
Ax 是一个开源项目，专注于构建由大型语言模型（LLMs）驱动的智能代理。Ax 提供了一个流式、多模态的 DSPy 框架，集成了代理和类型化的签名，并支持所有类型的 LLMs。Ax 在流式处理中能够验证输出类型，这不仅提高了响应速度，还降低了令牌使用量。
项目的目标
Ax 的目标是提供一个易于使用且功能强大的框架，使开发人员可以轻松地构建生产就绪的工作流程和智能代理。通过最新的研究和技术，Ax 努力简化 LLM 的复杂性，帮助用户实现更快、更高效的应用程序。
Ax 的优势
使用 Ax 有许多优点，包括：
- 支持多种 LLM 和向量数据库。
- 从简单的签名中自动生成提示。
- 构建能够相互调用的智能代理。
- 支持各种文档格式到文本的转换。
- 提供 RAG（检索增强生成）、智能分块、嵌入查询等功能。
- 与 Vercel AI SDK 的集成。
- 支持多模态 DSPy 和流式输出验证。
- 自动化提示调优和 OpenTelemetry 跟踪/可观测性。
- 使用 TypeScript 编写的生产级代码，轻量且无依赖。
提示签名
提示签名是一种高效的类型安全提示，它是从简单的签名自动生成的。示例格式为："任务描述" 输入字段:类型 "字段描述" -> 输出字段:类型。这种格式特别适合定义清晰的输入输出关系，并鼓励 AI 在使用 JSON 类型时生成正确的 JSON 格式。
支持的 LLM 供应商
Ax 兼容多种大型语言模型供应商，包括但不限于：
- OpenAI（支持所有 GPT 4/o1 模型）
- Azure OpenAI
- Cohere
- Anthropic
- Google Gemini
- Hugging Face
使用示例
- 文本摘要：可以使用链式思维的方法来总结文本。
- 构建代理：Ax 提供了一个代理框架，使构建任务执行代理变得轻而易举。
- 向量数据库支持：提供对流行的向量数据库的支持，同时还支持使用内存中的快速数据库。
实施步骤
- 安装 Ax：通过 npm 或 yarn 将 Ax 安装到项目中。
- 选择一个 AI：根据需要选择一个合适的 LLM。
- 创建提示签名：基于用例定义提示签名。
- 执行签名程序：使用定义的输入来执行程序，获取结果。
开放遥测与调优功能
Ax 支持开放遥测（OpenTelemetry），这使得对 LLM 工作流的跟踪和观测变得简单。此外，Ax 还提供了调优工具，可以使用更大的模型和热门数据集优化提示，以提高性能和准确性。
Ax 项目的整体设计和实现使得构建复杂的 LLM 应用不再困难。用户可以轻松实现任务自动化、智能文档处理和语义搜索等功能，极大地提高了开发效率和应用创新能力。
