访问官网
Github
文档Palico AI - 构建高性能LLM应用
Palico是什么？
LLM应用在默认情况下存在许多性能问题（准确性/幻觉、延迟、成本）。为了提高性能，开发者需要能够尝试构建层的多种变体。这涉及测试不同的提示技术、LLM模型、RAG管道等。由于你需要对应用的许多组件进行反复试验，迭代开发是构建高性能LLM应用的关键。
构建LLM应用涉及三个核心活动：
- 构建：用于创建应用的组件，如提示、LLM模型、RAG等。
- 实验：测试构建层的不同变体，以提高LLM应用的性能。
- 部署：将LLM应用移至生产环境，与其他服务集成，并监控其性能。
Palico是一个框架，它规范了构建、实验和部署LLM应用的生命周期，使你能够最大化开发LLM应用的迭代循环速度，以达到你的性能目标。
使用Palico，你可以
- 构建模块化LLM应用，轻松交换不同组合的模型、提示、上下文、业务逻辑、架构等。
- 通过运行实验并客观测量LLM应用的性能来提高准确性。
- 将你的应用部署到任何云提供商作为Docker镜像。
- 通过REST API或SDK集成你的LLM应用与其他服务。
- 通过Palico Studio - 你的应用控制面板管理你的LLM应用。
快速开始
使用OpenAI Chatbot设置一个简单的入门应用
-
创建Palico应用
npx palico init <项目名称> -
将你的OpenAI API密钥添加到
.env文件中。你可以从OpenAI获取OpenAI API密钥OPENAI_API_KEY=<你的openai-api-密钥> -
为你的Palico应用初始化所需的服务。在新环境中首次设置新的Palico应用时，你只需运行一次。
npm run bootstrap -
启动你的Palico应用
npm start
现在你可以在Palico Studio（http://localhost:5173/chat）与你的聊天机器人交谈了。你还可以在`src/agents/chatbot/index.ts`中修改你的聊天应用。
Palico入门应用概览
https://github.com/palico-ai/palico-main/assets/32821894/54f35583-41c1-48a3-9565-95c484a4909b
Palico应用的组件
构建
Palico让你可以构建任何LLM应用。我们为你提供完全的灵活性，可以使用任何你想用来构建LLM应用的工具或库。Palico应用最基本的构建块是Agent，它有一个单一的方法chat()。以下是一个Agent的示例：
class ChatbotAgent implements LLMAgent {
static readonly NAME: string = __dirname.split('/').pop()!;
async chat(
content: ConversationRequestContent,
context: ConversationContext
): Promise<LLMAgentResponse> {
const { userMessage } = content;
const { appConfig } = context;
// 你的LLM提示 + 模型调用
const response = await portkey.chat.completions.create({
messages: [
{ role: 'system', content: '你是一个海盗' },
{ role: 'user', content: '你好' },
],
model: appConfig.model,
});
return {
messages: response.messages,
};
}
}
注意，我们使用Portkey进行LLM调用。同样，你可以使用LangChain或LlamaIndex来帮助你构建提示并管理模型调用。
我们的目标是帮助开发者创建更模块化的系统，以便他们可以轻松测试LLM系统的不同配置，找到最佳输入组合。这就是appConfig参数的作用。开发者应该将其视为功能标志，并用它来以编程方式构建更模块化的LLM应用。
除了Agent外，我们还有用于更复杂控制流和多agent应用的Workflows。
阅读更多关于Agents的信息。
实验
实验是你逐步提高应用程序准确性的方法。实验包括三个步骤。
创建你的准确性基准
基准本质上是概述你的应用程序的预期行为。这包括创建一系列测试用例，你在其中定义LLM应用程序的输入，并测量其输出。以下是一个例子：
{
input: {
userMessage:
'给定方程2x + 3 = 7，求解x。',
},
tags: {
category: '数学',
},
metrics: [
new SemanticSimilarity([
"答案：x = 2",
"x = 2",
"2",
]),
],
}
你可以使用我们提供的现成指标，或者创建自己的自定义指标。
运行评估
评估是使用特定的appConfig在基准测试套件中运行你的LLM应用程序的过程。Palico Studio帮助管理这些评估。
[此处应有视频或图片]
分析
这是理解给定更改对你的LLM应用程序影响的审查过程。通常通过审查LLM应用程序的输出指标并与其他测试进行比较来完成。我们在Palico Studio中内置了评估支持，但你也可以在Jupyter Notebook中运行自己的分析。
阅读更多关于实验的信息。
部署
你的Palico应用程序编译成一堆Docker容器，你可以轻松地将其部署到任何云服务提供商。
客户端SDK
我们提供一个客户端SDK，让你可以轻松地从其他服务连接到你的LLM代理或工作流程。
阅读更多关于客户端SDK的信息。
追踪
我们提供开箱即用的追踪功能，你可以使用OpenTelemetry添加任何自定义追踪。
阅读更多关于追踪的信息。
Palico Studio
Palico Studio是你的Palico应用程序的控制面板。使用Palico Studio，你可以：
- 与你的LLM代理或工作流程聊天
- 并排比较响应
- 管理实验
- 审查运行时追踪
在开发过程中，Palico Studio在你的本地机器上运行，以帮助你进行开发。在生产环境中，你可以使用这个控制面板来监控运行时分析。
[此处应有视频或图片]
阅读更多关于Palico Studio的信息。
常见问题
LangChain等库与Palico相比如何？
LangChain和LlamaIndex更像是帮助你完成LLM开发不同任务的库。例如，它们为你提供工具来连接不同的LLM提供商、连接向量数据库、创建评估等。它们更像是一把瑞士军刀，帮助你完成LLM开发的不同任务。由你来使用这些工具来构建你的LLM应用程序开发，以实现最大生产力。
我们是一个框架（不是库），对于如何构建你的LLM应用程序开发有强烈的观点。我们的观点偏向于通过快速实验来提高准确性。使用我们的框架，你有一个标准流程和一套集成工具，帮助你构建LLM应用程序、测量准确性并运行实验。这些流程共同作用，最大化你的LLM应用程序的可实验性，让你更快地达到准确性目标。
由于我们是一个框架，而LangChain或LlamaIndex是库，你可以直接在我们的应用程序中使用LangChain或LlamaIndex来帮助完成诸如调用LLM模型或管理RAG层等任务，同时使用我们的框架来简化你的实验过程。
评估库与Palico相比如何？
评估框架通常只是一个帮助你评分LLM应用程序响应的工具。它们可能提供一些专有的可观察性和追踪工具。然而，它们并不帮助你构建LLM应用程序以进行快速实验。它们不帮助你构建LLM应用程序。它们不帮助你部署LLM应用程序。当使用评估框架时，你的责任是需要建立自己的实验管理系统，帮助你在团队中扩展实验过程。你将有许多零散的工具，需要整合在一起才能全面了解你的LLM应用程序。 我们是一个更加集成化的框架，可以帮助您构建、扩展实验并部署您的大语言模型应用。我们为您的团队提供更加集成的体验，以便更好地开发大语言模型应用。
