Github
文档EvalGPT 项目介绍
什么是 EvalGPT
EvalGPT 是一个代码解释框架，基于大型语言模型（LLM）如 GPT-4、CodeLlama 和 Claude 2 的强大功能，旨在帮助用户编写代码、执行代码并提供结果。目前，该项目仍处于开发初期，开发团队正在积极地推进工作。
EvalGPT 的架构灵感来自于 Google 的 Borg 系统，由一个主节点和多个名为 EvalAgent 的子节点组成。主节点负责接收任务请求，并使用大型语言模型进行规划，将复杂任务细分为小任务。每个小任务都会由 EvalAgent 生成代码，并在运行时执行。
EvalAgent 节点可以使用主节点的内存进行高效的通信。如果某个 EvalAgent 在执行任务时遇到错误，它会向主节点报告，主节点会重新规划以避免错误。最终，EvalGPT 主节点会将所有子节点的结果汇总，生成最终答案返回给用户。
项目优势
- 自动化代码编写：EvalGPT 利用先进的语言模型自动生成代码，降低了手动编写的工作量，提高了生产力。
- 高效的任务执行：通过将复杂任务拆解为独立的小任务，EvalGPT 能够进行并行执行，从而加速整体过程。
- 稳健的错误处理：具有重新规划任务的能力，确保操作的可靠性和结果的准确性。
- 可扩展性：可以处理不同复杂度的任务，使其成为广泛编码需求的可扩展解决方案。
- 资源优化：受谷歌 Borg 的资源管理启发，EvalGPT 通过优化计算资源利用来提升性能。
- 可扩展性：EvalGPT 能够融入外部工具，使之适应和处理多种任务类型。
快速启动
要安装 EvalGPT，可以使用以下命令：
go install github.com/index-labs/evalgpt@latest
安装后，您可以运行以下命令验证安装：
evalgpt -h
此外，也可以通过源码构建 EvalGPT，只需克隆项目仓库并进行相应的编译配置。
配置
在运行 EvalGPT 之前，需要配置 OpenAI 的 API 密钥和 Python 解释器。可以通过环境变量或命令参数设置，尽管不推荐使用命令参数以避免密钥泄露。
使用示例
EvalGPT 提供了多种使用场景，包括进行简单查询、与文件交互以及数据处理等。以下是一些简单的例子：
-
查询计算机的公共 IP 地址：
evalgpt -q 'get the public IP of my computer' -
计算字符串的 sha256 哈希值：
evalgpt -q 'calculate the sha256 of "hello,world"' -
从网站获取标题：
evalgpt -q "get the title of a website: https://arxiv.org/abs/2302.04761"
框架架构
EvalGPT 主节点
EvalGPT 主节点是整个框架的控制中心，包含规划、调度和内存三个关键组件。它负责接收用户请求并对任务进行详细规划，确保利用资源的效率，并最终生成请求的答案。
EvalAgent 节点
EvalAgent 节点是进行任务处理的单元，每个子任务交由一个 EvalAgent 节点来处理，包括代码生成、执行以及结果的收集。它们还要对执行中的错误进行监控并及时向主节点报告，从而确保框架的鲁棒性。
运行时
EvalAgent 节点负责管理 EvalGPT 的运行时，提供灵活的执行环境以支持代码执行、错误处理和数据交换。这些功能的结合确保了 EvalGPT 具备强大的计算能力和高效的错误恢复能力。
EvalGPT 通过融合大型语言模型的能力和分布式系统的架构，成为一个强大而灵活的代码生成和执行工具，适用于广泛的编程和计算需求。
