🦜💯 LangChain 基准测试
这是一个帮助对各种LLM相关任务进行基准测试的软件包。
这些基准测试按照端到端用例进行组织,并大量使用LangSmith。
我们开源这个项目有几个目标:
- 展示我们如何为每个任务收集基准数据集
- 展示我们用于每个任务的基准数据集
- 展示我们如何评估每个任务
- 鼓励其他人在这些任务上对他们的解决方案进行基准测试(我们一直在寻找更好的方法!)
基准测试结果
阅读我们博客上关于基准测试结果的一些文章。
工具使用 (2024-04-18)
查看工具使用文档以重现结果!
在LangSmith上探索代理追踪:
安装
要安装软件包,请运行以下命令:
pip install -U langchain-benchmarks
所有的基准测试都带有一个存储在LangSmith中的相关基准数据集。要利用评估和调试体验,请注册,并在您的环境中设置API密钥:
export LANGCHAIN_API_KEY=ls-...
仓库结构
该软件包位于langchain_benchmarks目录中。查看文档了解如何开始使用。
其他目录是遗留内容,可能在将来会被移动。
已归档
以下是需要克隆此仓库才能运行的已归档基准测试。
相关内容
- 有关测试、调试、监控和改进LLM应用程序的其他方法的指南,请查看LangSmith文档
- 有关使用LangChain构建的信息,请查看Python文档或JS文档