LangChain Benchmarks是一个开源工具包,旨在帮助对各种LLM相关任务进行基准测试。它组织了端到端用例的基准测试,并大量利用LangSmith进行评估。该项目的目标是展示基准数据集的收集方法、使用的数据集内容、评估方法,并鼓励更多人在这些任务上进行基准测试。