BenchLLM: 为LLM驱动的应用提供持续集成测试

BenchLLM:为LLM驱动的应用提供持续集成测试

在人工智能快速发展的今天,大型语言模型(LLM)正在各个领域发挥越来越重要的作用。然而,如何有效地测试和评估这些强大而复杂的AI模型,仍然是一个巨大的挑战。为了解决这个问题,V7公司开发了一个名为BenchLLM的开源工具,旨在为LLM驱动的应用提供持续集成测试能力。

BenchLLM简介

BenchLLM是一个基于Python的开源库,它简化了对大型语言模型(LLM)和AI驱动应用的测试过程。它的主要功能是通过LLM验证任意数量测试的响应,从而测量模型、代理或链的准确性。

BenchLLM目前正在V7公司内部积极使用,用于改进他们的LLM应用。现在,V7决定以MIT许可证开源这个工具,与更广泛的社区分享。

BenchLLM Logo

BenchLLM的主要特性

测试LLM响应: 可以测试LLM在任意数量的提示下的响应。
持续集成: 为像Langchain这样的链、像AutoGPT这样的代理,或者像Llama或GPT-4这样的LLM模型提供持续集成能力。
消除不稳定性: 帮助消除不稳定的链,增强代码可信度。
检测不准确响应: 能够在每个版本中发现应用中的不准确响应和幻觉。
灵活的评估方法: 提供多种评估方法,包括语义相似度检查、字符串匹配和人工评审等。
缓存机制: 使用缓存加速测试和评估过程。
完整的API和CLI: 提供全面的API和命令行界面,用于管理和执行测试套件。

BenchLLM的测试方法论

BenchLLM采用了一种独特的两步测试方法来验证机器学习模型:

测试阶段: 这个阶段涉及运行代码以对比任意数量的预期响应,并捕获模型产生的预测,而不进行即时判断或比较。
评估阶段: 将记录的预测与预期输出进行比较,使用LLM验证事实相似性(或可选择手动验证)。生成详细的比较报告,包括通过/失败状态和其他指标。

这种方法论的分离提供了对模型性能的全面视图,并允许更好地控制和改进每个步骤。

BenchLLM的安装和使用

安装BenchLLM非常简单,只需使用pip:

pip install benchllm

使用BenchLLM的基本步骤如下:

导入库并使用@benchllm.test装饰器标记要测试的函数:

import benchllm

# 自定义模型实现
def run_my_model(input):
    # 模型逻辑
    return some_result

@benchllm.test(suite="/path/to/test/suite")
def invoke_model(input: str):
    return run_my_model(input)

准备测试用例,使用YAML或JSON格式:

input: What's 1+1? Be very terse, only numeric output
expected:
  - 2
  - 2.0

运行测试:

$ bench run path/to/my/file.py

BenchLLM默认使用OpenAI的GPT-3模型进行语义评估,需要设置OPENAI_API_KEY环境变量。也可以指定其他评估方法,如字符串匹配、交互式评估等。

BenchLLM的API

除了命令行接口,BenchLLM还提供了一个API,允许更细粒度的控制:

from benchllm import StringMatchEvaluator, Test, Tester

# 实例化Test对象
tests = [
    Test(input="What's 1+1?", expected=["2", "It's 2"]),
    Test(input="First rule of fight club?", expected=["Do not talk about fight club"]),
]

# 使用Tester对象生成预测
tester = Tester(my_test_function)
tester.add_tests(tests)
predictions = tester.run()

# 使用Evaluator对象评估模型
evaluator = StringMatchEvaluator()
evaluator.load(predictions)
results = evaluator.run()

print(results)

BenchLLM的应用场景

测试LLM: 用于测试基于GPT等大型语言模型的AI应用,确保生成准确可靠的聊天消息或文本补全。
AI产品的持续集成: 对于涉及多个组件(如链、代理或模型)的复杂AI应用,BenchLLM可以实施持续集成过程,帮助早期发现和修复问题。
生成微调训练数据: BenchLLM可以用于生成用于微调自定义模型的训练数据。预测和评估结果以JSON文件形式保存,包含有关输入、模型输出和评估结果的宝贵数据。
人机协作评估: BenchLLM支持需要人工判断的手动评估。这在输出结果较为微妙,需要人工审核的情况下特别有用。