SQL Eval: 全面评估SQL生成模型的强大工具

sql-eval

SQL Eval:全面评估SQL生成模型的强大工具

在人工智能和自然语言处理技术的快速发展下,自动生成SQL查询的需求日益增长。然而,如何准确评估SQL生成模型的性能一直是一个挑战。为了解决这个问题,Defog公司开发了一个名为SQL Eval的开源项目,旨在为SQL生成模型提供一个全面而强大的评估框架。

项目背景与目标

SQL Eval项目源于Defog公司对现有SQL生成模型评估方法的不满。他们发现,许多评估方法要么过于简单,无法反映真实场景的复杂性;要么过于繁琐,难以大规模应用。因此,他们决定开发一个新的评估框架,既能全面准确地衡量模型性能,又便于使用和扩展。

SQL Eval的主要目标包括:

提供一个标准化的评估流程,涵盖从查询生成到结果比对的全过程
支持多种主流数据库系统,如PostgreSQL、Snowflake等
兼容各类SQL生成模型,包括基于OpenAI、Anthropic等公司API的模型,以及开源的Hugging Face模型
提供丰富的评估指标,全面衡量生成SQL的质量、正确性和效率
设计灵活可扩展的架构,方便研究人员添加新的数据集、模型和评估方法

核心功能与特性

SQL Eval提供了一套完整的SQL生成模型评估流程,主要包括以下步骤:

查询生成: 使用指定的模型为给定的问题生成SQL查询。
查询执行: 在实际数据库上执行生成的SQL查询和标准答案查询。
结果比对: 比较生成查询和标准查询的执行结果,使用"精确匹配"和"子集匹配"两种方法。
指标记录: 记录各种评估指标,如token使用量、延迟时间等。
结果汇总: 汇总分析评估结果,生成综合报告。

SQL Eval evaluation process

SQL Eval的主要特性包括:

多数据库支持: 目前支持PostgreSQL、Snowflake、BigQuery、MySQL、SQLite和SQL Server等主流数据库系统。
灵活的模型接入: 支持OpenAI、Anthropic、Hugging Face等多种模型,以及自定义API接口。
并行处理: 支持多线程并行执行查询生成和评估,提高效率。
丰富的评估指标: 包括查询正确性、执行时间、资源消耗等多个维度。
元数据裁剪: 提供智能的元数据裁剪功能,模拟真实场景中的信息限制。
可视化报告: 生成直观的评估报告,便于分析和比较不同模型的性能。

使用方法

要使用SQL Eval,首先需要克隆项目仓库并安装依赖:

git clone https://github.com/defog-ai/sql-eval.git
cd sql-eval
pip install -r requirements.txt

接下来,需要设置数据库环境。SQL Eval推荐使用Docker来简化数据库的部署和管理。以PostgreSQL为例:

docker create --name postgres-sql-eval -e POSTGRES_PASSWORD=postgres -p 5432:5432 -v $(pwd)/data/postgres:/var/lib/postgresql/data -v $(pwd)/data/export:/export postgres:16-alpine
docker start postgres-sql-eval

然后,导入测试数据:

export DBPASSWORD="postgres"
export DBUSER="postgres"
export DBHOST="localhost"
export DBPORT=5432
./setup.sh

最后,运行评估脚本:

python main.py \
  -db postgres \
  -q "data/questions_gen_postgres.csv" \
  -o results/openai_classic.csv \
  -g oa \
  -f prompts/prompt_openai.json \
  -m gpt-4-turbo \
  -p 5 \
  -c 0

这个命令会使用OpenAI的GPT-4模型评估PostgreSQL数据库上的查询生成性能,结果保存在results/openai_classic.csv文件中。