访问官网
Github
Huggingface
论文TravelPlanner
一个真实世界规划的语言智能体基准测试
论文"TravelPlanner: 一个真实世界规划的语言智能体基准测试"的代码。
[网站] • [论文] • [数据集] • [排行榜] • [环境] • [Twitter]
更新
- 2024/7/14：支持参考信息的JSON格式。
- 2024/4/28：更新警告，请注意我们严格禁止任何形式的作弊行为。
- 2024/4/21：提供测试集提交文件的格式检查工具。您可以运行它来检查文件中是否存在任何格式错误。
TravelPlanner
TravelPlanner是一个专为评估语言智能体在多重约束下进行工具使用和复杂规划而设计的基准测试。
对于给定的查询，语言智能体需要制定一个全面的计划，包括每天的交通、餐食、景点和住宿。
从实际应用的角度来看，TravelPlanner包含三种约束：环境约束、常识约束和硬性约束。
环境设置
- 创建conda环境并安装依赖：
conda create -n travelplanner python=3.9
conda activate travelplanner
pip install -r requirements.txt
- 下载数据库并解压到
TravelPlanner目录（即your/path/TravelPlanner）。
运行
两阶段模式
在两阶段模式中，语言智能体需要使用各种搜索工具收集信息。 基于收集到的信息，语言智能体需要提供一个不仅满足查询中用户需求，还符合常识约束的计划。
export OUTPUT_DIR=path/to/your/output/file
# 我们支持的MODEL包括 ['gpt-3.5-turbo-X','gpt-4-1106-preview','gemini','mistral-7B-32K','mixtral']
export MODEL_NAME=MODEL_NAME
export OPENAI_API_KEY=YOUR_OPENAI_KEY
# 如果你不想测试谷歌模型，比如gemini，只需输入"1"
export GOOGLE_API_KEY=YOUR_GOOGLE_KEY
# SET_TYPE可选 ['validation', 'test']
export SET_TYPE=validation
cd agents
python tool_agents.py --set_type $SET_TYPE --output_dir $OUTPUT_DIR --model_name $MODEL_NAME
生成的计划将存储在OUTPUT_DIR/SET_TYPE中。
单一规划模式
TravelPlanner还提供了一个更简单的模式，仅专注于测试其规划能力。 单一规划模式确保不会遗漏任何关键信息，从而使智能体能够专注于规划本身。
更多详细信息请参阅论文。
export OUTPUT_DIR=path/to/your/output/file
# 我们支持的MODEL包括 ['gpt-3.5-turbo-X','gpt-4-1106-preview','gemini','mistral-7B-32K','mixtral']
export MODEL_NAME=MODEL_NAME
export OPENAI_API_KEY=YOUR_OPENAI_KEY
# 如果你不想测试谷歌模型，比如gemini，只需输入"1"
export GOOGLE_API_KEY=YOUR_GOOGLE_KEY
# SET_TYPE可选 ['validation', 'test']
export SET_TYPE=validation
# STRATEGY可选 ['direct','cot','react','reflexion']
export STRATEGY=direct
cd tools/planner
python sole_planning.py --set_type $SET_TYPE --output_dir $OUTPUT_DIR --model_name $MODEL_NAME --strategy $STRATEGY
后处理
为了解析自然语言计划，我们使用gpt-4将这些计划转换为json格式。我们鼓励开发者尝试不同的解析提示以获得更好格式的计划。
export OUTPUT_DIR=path/to/your/output/file
export MODEL_NAME=MODEL_NAME
export OPENAI_API_KEY=YOUR_OPENAI_KEY
export SET_TYPE=validation
export STRATEGY=direct
# MODE可选 ['two-stage','sole-planning']
export MODE=two-stage
export TMP_DIR=path/to/tmp/parsed/plan/file
export SUBMISSION_DIR=path/to/your/evaluation/file
cd postprocess
python parsing.py --set_type $SET_TYPE --output_dir $OUTPUT_DIR --model_name $MODEL_NAME --strategy $STRATEGY --mode $MODE --tmp_dir $TMP_DIR
# 然后这些解析后的计划应该被存储为真实的json格式。
python element_extraction.py --set_type $SET_TYPE --output_dir $OUTPUT_DIR --model_name $MODEL_NAME --strategy $STRATEGY --mode $MODE --tmp_dir $TMP_DIR
# 最后，合并这些计划文件以进行评估。我们还在postprocess文件夹中提供了一个评估示例文件"example_evaluation.jsonl"。
python combination.py --set_type $SET_TYPE --output_dir $OUTPUT_DIR --model_name $MODEL_NAME --strategy $STRATEGY --mode $MODE --submission_file_dir $SUBMISSION_DIR
评估
我们支持使用提供的评估脚本进行离线验证集评估。为避免数据污染，请使用我们官方的排行榜进行测试集评估。
export SET_TYPE=validation
export EVALUATION_FILE_PATH=你的/评估/文件/路径
cd evaluation
python eval.py --set_type $SET_TYPE --evaluation_file_path $EVALUATION_FILE_PATH
⚠️警告
我们发布评估脚本是为了促进创新并帮助开发新方法。我们鼓励在训练集中使用评估反馈，例如实施强化学习技术来增强学习。然而，我们严格禁止在验证和测试集中进行任何形式的作弊，以维护基准评估过程的公平性和可靠性。如果我们发现以下任何违规行为，我们保留取消结果资格的权利：
- 对我们数据集的逆向工程，包括但不限于：
- 将测试集中的自然语言查询转换为结构化格式（如JSON）以进行优化和未经授权的评估。
- 使用我们数据构建过程中的硬规则推导数据点条目，而不访问实际数据库。
- 其他类似的操作。
- 手动将评估提示硬编码或明确写入提示中，例如常识的直接提示，这与我们的目标相矛盾，因为它缺乏普遍性并仅限于这个特定基准。
- 任何其他专门针对这个基准但缺乏泛化能力的人为干预策略。
（以上内容仅供TravelPlanner评估框架内使用。允许扩展和编辑我们的数据库以创建新任务或基准，前提是您遵守许可条款。）
加载数据集
from datasets import load_dataset
# "test"可以替换为"train"或"validation"。
data = load_dataset('osunlp/TravelPlanner','test')['test']
联系方式
如果您有任何问题，请联系 [Jian Xie](https://github.com/OSU-NLP-Group/TravelPlanner/blob/main/mailto:jianx0321@gmail.com, [Kai Zhang](https://github.com/OSU-NLP-Group/TravelPlanner/blob/main/mailto:zhang.13253@osu.edu, [Yu Su](https://github.com/OSU-NLP-Group/TravelPlanner/blob/main/mailto:su.809@osu.edu
引用信息
如果我们的论文或相关资源对您的研究有价值，我们恳请您进行引用。
@inproceedings{xie2024travelplanner,
title={TravelPlanner: A Benchmark for Real-World Planning with Language Agents},
author={Xie, Jian and Zhang, Kai and Chen, Jiangjie and Zhu, Tinghui and Lou, Renze and Tian, Yuandong and Xiao, Yanghua and Su, Yu},
booktitle={Forty-first International Conference on Machine Learning},
year={2024}
}
