#工具使用能力
ToolBench - 大规模工具使用指令数据集与开源语言模型
Github开源项目APIAI工具大规模语言模型ToolBench工具使用能力
ToolBench项目构建了大规模的指令微调数据集,旨在提升语言模型的工具使用能力。该项目收集了16464个真实API,覆盖单工具和多工具场景,采用深度优先搜索决策树方法生成注释。项目提供训练脚本和微调后的ToolLLaMA模型,其工具使用能力达到了与ChatGPT相当的水平。
T-Eval - 分步骤评估大语言模型工具使用能力的基准测试框架
Github开源项目大语言模型基准测试评估工具使用能力T-Eval
T-Eval是一个评估大语言模型工具使用能力的基准测试框架。它将评估过程分解为指令遵循、规划、推理、检索、理解和审查等多个子过程,实现了细粒度分析。该项目提供英文和中文评测数据集、测试脚本和排行榜。T-Eval为研究人员和开发者提供了一个深入分析语言模型工具使用能力的新方法。