访问官网
Github
Huggingface
论文项目介绍：BoCoEL
项目概述
BoCoEL 是一个利用贝叶斯优化技术来评估大型语言模型的新工具。大型语言模型通常体积庞大，计算代价高昂，并且评估它们所需的数据集也非常巨大。BoCoEL 的目标是通过选择一小部分具有代表性的样本来减轻这种计算负担，同时保持高精度的评估。
项目缘起
现今的大型语言模型评估往往面临巨大的计算资源消耗。BoCoEL 的出现正是为了应对这一问题。其核心思想是通过以下步骤实现高效评估：
- 将数据集中的每个条目编码为向量。这一过程比直接使用大型语言模型（LLM）要便宜并且快得多。
- 利用贝叶斯优化技术选择用来评估的查询。
- 通过这些查询从我们的数据集中（使用已经编码的向量）检索相关信息。
- 进行高效的评估。
BoCoEL 的评估得益于其管理工具，提供了有序的评估管理方式。这项工作首次尝试在固定或动态预算下减少评估计算成本（基准测试）。
项目特点
- 精准评估：仅需数据集中几十个样本即可对大型语言模型进行准确评估。
- 贝叶斯优化：利用贝叶斯优化来选择适合评估的样本子集。
- 广泛支持：支持
GPT2、Pythia、LLAMA等模型，并可通过 huggingface 的 transformers 和 datasets 进行集成。 - 模块化设计：灵活扩展和适应不同需求。
- 高效表示：通过N-sphere 表示或潜在空间的白化方法增强评估质量。
贝叶斯优化的应用
贝叶斯优化擅长于处理计算代价高昂的黑箱模型（如大型语言模型）的优化问题。它通过高斯过程进行推断，并使用获取函数来决定下一步的采样位置。BoCoEL 恰当地利用贝叶斯优化来探索我们的语料库嵌入空间，从而选择出能够代表整个语料库的小型样本集。
性能影响
大型语言模型因其生成特性而通常较慢。相比之下，BoCoEL 需要使用编码器来对整个数据集进行编码，但编码速度要比直接运行大型语言模型快得多，因而通过评估节省下来的时间是值得的。
安装与使用
若只需基本功能，可通过以下命令安装：
pip install bocoel
若需完整体验及所有可选功能：
pip install "bocoel[all]"
具体使用例子和开发指南可以在相应的项目文件夹中找到。
参与贡献
BoCoEL 项目欢迎各位贡献者的参与。无论是提交问题还是拉取请求，团队都非常期待。因此，在提交 PR 之前，请务必遵循贡献指南及行为准则。
未来发展
BoCoEL 的未来发展计划包括简化使用方式、评估可视化模块、集成其他方法如随机选择和KMedoids、支持更多后端如 VLLM 和 OpenAI's API，以及支持 Python 3.12+。
许可证与引用
BoCoEL 项目基于 BSD-3 许可证。如果该项目对您的研究有帮助，请使用指定格式进行引用。
