#贝叶斯优化
bocoel
BoCoEL通过贝叶斯优化来选择高效小样本子集,从而减少评估大型语言模型所需的时间和资源。它支持GPT2、Pythia、LLAMA等模型,兼容huggingface的transformers和datasets,并采用模块化设计和高效数据表示方式。适合需要在预算限制下进行高效语言模型评估的用户。
BayesianOptimization
BayesianOptimization是一个纯Python实现的贝叶斯全局优化库。该工具利用高斯过程构建未知函数的后验分布,平衡探索与利用来寻找函数最大值。它适用于高成本函数优化,能以较少迭代找到接近最优的参数组合。BayesianOptimization提供简洁API,支持自定义搜索空间、序列域缩减和约束优化等功能,适用于机器学习模型调参等场景。