📚 ollama-grid-search简介
ollama-grid-search是一个基于Rust开发的工具,用于评估LLM模型、提示词和模型参数。它可以自动化选择最佳模型、提示词或推理参数的过程,让用户能够迭代不同的组合并直观地检查结果。
🚀 主要功能
- 自动从本地或远程Ollama服务器获取模型
- 迭代不同的模型、提示词和参数生成推理结果
- 同时对多个模型进行A/B测试比较不同的提示词
- 支持每个参数组合的多次迭代
- 允许有限并发或同步推理调用
- 可选输出推理参数和响应元数据
- 支持重新获取单个推理调用结果
- 可按名称筛选模型选择
- 列出实验并以JSON格式下载
- 可在可读视图中检查实验
- 可配置推理超时时间
- 可在设置中定义自定义默认参数和系统提示
💡 使用方法
- 安装:从releases页面下载最新版本
- 配置:设置Ollama服务器地址和其他参数
- 选择模型和参数:定义要测试的模型、提示词和参数组合
- 运行实验:启动网格搜索或A/B测试
- 分析结果:查看生成的响应和元数据,比较不同配置的效果
🔗 相关资源
🛠️ 开发指南
如果您想为项目做出贡献,可以按照以下步骤进行开发:
- 安装Rust开发环境
- 克隆仓库:
git clone https://github.com/dezoito/ollama-grid-search.git
- 安装前端依赖:
cd ollama-grid-search && bun install
- 配置rust-analyzer运行Clippy
- 运行开发模式:
bun tauri dev
🌟 未来展望
项目计划添加以下功能:
- 结果评分和按评分过滤
- 在本地数据库中存储实验和结果
- 导入、导出和共享提示词列表和实验
ollama-grid-search为LLM模型评估和优化提供了一个强大而灵活的工具。无论您是研究人员、开发者还是AI爱好者,都可以利用这个项目来更好地理解和改进您的LLM应用。欢迎访问GitHub仓库了解更多信息,并为项目做出贡献!