#LLM代理

GPTSwarm是一个基于图形的大型语言模型（LLM）智能代理框架，支持自定义和自动化的代理群体（swarm）自组织与自我改善功能。项目包含环境、图形、内存以及优化算法等模块化组件，实现了图形的创建、执行与优化，适用于特定领域的操作和任务。GPTSwarm支持多种本地和在线LLM后端，并曾在国际会议中获得重要认可。

LiteLLM是一个代理服务器，为100多种大型语言模型提供统一API接口。它支持负载均衡、故障转移和支出跟踪，采用OpenAI格式。该工具简化了认证、资源分配和成本控制。LiteLLM提供开源和企业级解决方案，适用于不同规模组织。它拥有大量Docker下载量和请求服务量，得到众多贡献者支持。

本项目介绍了一款量化文本分类模型，能高效识别对话流程中的常见LLM事件，如道歉、误解和功能受限。该模型基于MiniLMv2-L6-H384开发，运用ONNX提高推理效率及精度，适合高级LLM分析，支持在CPU设备上部署，通过轻量级方案优化性能表现。