#推理API

llm-engine

LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。

Infrabase.ai

Infrabase.ai提供全面的AI基础设施工具和服务目录，涵盖向量数据库、提示工程、可观察性分析、推理API、框架技术栈、微调、音频处理和AI代理等类别。网站汇集详细产品信息、截图和试用链接，帮助开发者和企业快速比较、选择适合AI项目的解决方案，是了解AI基础设施全景的重要资源。