openlm
OpenLM是一个兼容OpenAI的库,支持调用来自HuggingFace、Cohere等多家提供商的大语言模型。它支持OpenAI的Completion API参数,并返回类似的响应结构。用户可以在一个请求中完成多个模型的多个提示,直接调用推理API,避免使用多个SDK的复杂性。安装简便,只需通过pip命令。目前支持Completion端点,并计划未来增加更多标准化端点。