llama-api-server
llama-api-server是一个开源RESTful API服务器,兼容OpenAI API并支持llama和llama2等后端。用户可以通过PyPI下载、配置模型和安全令牌文件后启动服务器。该项目支持广泛的GPT工具和框架,提供详尽的安装及使用指南。其主要功能包括文本完成、嵌入和聊天,并支持参数设置如温度和顶级概率。项目正处于积极开发阶段,未来将添加更多功能和文档。