热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLM近似
chat.petals.dev
本项目提供基于Petals客户端的大语言模型推理Web应用和API接口,包括HTTP和WebSocket端点。用户可通过git克隆项目并按说明在服务器上运行,支持Llama 2模型和Gunicorn部署。项目包含详细的API文档,支持多种生成参数,推荐使用效率更高的WebSocket API。生产环境中建议自行搭建后端以提高稳定性。
相关文章
Petals: 革命性的分布式大语言模型运行平台
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号