热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#WebSocket API
chat.petals.dev
本项目提供基于Petals客户端的大语言模型推理Web应用和API接口,包括HTTP和WebSocket端点。用户可通过git克隆项目并按说明在服务器上运行,支持Llama 2模型和Gunicorn部署。项目包含详细的API文档,支持多种生成参数,推荐使用效率更高的WebSocket API。生产环境中建议自行搭建后端以提高稳定性。
mmpy_bot
mmpy_bot是一个基于Mattermost WebSocket API的Python聊天机器人框架,支持插件机制、并发消息处理和自动重连。v2.x版本引入多线程、异步执行、webhook服务器和作业调度等功能。适用于Mattermost 4.0+和Python 3.8+,为开发者提供灵活的配置选项,便于构建自定义聊天机器人。
相关文章
Petals: 革命性的分布式大语言模型运行平台
2 个月前
mmpy_bot:一个强大的Mattermost聊天机器人框架
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号