#集成开发
Botpress学习资料汇总 - 开源对话式AI平台
2 个月前
相关项目
botpress
Botpress Cloud是一款强大的聊天机器人开发平台，提供了丰富的开发工具和集成选项，支持OpenAI技术，让用户可以迅速搭建下一代智能助手。通过提供开源集成和详细的文档支持，Botpress Cloud鼓励社群贡献和共享，加速全球聊天机器人技术的创新和应用。
ScaleLLM
ScaleLLM是一个为大语言模型（LLMs）设计的高效推理系统，适用于生产环境。支持Llama3.1、Gemma2、Bloom、GPT-NeoX等多种开源模型，集成了CUDA图、前缀缓存、分块填充和推测解码等高级功能。项目正在积极开发，目标是提高效率并加入更多特性。现已上架PyPI，可通过pip安装。ScaleLLM还提供兼容OpenAI的REST API和本地聊天机器人UI，支持离线批量推理和在线分布式推理。
xllm
X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。