LLM Twin Course学习资料汇总
LLM Twin Course是一个免费的开源项目,旨在教授如何构建端到端的生产级LLM和RAG系统。通过12节实践课程,你将学习到:
- 如何设计和实现一个真实世界的LLM系统,从数据收集到部署的全流程
- 如何利用MLOps最佳实践,如实验跟踪、模型注册、提示监控等
- 如何构建和部署你自己的LLM twin - 一个能够模仿你写作风格的AI角色
课程架构
整个系统被分为4个Python微服务:
-
数据收集管道:爬取社交媒体数据,清洗规范化后存入MongoDB,使用CDC模式将数据变更发送到RabbitMQ队列。
-
特征管道:通过Bytewax流处理管道消费队列消息,清洗、分块、嵌入后实时存入Qdrant向量数据库。
-
训练管道:基于数据创建自定义数据集,使用QLoRA微调LLM,用CometML跟踪实验并保存最佳模型。
-
推理管道:从CometML加载微调模型,部署为REST API,使用RAG增强提示,生成内容并监控。
主要工具
- Comet ML:ML平台,用于实验跟踪、模型注册等
- Qdrant:向量数据库
- Qwak:ML基础设施
- Bytewax:流处理引擎
- Superlinked:向量计算引擎
课程内容
课程包含12节实践课,涵盖系统设计、数据工程、特征工程、模型训练、推理部署等内容。所有代码和文章都是免费开源的。
完整课程内容请查看GitHub仓库: https://github.com/decodingml/llm-twin-course
通过本课程,你将掌握构建生产级LLM系统的全流程,学习LLM、RAG、MLOps等前沿技术的最佳实践。欢迎star该项目,有任何问题也可以在GitHub上提issue讨论。