#RAG系统

tonic_validate

Tonic Validate是一个开源的高性能LLM输出和RAG评估框架，通过多种度量方法评估输出的精度和稳定性。它还集成了可视化UI，便于结果追踪与监控，并提供了Tonic Textual工具，以支持RAG系统的数据处理和性能提升。

LLM-Ops-Cohort-1

LLM-Ops-Cohort-1课程聚焦大规模语言模型在生产环境的实践应用。学员将学习使用LangChain和LlamaIndex构建复杂应用，掌握LLM产品开发方法，并构建完整的RAG系统。课程内容涵盖RAG应用开发、智能代理应用、数据处理等实用技能，旨在培养LLM生产环境操作的专业人才。课程还包括Llama 2模型应用、FastAPI开发、性能评估等进阶内容，并介绍了WandB和LangSmith等可视化和可观察性工具，全面提升学员在LLM生产环境中的实践能力。

beyondllm

BeyondLLM是一个面向检索增强生成(RAG)系统的综合开发工具包。它集成了自动化流程、可定制评估指标和多种大型语言模型支持，简化RAG系统的实验、评估和部署过程。该工具有助于减少LLM幻觉，提升系统可靠性，支持RAG应用的快速迭代和监控。BeyondLLM兼容Python 3.8-3.11版本，为开发者提供简洁高效的API接口。