#LLM监控
相关项目
evidently
Evidently是一个开源的Python库，专为评估和监控机器学习和大语言模型系统而设计。它支持分类、回归和推荐系统，并提供超过100种内置指标，允许用户自定义评估和测试。Evidently的模块化设计使用户能够通过Reports、Test Suites和实时监控Dashboard轻松实现评估和持续监控，适用于各种AI数据管道，从实验到生产环境。
langwatch
LangWatch提供实时跟踪、可视化和分析LLM交互的工具。其主要功能包括实时遥测、详细调试、质量测评、DSPy可视化、用户分析和保护措施。支持多种编程语言和框架的集成，通过简单步骤快速启动，并提供详尽的文档和自托管指南，适合自定义和扩展项目。
LangWatch
LangWatch作为专业的LLMops平台,为生成式AI解决方案提供全面支持。平台具备实时监控、性能评估和优化功能,有助于提升AI产品质量、降低运营成本并加快部署速度。LangWatch能够识别异常响应、分析模型表现、优化提示词,同时提供深入的用户交互数据。该平台兼容多种开发框架,可有效规避数据泄露和AI幻觉等潜在风险,为企业开发和部署可靠AI解决方案提供有力保障。
Langtail
Langtail是一个面向AI应用开发的工具平台，集成了提示调试、测试运行和生产环境监控功能。平台提供playground、测试、部署和监控工具，帮助开发者快速迭代、优化大型语言模型性能，确保应用稳定。支持无代码操作，适用于各类用户，并提供API日志和性能指标，促进团队协作开发AI应用。