lunary

开源LLM应用的可观测性、提示管理和评估工具

Lunary 提供开源的可观测性、提示管理和评估功能，帮助LLM开发者优化应用性能。它支持成本分析、日志监控、提示模板创建和微调数据集，方便快速集成和自托管。兼容JavaScript和Python模块，适用于多种模型，并提供托管版本和本地部署指南，确保数据安全和优质支持。

访问官网

Github

文档

介绍相关项目

LLM-Finetuning-Toolkit - 配置化CLI工具，用于LLM微调和实验管理

CLI工具GithubLLM Finetuning ToolkitLLM微调实验开源项目配置文件

该工具通过yaml配置文件进行管理，支持LLM微调的各个方面，包括提示词、模型、优化策略和测试。用户可以通过pipx或pip安装，并按照提供的指南进行使用，涵盖基础到高级的使用场景。实验结果会被自动记录和保存。工具的模块化设计允许进一步扩展和定制。

langfuse - 应用性能监控和开发平台

DockerGitHubGithubLangfuse开源项目数据集成软件开发工具

Langfuse为开发者提供综合的应用性能监控与开发解决方案，支持自托管与云部署。其SDK集和API能力让智能提示管理、应用数据跟踪变得简单，同时提供实时的关键数据洞察。Langfuse也优化了应用性能与用户体验，倾向于实现密集型的应用测试和数据跟踪。

Prompteams - 优化AI提示的开发管理与测试系统

AI工具CI/CDLLMPrompteams提示词管理版本控制

Prompteams是一个专业的AI提示管理和测试平台，专为LLM（大型语言模型）应用开发而设计。它集成了版本控制、团队协作、测试套件和API自动生成等功能，帮助团队高效开发和管理AI提示。平台支持无限量的测试用例、团队成员和存储库，并提供实时API接口，便于快速迭代和测试。Prompteams为各种规模的企业提供全面的AI提示工程解决方案，支持CI/CD pipeline（持续集成/持续部署流程），助力提升AI应用开发效率。

palico-ai - LLM应用开发的全栈框架专注性能提升与快速迭代

GithubLLM应用Palico AI实验框架开源项目性能优化部署管理

Palico AI是一个为LLM应用开发设计的全栈框架，它标准化了构建、实验和部署流程。该框架支持模块化构建、精确实验和灵活部署，提供SDK和管理界面，简化开发流程并提高应用性能。Palico AI致力于帮助开发者克服LLM应用在准确性、延迟和成本方面的挑战，实现快速迭代和性能优化。

Luny AI - 智能UI设计生成工具适用多种设计平台

AI工具AI设计Luny.AI创意设计用户界面生成设计工具

Luny AI是一款智能UI设计生成工具，支持XD、Framer、Webflow和Figma等多种格式。通过AI技术，该工具能根据描述快速生成UI设计，并提供插件和web应用程序功能。用户可在平台上管理创作、与社区互动，简化设计流程。Luny AI还支持与多种项目管理工具集成，为产品设计师提供高效的创意设计解决方案。

RouteLLM - LLM查询智能路由框架优化资源分配与响应质量

GithubLLM路由OpenAI兼容RouteLLM开源项目性能评估成本优化

RouteLLM是一个用于服务和评估大语言模型路由器的开源框架。它根据查询复杂度将请求智能分配至不同语言模型，在保持响应质量的同时降低成本。框架提供预训练路由器，可将成本降低85%，同时保持95%的GPT-4性能。RouteLLM支持新路由器添加和跨基准性能比较，为LLM应用提供灵活高效的解决方案。

Portkey.ai - AI应用开发与管理的全方位控制平台

AI工具AI应用API管理Portkey性能分析智能缓存

Portkey.ai作为AI应用控制平台，为企业提供全面的LLMOps解决方案。平台支持生成式AI应用的快速开发、部署和迭代，显著提升开发效率和应用性能。核心功能包括prompt管理、性能分析和成本优化，帮助开发者深入了解并改进AI模型。Portkey.ai以其高可用性、低延迟和安全性，成为AI应用开发和运维的可靠选择。

lm-evaluation-harness - 统一测试生成式语言模型的多任务评估框架

GPT-NeoXGithubHugging FaceLanguage Model Evaluation HarnessOpen LLM LeaderboardvLLM开源项目

该项目提供统一框架，用于评估生成式语言模型，通过60多个标准学术基准和数百个子任务实现多样化测试。更新包括新的Open LLM Leaderboard任务、内部重构、基于配置的任务创建、Jinja2提示设计支持等高级配置选项，旨在简化和优化模型评估。支持快速高效推理、商业API、本地模型和基准测试。被广泛应用于机构如NVIDIA、Cohere、BigScience等，也支撑了🤗 Hugging Face的Open LLM Leaderboard。

Prompt-Engineering-Toolkit - 多模型AI对话提示优化工具

API集成GithubPrompt Engineering Tool大语言模型开源项目提示词优化用户界面

Prompt-Engineering-Toolkit是一个用于优化AI语言模型对话提示的Web应用。支持OpenAI和Anthropic等多个LLM提供商，可同时测试多个模型并比较输出结果。具备变量管理、提示模板保存加载、模型配置管理等功能。适用于开发者、研究人员和内容创作者，有助于提升AI对话效果。界面采用响应式设计，支持调整面板大小和模型温度参数。

siglens - 开源高效可观测性工具统一处理日志指标和跟踪

GithubSigLens可观测性开源软件开源项目性能监控日志分析

SigLens作为开源可观测性平台，效率超越Splunk百倍。其单一二进制文件集成了日志、指标和跟踪处理功能，有助于显著降低运营开支。该平台支持多样化的数据摄取格式和查询语言，结构简约便捷。在性能表现上，SigLens远胜Elasticsearch和ClickHouse，仅需32台EC2实例即可实现每日1PB的数据处理量。这为开发团队提供了一个兼具高效和成本效益的可观测性解决方案。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com