prompttools

全面LLM实验评估工具集

PromptTools LLM 提示词实验向量数据库人工智能 Github 开源项目

PromptTools是一套开源的LLM实验工具集，支持向量数据库和提示词的测试与评估。该工具兼容OpenAI、Anthropic等多个主流API，提供代码、笔记本和本地playground界面。开发者可以便捷地比较不同模型和参数性能，并评估向量数据库检索准确性，有效提升AI开发效率。

llm-comparator - 交互式可视化工具对比分析大语言模型性能

GithubJSON格式LLM ComparatorPython库可视化工具开源项目模型评估

LLM Comparator是一个开源的交互式可视化工具,用于分析和比较大语言模型的评估结果。用户可上传自定义JSON文件或使用示例数据,通过多种可视化方式展示不同模型在各类任务中的表现差异。工具配套Python库可生成兼容JSON文件,支持自动模型评估和原理聚类。研究人员和开发者可借助此工具深入洞察不同模型的优劣,为大语言模型研究提供直观分析支持。

superprompt-v1 - T5模型微调提升文本提示扩展能力

AI提示词GithubHuggingfaceSuperPromptT5模型开源项目文本生成模型稳定扩散

SuperPrompt-v1是一个基于T5架构的微调模型，专注于将简洁文本提示扩展为详细描述。作为文本到图像模型的预处理工具，它通过生成丰富提示来优化图像生成效果。该模型可无缝集成到AI工作流程中，为各类创意项目提供支持。

AI-Image-PromptGenerator - 灵活的AI艺术提示词生成工具

AI绘图GithubMidJourneyStable Diffusion开源项目提示词生成器自定义模板

AI-Image-PromptGenerator是一款用于生成和扩展AI艺术模型提示词的UI脚本。它具有关键词系统和可配置模板，支持自动导出到Automatic1111和InvokeAI，并提供自定义模板保存和短语黑名单功能。该工具适用于多平台，可独立运行，为Stable Diffusion和MidJourney等AI艺术创作者提供灵感和便利。

sammo - 大型语言模型提示词运行和优化库

GithubSAMMO大语言模型并行处理开源项目提示工程数据标注

SAMMO是一个用于运行和优化大型语言模型提示词的开源库。该项目支持数据标注、提示词设计、指令优化、提示词压缩和大规模执行等功能。SAMMO提供并行化和速率限制能力，可进行大规模查询而不会过载API。这个库适合需要高效处理和优化LLM提示词的多种应用场景。

weprompt.it - 创新AI提示词社区即将启航

AI工具weprompt.it即将推出电子邮件网站订阅

weprompt.it是一个专注于AI提示工程的创新平台，目前正处于预发布阶段。该平台致力于为AI爱好者和专业人士打造一个分享和探索提示词的专业社区，旨在提升人工智能应用效率和优化。用户可通过订阅电子邮件获取平台软启动的最新动态，共同参与这个激发创意的AI生态系统。作为独特的AI提示词平台，weprompt.it将为用户提供丰富的资源和工具，助力AI应用创新与发展。

vigil-llm - 多层防御工具，评估和保护LLM提示安全

APIGithubLLMVigil安全扫描开源项目提示注入

Vigil-llm是一款评估大型语言模型提示和响应安全性的开源工具。它集成了向量数据库、启发式规则、变压器模型等多种扫描模块，能够有效检测提示注入、越狱等潜在威胁。该工具支持本地和OpenAI嵌入，内置常见攻击签名库，可作为Python库或REST API使用，为LLM应用构建全方位的安全防护体系。

langtest - 开源工具助力语言模型全面测试与优化

AI偏见检测GithubLangTestNLP开源项目模型评估语言模型测试

LangTest是一款强大的开源工具,专为语言模型的测试和优化而设计。该工具提供超过60种测试类型,全面评估模型的鲁棒性、偏见、表示、公平性和准确性。LangTest兼容多个主流NLP框架,如Spark NLP、Hugging Face和Transformers。此外,它还能对OpenAI、Cohere等大型语言模型进行问答、毒性检测和临床测试等方面的评估。通过使用LangTest,数据科学家可以开发出更安全、可靠和负责任的自然语言处理模型。

awesome-LLM-resourses - 中文大语言模型全面资源汇总数据处理到评估应有尽有

GithubLLMRAG大语言模型开源项目微调推理评估

该项目汇总了中文大语言模型(LLM)领域的全面资源，包含数据处理、微调、推理和评估等多个环节的开源工具。资源库涵盖最新LLM技术，并收录RAG系统和AI代理等前沿应用。项目为LLM研究者和开发者提供了丰富的工具和信息，有助于推进相关项目的开发与应用。

LLMs-Planning - 大型语言模型规划与推理能力评估与分析工具

GithubLLM人工智能基准测试开源项目规划评估

LLMs-Planning项目包含PlanBench和大型语言模型规划能力分析两个子项目。PlanBench提供可扩展的基准测试，用于评估大型语言模型在规划和推理变化方面的表现。项目还对大型语言模型的规划能力进行了批判性调查，为自然语言处理和人工智能规划领域的研究者提供了重要参考。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com