#LLM

ai-demos是一个开源代码仓库，收集了多个人工智能和大型语言模型(LLM)的构建案例。项目主要展示AI构建相关的示例代码，源自各种技术演示。开发者可以在此获取AI应用开发的实践参考。此外，项目还关联了YouTube上的Deploying AI频道，提供相关演示的原始视频，便于深入学习AI部署知识。

该研究项目探讨了大语言模型在逆向学习任务中的表现局限。研究通过三个实验发现，模型学习A=B关系时难以自动掌握B=A关系。实验涵盖身份信息逆转、实际应用中的逆转问题和指令逆转。项目开源了数据生成、模型微调和评估代码，有助于深入理解语言模型的学习局限。

Helicone是一个开源的LLM开发平台，支持OpenAI、Anthropic等多种LLM集成。通过一行代码即可实现请求日志、会话追踪和指标分析。该平台还提供prompt管理、评估和微调等功能，以及缓存和自定义速率限制等网关特性。Helicone支持云端部署和自托管，适用于各种规模的AI应用开发。

Lanarky是基于FastAPI的Python Web框架,专为LLM微服务开发设计。它提供HTTP和WebSocket流式传输支持,适用于构建聊天机器人等实时LLM应用。Lanarky采用LLM优先设计,具有快速、现代化的特点,并且开源免费。该框架大幅简化了LLM微服务开发流程,让开发者能以少量代码高效构建功能强大的LLM应用,是构建智能对话系统的理想选择。

chatgpt-tool-hub是一个开源的大语言模型工具生态系统，提供联网、搜索、数学运算、控制电脑和执行代码等多种实用功能。用户可通过自然语言命令调用这些工具，提高生产力。该项目支持中英文交互、上下文记忆和多工具自动调用，旨在创建一个开放、灵活的人工智能助手平台，适配未来多样化的大语言模型需求。

该项目收集并分析了多种开源LLM网络应用,涵盖聊天机器人、自然语言界面等类型。通过比较各项目的功能特点,为开发者选择合适的应用提供参考。收录的项目均为开源且活跃维护,包含从基础API到完整生产系统等不同复杂度。

Cannoli是Obsidian的一款创新插件，让用户能在Canvas编辑器中轻松创建和执行无代码LLM脚本。通过直观的颜色和箭头系统，用户可以定义包含变量、循环和条件分支的复杂逻辑。这款工具不仅可用于开发自定义LLM聊天机器人，还支持实时数据流和灵活的格式设置。Cannoli兼容多个主流AI服务提供商，如OpenAI和Anthropic，同时支持通过Ollama使用本地LLM。用户可以通过图标点击、命令面板操作或语音指令等多种便捷方式来运行Cannoli脚本。

VisionCraft API是一个免费服务，集成了超过3000种AI模型。该API支持图像、文本和GIF生成，包含StableDiffusion、LLM和Text2GIF等模块。其中StableDiffusion涵盖SD 1.X、SDXL和SD3多个版本的模型及Lora。API使用简单，提供详细文档和多种联系渠道，方便开发者快速接入和获取支持。

PromptTools是一套开源的LLM实验工具集，支持向量数据库和提示词的测试与评估。该工具兼容OpenAI、Anthropic等多个主流API，提供代码、笔记本和本地playground界面。开发者可以便捷地比较不同模型和参数性能，并评估向量数据库检索准确性，有效提升AI开发效率。

LangChain.dart 是一个面向 Dart 和 Flutter 开发者的框架，用于构建基于大型语言模型(LLM)的应用。它提供统一 API 与多种 LLM 服务交互，包含检索和代理等模块，便于开发聊天机器人和问答系统。该框架采用模块化设计，支持多种集成，并使用 LangChain 表达式语言(LCEL)组合组件，简化 LLM 应用开发流程。

Astra-assistants-api是一个兼容OpenAI Assistants API v2的开源服务。它支持持久化对话、文件处理、向量存储、检索和函数调用等功能，采用AstraDB作为后端数据库。该项目集成多种第三方LLM提供商，适用于完成和嵌入任务。开发者可选择使用托管服务或自行部署API服务器，为AI助手应用提供灵活的后端支持。

LLM Datasets项目汇集了大语言模型微调所需的优质数据集、实用工具和核心概念。涵盖通用、数学逻辑、编程和对话等多个领域，项目详细阐述了高质量数据集的特征。为研究人员和开发者提供多样化的LLM微调数据资源，旨在促进模型性能提升。

LLaMafia是聚焦前沿AI和LLM技术的中文开源讨论平台，以LLaMA模型为基础。该平台强调第一性原理和实际工程经验，重视学术影响力和创新成果。LLaMafia为热衷AI研究的群体提供深度交流环境，超越传统学术评价标准，推动AI领域的思考与创新。

该项目汇集了LLM开发中的重要数据和见解，包括提示工程、模型训练和GPU内存管理等方面。内容涵盖成本比率、训练费用和GPU内存要求，为开发者提供决策参考和资源优化指导。这些信息有助于快速评估和理解LLM开发的关键因素，是大语言模型开发者的实用参考资料。

gen.nvim是Neovim的文本生成插件，集成了大型语言模型技术。它支持自定义提示、模型选择和显示模式配置。该插件提供上下文对话功能，便于连续交互。开发者可以利用gen.nvim快速生成代码、文档或其他文本内容，提高工作效率。它结合AI技术和Neovim功能，为用户提供高效的文本生成工具，简化了编码和写作过程。

Markdowner是一款开源工具，可将网站内容快速转换为Markdown格式，适用于大型语言模型处理。它具备详细转换模式、自动爬虫和LLM过滤功能，支持文本及JSON输出。该工具部署简便，免费使用，通过API调用即可获取结构化网页内容，有助于提高AI应用的响应质量。

SaltAI Language Toolkit是一个开源项目，整合了Llama-Index、AutoGen和LlaVA-Next等技术，与ComfyUI的节点界面结合。工具包提供检索增强生成、多智能体对话和视觉语言处理功能，增强AI语言处理能力。支持Git、Pip和ComfyUI Manager安装。项目提供示例工作流程，展示了搜索、对话和数据处理应用。

FinRobot是专为金融应用设计的开源AI代理平台，整合多种AI技术应对行业复杂需求。平台提供完整的数据感知、智能分析和行动执行工作流程，支持市场预测、文档分析和交易策略等任务。通过智能调度器优化模型选择，为每项任务匹配最适合的AI代理，为金融决策提供有力支持。

ComfyUI_omost插件为ComfyUI引入了Omost的区域提示功能。该插件通过LLM聊天生成JSON布局提示，并提供多种区域引导扩散方法，包括ComfyUI内置的区域提示和OmostDenseDiffusion。项目配备画布编辑器，方便操作LLM输出。通过集成TGI或llama.cpp，插件可显著提升LLM推理速度。ComfyUI_omost适用于需要精确控制图像生成的场景，为定制化图像输出提供了有力支持。

Doctran是一个基于大型语言模型的文档转换框架，通过自然语言指令处理复杂字符串。该框架提供模块化和声明式的方法，充分利用OpenAI的功能调用特性。Doctran支持提取、编辑、总结、精炼、翻译和问答生成等多种操作，简化了非结构化文本的处理过程。这个开源项目主要应用于需要高级判断的文档解析场景，例如交易标记和语义信息提取。

Patchwork 是一款开源的开发流程自动化工具。它通过自托管的 CLI 代理和 LLM 模型，自动执行 PR 审查、Bug 修复和安全补丁等任务。Patchwork 提供可重用的原子操作、LLM 提示模板和预置工作流，支持本地 CLI、IDE 运行和 CI/CD 集成。除了内置工作流，用户还可创建自定义流程，提高开发效率。

llm_benchmarks是一个全面的大语言模型评估基准集合,涵盖知识理解、推理能力、多轮对话和内容摘要等方面。该项目包含MMLU、ARC、GLUE等知名数据集,用于测试模型在不同任务中的表现。这一标准化工具为评估大语言模型性能提供了可靠依据,有助于相关技术的发展与应用。

chattr是一个集成于RStudio IDE的R语言包，为数据分析师和开发者提供与多种大型语言模型(LLM)交互的接口。支持OpenAI GPT、本地模型和GitHub Copilot等后端，通过Shiny Gadget应用或R脚本方式使用。该包专为探索性数据分析设计，具备代码快速复用、对话历史保存和灵活的提示设置功能。

The Full Stack平台提供AI产品开发全周期学习资源，包括新闻、社区和课程。涵盖从问题定义到部署的各个环节，开设大语言模型训练营和深度学习课程。帮助开发者掌握全栈技能，包括提示工程和用户体验设计。汇集行业最佳实践，为AI产品开发提供全面支持。

OpenRouter整合多种AI语言模型，提供统一接口和市场平台。用户可比较不同模型性能和价格，选择最适合的服务。平台展示多领域AI应用案例，涵盖聊天、角色扮演和编程等，为开发者和用户提供丰富的AI应用资源和灵感。

ModelsLab是一个综合性AI API服务平台,提供稳定扩散、大型语言模型等多种AI功能接口。平台支持文本生成图像、图像编辑、视频生成、语音克隆等应用,无需用户配置高性能硬件。拥有10,000多个预训练模型和模型微调功能,可满足个人到企业的多样化AI需求。ModelsLab支持快速集成先进AI技术,加速新一代智能应用的开发与落地。

Open Interpreter 是一个创新开源项目，使大型语言模型（LLM）能在本地计算机上执行代码，完成多样化任务。该项目通过自然语言交互，为计算机使用开创新方式，利用AI辅助复杂操作。在GitHub上，Open Interpreter已获得超过49,000星标，彰显其在开发者社区的欢迎度。目前，项目正开发桌面应用程序，并开放早期访问，以拓展功能性和实用性。

LLM Price Check提供各大语言模型API的实时价格对比服务。网站涵盖OpenAI、Anthropic、Google等知名提供商的最新定价信息,用户可便捷比较不同模型的输入输出成本、上下文长度等参数。内置价格计算器助力快速估算使用成本,适合需要大规模使用语言模型API的企业和开发者参考,有助于优化AI预算支出。

The Prompt Engineering Institute专注于提示工程领域，提供最新教程、资源、趋势和实用工具。网站涵盖零样本提示、检索增强生成等多个主题，并提供丰富的提示模板库。致力于帮助AI爱好者和专业人士更好地理解和应用大语言模型，是一个全面的提示工程学习平台。

Lilac是一款专为大型语言模型(LLM)数据质量提升设计的分析工具。它集成了数据搜索、量化和编辑功能，提供语义聚类、关键词检索和字段比较等分析方法。Lilac可在20分钟内完成百万级数据点的聚类和标题生成，每分钟可嵌入5亿个标记，实现快速处理大规模数据集、识别数据概念，并筛选适合特定任务的数据。此外，Lilac还支持PII检测和重复数据识别等特性。凭借高效的数据处理能力和直观的操作界面，Lilac成为数据科学家和AI从业者优化产品的重要助手。

OpenLIT是一款基于OpenTelemetry的开源工具，专为GenAI和LLM应用提供全面的性能分析和监控。该工具整合了跟踪和指标功能，只需简单配置即可收集LLM应用数据。OpenLIT支持多种集成，能够分析LLM、向量数据库和GPU的性能与成本，并提供实时数据可视化。此外，它还可与Datadog和Grafana Cloud等主流监控系统无缝对接，实现自动数据导出，为开发者提供全方位的应用洞察。

Omost是一个AI图像生成平台，利用大型语言模型(LLM)将代码转化为视觉内容。该平台提供免费在线服务，通过文本提示生成图像。Omost结合AI技术和虚拟画布，为图像创作和编辑提供新方法，适用于多个行业。这一工具推动了创意和效率的发展，为图像创作领域带来创新。

此工具支持GPT-4、Claude-3、Llama-3等主流语言模型的令牌计数。采用浏览器端分词技术，快速计算提示词令牌数，助力有效管理token限制。客户端运行确保数据安全，提供常见问题解答，并持续更新支持模型。适用于需要精确控制输入长度的AI开发和应用场景。

Context Clue是一款先进的AI文本分析和知识管理工具，提供文档摘要、模板化文档创建和语义搜索等功能。这个多语言支持的解决方案注重数据隐私，采用开源和API优先架构，易于集成现有系统。适用于研究、客户服务和法律分析等领域，Context Clue旨在提升企业的信息处理效率和洞察能力。

IntelSwift是一个智能客户服务自动化平台，集成了先进的语言模型技术。平台提供24/7全天候客户支持、智能FAQ系统、人机交接和会议安排自动化等功能，旨在提升客户服务效率。通过个性化产品推荐和智能销售策略，IntelSwift帮助企业优化客户体验，提高支持团队生产力，将客服中心转变为利润中心。该平台为企业提供了一个全面的客户服务解决方案，有效解决传统客户服务中的效率和个性化问题。

Copilot Chat是一个基于AI的代码生成平台，结合测试驱动开发方法。平台采用三步流程：开发者定义测试用例和需求，AI模型生成代码，系统自动验证并优化代码直至通过所有测试。这一方法提高了代码质量和准确性，为开发者提供高效的智能编程辅助。