#LLM

了解一系列使用OpenAI、Anthropic、Google等模型以及本地LLaMA模型构建的LLM应用，涵盖从代码库、电子邮件到投资、旅行等各个领域。这些应用通过详细的文档和开源生态系统，推动AI在多个领域的创新和发展。

Intel® Extension for Transformers是专为提升基于Transformer架构的GenAI/LLM模型而设计的先进工具包。本工具包支持多种平台，如Intel Gaudi2、CPU和GPU，并整合了Hugging Face transformers APIs与Intel® Neural Compressor，提供顺畅的模型压缩过程和多样化的优化选择。此外，工具包含可定制的NeuralChat聊天机器人框架，为用户带来高效的AI交互体验。

本项目示例介绍了如何使用Anthropic公司提供的Claude模型和Amazon Bedrock的生成式AI来构建智能聊天机器人。该项目支持多种语言和个性化设置，并可通过API发布。提供详细的管理员仪表板、自动任务处理，以及简易的部署流程。项目架构基于AWS管理服务，确保应用程序的可扩展性、可靠性和安全性。

该工具计算GPU/CPU运行任意LLM所需的内存和每秒处理的Token数，并提供详细的训练和推理内存分配。支持多种量化及推理框架，适用于评估GPU运行特定LLM的能力、调整量化方式及优化GPU内存使用。

GenU集成了多种生成AI技术应用于业务场景，支持文本生成、翻译及图像创作等应用，利用Amazon技术提供支持，提供详细文档与实例，助力企业全面掌握并实施AI技术。

Lunary 提供开源的可观测性、提示管理和评估功能，帮助LLM开发者优化应用性能。它支持成本分析、日志监控、提示模板创建和微调数据集，方便快速集成和自托管。兼容JavaScript和Python模块，适用于多种模型，并提供托管版本和本地部署指南，确保数据安全和优质支持。

ChatPDF是一个基于本地LLM的文件检索和知识问答系统，支持包括PDF、docx在内的多种文件格式。系统集成了多项算法优化功能，例如Chinese chunk切分、embedding优化和检索匹配等，致力于提高RAG的准确率。此外，系统通过使用reranker模块和扩展上下文功能优化查询的精确度。基于gradio开发，该系统支持简便的Web服务启动，便于在本地环境搭建和使用。

该框架利用大型语言模型生成并评估真实世界的C/C++项目的模糊测试目标，并通过OSS-Fuzz平台进行基准测试。支持的模型包括OpenAI GPT系列和Gemini系列。评估指标涵盖可编译性、运行时崩溃、运行时覆盖率和与现有人类编写目标的差异。最新实验显示，生成的模糊测试目标显著提升了代码覆盖率，并发现了多项新漏洞。详细使用指南和合作信息，请参见项目页面。

llm-graph-builder是一款利用OpenAI、Gemini等大型语言模型转化非结构化数据如PDF、文档、视频和网络页面等为结构化知识图谱的应用。此应用支持用户上传文件、自定义图谱模式，并使用Langchain框架进行图谱生成。用户还可以在多源数据环境下查看图谱，并通过对话查询与数据交互。

AutoLLM 提供简化的 LLM 应用开发体验，支持 100 多种语言模型和 20 多种向量数据库，具有成本计算、快速创建 RAG LLM 引擎和 FastAPI 应用等功能。通过一行代码即可实现高效的查询引擎和 API 部署，适用于多种应用场景。

RepoAgent是一个基于大型语言模型（LLM）开发的自动化代码库文档管理系统。它能够实时监测Git仓库的更新，自动解析代码结构并生成相应的文档，极大减少了手动编写文档的需求，有效提高了开发效率和项目可维护性。

RAG-GPT项目允许用户利用Flask, LLM及RAG快速启动一个智能客服系统，整合了前端、后端和管理控制台。支持多种知识库的集成，配置灵活，界面友好，可在五分钟内部署生产级会话服务。适用于需要高效、高可定制的客服解决方案的业务。RAG-GPT为企业提供了一个多面的、易于配置的智能客服平台，支持Docker直接部署或源代码部署，兼容多种大型语言模型(Large Language Models)，如OpenAI的GPT和Moonshot，满足各型企业的需求。

RestAI是一个AI服务平台，通过REST API使用户轻松创建和使用AI项目。支持视觉识别、文本生成等多种AI类型项目，并提供丰富的前端界面和详尽的API文档。该平台还支持Docker和Podman部署，适用于开发者和企业用户，快速上手和灵活使用。

升级的SEO描述应详细而精准地概述使用Java和Spring AI开发基于生成式AI和LLMs的应用。明确强调该项目支持的具体应用，如聊天机器人、问题解答、语义搜索等，并展示其在内容生成、多模态交互等领域的应用广泛性。同时，应突出项目提供的技术支持——如LLM输出到结构化对象的转换、嵌入模型及文档ETL流程等，更好地展示如何帮助开发者融合最新AI技术，解决实际业务需求。

该项目通过人类撰写的面试题测试AI的编程能力，提供多种主流API提供商和CUDA支持的推理脚本，并在基于Docker的沙盒环境中验证Python和NodeJS代码的安全性。用户可以评估提示技巧和采样参数对大语言模型（LLM）编码性能的影响，以及量化对LLM编码性能的衰减影响。项目包括多语言测试套件和来自OpenAI的Python-only测试套件，支持对比分析，并提供了详尽的结果数据和评估脚本。

LARS是一个开源应用，允许在本地设备运行大型语言模型（LLM），支持上传个人文件，以及通过检索增强生成（RAG）技术增强对话准确度和减少生成误差。特点包括精确文献引用、多种文件格式支持、全历史聊天记录和GPU加速。用户可以自定义LLM设置，优化使用体验。

langchain-rust是LangChain在Rust中的实现，用于构建可组合的LLM应用。支持多种LLM如OpenAi、Azure OpenAi和Ollama，提供嵌入、向量存储、链式操作和多种工具集成功能。简单配置后，用户可快速启动对话链、问答链等应用。

BetterOCR通过结合EasyOCR、Tesseract和Pororo等OCR引擎，并使用LLM技术，解决多语言文本检测难题。支持自定义上下文以提高文本识别的精度，即使是罕见或非传统词汇也能保证高准确性。支持异步操作和改进的界面，并持续快速开发中。欢迎贡献与参与，共同提升OCR技术。

Sagify提供简化的接口，帮助管理AWS SageMaker的机器学习工作流程，让用户专注于构建模型而不是基础设施。其模块化架构包括一个LLM Gateway模块，通过简单的API接口访问多种大语言模型。用户可以轻松部署如稳定扩散模型的大型模型，并使用生成的代码片段进行查询。该项目支持OpenAI和开源模型，并提供详细的安装和部署指南，适合希望简化机器学习流程的用户。

ChainForge是一个开源视觉编程环境，适用于大型语言模型（LLMs）。它支持同时查询多个模型、对比不同提示和模型设置下的响应质量，提供评估指标设置与结果可视化，助力用户选择最适合的提示和模型。适合于快速探索提示及评估聊天响应。目前处于开放beta阶段，支持多家知名模型提供商，包括OpenAI、HuggingFace及Google PaLM2等。

AICI提供了一个灵活的大型语言模型（LLM）输出控制平台，允许开发者通过自定义逻辑实时监控和调整模型输出。支持本地和云端部署，基于WebAssembly实现高安全性和高性能，支持多种编程语言，确保与多种LLM引擎如llama.cpp和HuggingFace Transformers的兼容。

Nerve是一款无需编写代码即可使用任何大语言模型（LLM）创建状态化智能代理的工具。它通过动态更新提示，帮助代理在完成用户定义任务时进行规划和执行步骤。Nerve具备自动化问题解决能力，用户可通过YAML模板定义自定义代理，并支持Ollama、Groq、OpenAI和Fireworks等API访问的模型。无需重型运行时，Nerve提升了效率和内存安全性，支持Docker镜像部署及多种实例教程。

Galah是一个由LLM驱动的Web蜜罐工具，能够模拟各种应用并动态响应HTTP请求。支持OpenAI、GoogleAI、GCP的Vertex AI、Anthropic、Cohere和Ollama等主要LLM提供商。通过缓存机制降低API调用成本，可配置文件控制响应生成，适合本地部署和Docker运行。作为探索LLM生成HTTP消息的研究项目，不推荐用于生产环境。

DevAI领域发展迅速，开发者需选择适合的LLM模型。本文详细介绍主流开源与商业LLM模型的选择标准、特点及应用场景，包含从本地环境到托管服务的部署指南，提供全面对比与建议，帮助开发者提升开发效率。欢迎贡献意见以完善此LLM索引。

Tiger是一个社区驱动的项目，致力于为LLM代理开发可重用和集成的工具生态系统。使用Upsonic进行隔离工具存储和自动文档生成，用户可以创建定制代理环境或使用社区维护的Tiger库。Tiger支持AI代理编写和执行代码、使用搜索引擎、管理日历、控制电脑输入设备等，旨在通过AI实现具体操作，并构建一个自由、开放和MIT许可的工具库，支持多种技术与学科。

本文集合了六种GPT和LLM的实用应用技巧，包括异步请求、大量邮件发送、文本压缩、图片识别、本地模型运行及函数调用，让开发者掌握在实际项目中的高效应用方法。

Prompt Poet 通过低代码方案和使用YAML与Jinja2，简化了提示词设计，适合开发者和非技术用户。它提高了与AI模型交互的效率和质量，让用户能够专注于制作最佳提示词。该工具支持模板渲染、加载、令牌化和截断等功能，适用于需要缓存和低延迟的系统。

CodeAct通过可执行代码统一了LLM代理的行动空间，并利用集成的Python解释器实现动态行为调整。相比文本和JSON，CodeAct成功率提高了20%。项目包含详细数据集和模型说明，并支持Kubernetes部署，显著提升在非专业任务中的性能表现。

Character-LLMs是一款专为角色扮演设计的可训练智能体，利用经验重建技术生成丰富的角色体验数据，无需额外提示即可模拟特定角色，如贝多芬或埃及艳后。项目提供九个角色的模型和数据集，支持角色个性化构建与互动。详情请见论文和代码仓库。

comfyui-mixlab-nodes提供多功能、可高度自定义的Web APP生成与编辑平台。新添多样输入输出节点支持，例如实时屏幕捕捉、语音识别功能，适合多种动态交互环境。此版本支持SiliconflowLLM，优化API密钥管理，适用于图像、文本批处理与实时设计。支持高级API管理和SiliconflowLLM集成，提升workflow定制效率，适合专业开发环境。

BenchLLM是一个开源Python库，用于简化大语言模型和AI应用的测试。它提供多种测试和评估方法，包括语义相似度和字符串匹配，并具有缓存功能。BenchLLM支持链、代理和各种LLM模型的测试，有助于消除不稳定因素，确保代码的可靠性。便捷的安装和使用方式使其适用于开发者进行自动化集成和模型评估。

该手册为语言模型训练工程师和操作员提供了多种方法和实用脚本，涵盖模型并行性、最大化吞吐量、张量精度和数据类型、训练超参数和模型初始化、不稳定性排查、以及软件和硬件故障调试等方面。适合需要深入技术细节的用户。若需要概述性和概念性内容，请参考姊妹项目The Large Language Model Training Playbook。

本项目介绍了如何使用ORPO、QLoRA、GPTQ等技术对大型语言模型（LLM）进行微调，包含具体实例和代码片段。项目还提供与这些技术相关的YouTube视频链接，提供全面的学习资料。此外，项目还包含各类实用工具和技术说明，帮助用户更好地理解和应用这些前沿技术。适合有一定编程基础的研究人员和开发者参考。

此项目利用Alpaca-CoT平台，集合和整理多种表格智能任务的数据集，并对现有的大型语言模型进行微调，以提升其对表格数据的理解和处理能力。主要涵盖表格问答和表格-文本生成等任务。项目提供开源训练代码和格式统一的表格数据，并开放训练模型，助力研究者复现及优化表格智能任务。

本页面介绍大语言模型（LLM）在多模态学习中的最新研究趋势，包括文本、视觉（图像和视频）、音频等多种模态。重点讨论如LLaMA、Alpaca和Bloom等开源且适合研究的LLM骨干模型及其学习方法，如全量微调、参数有效微调、上下文学习等。同时列举了具体的多模态LLM模型实例，如OpenFlamingo和MiniGPT-4，以及评估方法，如MultiInstruct和POPE，提供科研人员了解和研究LLM引导多模态学习的资源。

RAGFlow是一个基于深度文档理解的开源RAG引擎，适用于各种规模的企业。结合大型语言模型，它提供可靠的问答功能和可信的引用。RAGFlow支持多种数据格式，包括文本、图片和音频文件，并且兼容本地和远程LLM，提供自动化、无缝集成的RAG工作流，便于通过直观的API进行业务整合。