#LLM

OpenUI简化了UI组件的构建，支持实时渲染和多框架转换（如React、Svelte）。兼容OpenAI、Groq等多种模型，并支持本地与Docker运行，适用于各种开发环境。

Flowise让您通过拖放界面轻松创建自定义LLM应用程序。提供详细的快速安装指南，支持NodeJS和Docker部署。模块化架构对开发者友好，并支持自托管，适用于AWS、Azure、Digital Ocean等主流云平台，确保应用灵活且易扩展。

Ragas是一款工具集，用于评估、监控和优化RAG（检索增强生成）应用的性能，特别适合生产环境中的大语言模型（LLM）。Ragas集成了最新研究成果，能在CI/CD流程中进行持续检查，确保管道性能稳定。通过简单的安装和快速入门示例，用户可以快速体验Ragas的功能，并参与社区讨论LLM和生产相关问题。

Skyvern结合大语言模型（LLMs）和计算机视觉，提供简单的API端点，实现大量网站的工作流自动化，解决传统方法的不稳定性。无需定制代码即可操作新网站，对布局变化具有抗性，并能在多个网站上应用相同工作流。Skyvern云版本让用户无需管理基础设施即可运行多个实例，并提供反机器人检测、代理网络和验证码解决方案。

该项目因时间和资源不足已归档，建议使用其他高质量的Rust推理库，如Ratchet、Candle和llama.cpp等。项目原README包含当前状态、支持的模型及使用方法等详细信息。

PaperQA是一款轻量级工具，专为从PDF和文本文件中进行问答设计，通过内嵌引用确保答案准确。默认使用OpenAI Embeddings，支持与langchain和开源模型结合。其流程包括文档向量化、查询向量化、文档搜索、摘要生成、相关摘要选择，并生成最终答案。PaperQA支持异步操作，兼容多种LLM，并提供多种自定义和扩展选项，如本地向量存储和Zotero数据库集成，是科研人员高效处理文档问答的理想选择。

一款CLI工具和Python库，用于与大型语言模型交互，支持远程API和本地安装模型。可从命令行运行提示、将结果存储在SQLite中、生成嵌入等。通过插件目录，可访问更多模型。

AIAC是一个使用大型语言模型生成基础设施即代码（IaC）模板和配置的命令行工具。支持OpenAI、Amazon Bedrock和Ollama等多种LLM提供商，用户可以通过配置文件定义多个后端。其功能包括生成Terraform、Pulumi和CloudFormation模板，以及Dockerfile、CI/CD流水线、策略代码和实用工具。支持命令行操作、Docker运行和作为Go库使用，为开发者提供高效的自动化基础设施管理解决方案。

ChatArena是一个多代理语言游戏环境，用于GPT-3、GPT-4等大语言模型的研究和互动分析。它的主要功能包括灵活的玩家和环境定义、语言游戏环境的提供以及友好的Web UI和CLI接口，便于理解、基准测试和训练大语言模型。

Semantic Router通过语义向量空间实现快速决策，提升LLM和AI代理的效率。兼容Cohere、OpenAI等多种编码器，并集成Pinecone和Qdrant等数据库，适用于多模态识别和本地运行。通过Route对象定义，Semantic Router实现精准语义路由，优化对话系统性能。

本书详细介绍了如何从零开始编码、构建和训练GPT类大语言模型。提供逐步指导、清晰图示和示例，适合教育用途的小型模型开发，并包含大模型预训练权重加载和微调的代码示例。

OpenDevin是一个利用AI和大语言模型（LLMs）进行代码编写、错误修复和功能发布的软件工程平台。支持Docker环境，兼容Linux、Mac OS和Windows上的WSL。提供详细文档和故障排除指南，欢迎通过代码、研究和反馈参与贡献。加入社区，共同推动软件工程的发展。

OpenUI是一款旨在使用户界面组件构建过程变得有趣、快捷和灵活的工具。支持HTML转换为React、Svelte等，适用于开发者和设计师快速原型制作。提供在线试用演示，并简化了在本地运行的设置过程。此外，该项目还支持使用OpenAI、Groq，以及其他LLMs进行扩展，是构建强大应用的理想选择。

Haystack是一个综合性的LLM框架，能够实现从文档检索到问题回答的多种功能。用户可以灵活选择使用OpenAI、Cohere、Hugging Face等提供的模型，或是自定义部署在各大平台的模型。该框架支持包括语义搜索、答案生成和大规模文档处理等广泛的NLP任务，同时还支持使用现成模型或对其进行微调，基于用户反馈持续优化模型性能。适用于企业级应用开发，帮助用户解决复杂的NLP问题。

ScrapeGraphAI是一款集成大语言模型和图逻辑的高效网络抓取Python库。该库支持多种抓取流程，适用于网站和本地文件，如XML、HTML、JSON和Markdown。用户只需指定需要提取的信息，ScrapeGraphAI即可自动完成。该库易于安装，支持多种自定义配置，适合高级用户和开发者进行数据抓取和分析。

Perplexica是一个开源的AI驱动搜索工具，使用先进的机器学习算法进行深入互联网搜索，提供准确来源的清晰答案。它集成了SearxNG技术，确保获取最新信息，同时保护用户隐私。Perplexica支持多种搜索模式，适合不同的查询需求，包括学术研究、视频搜索等，是您理想的搜索引擎选择。

SkyPilot是一个为LLMs和AI提供的框架，支持在任意云平台运行，最大化GPU利用率和降低成本。该框架通过自动管理作业队列，简化了扩展操作，还提供了对象存储的简便接入。用户可以在全球任一区域的云中自动故障转移，使用管理型Spot实例以较低成本运行，同时自动选择成本最优的机型和区域。

ChatDev是一个虚拟软件公司，通过智能代理在多个角色中协作，包括设计、编码、测试和文件记录等任务。基于大型语言模型(LLMs)，这个框架不仅易于使用、高度可定制和可扩展，而且还提供了研究集体智能的理想场景。该平台支持实时可视化配置，并通过Docker进行安全执行，积极推动LLM驱动的多代理协作和相关领域的发展。

MemGPT是一款创新的工具，可帮助用户通过支持长期存储和状态管理快速构建和部署具有状态的大型语言模型代理。MemGPT支持连接外部数据源（例如PDF文件）以进行检索式增强生成，并定义及调用自定义工具，如谷歌搜索。此外，MemGPT还支持多用户、多代理应用程序的服务部署，是企业和开发者构建先进语言模型应用的理想选择。

MetaGPT通过为GPT分配不同角色，形成多代理协作实体，解决复杂任务。项目支持从简单需求输入生成用户故事、竞争分析、需求、数据结构、API和文档等输出。MetaGPT包含产品经理、架构师、项目经理和工程师等角色，模拟完整的软件公司流程，并应用精心设计的标准操作程序。最新版本引入数据解释器和RAG模块，支持多种LLM，获得ICLR 2024口头报告资格，成为LLM代理类别的第一名。

xTuring是一款高效、简单的开源LLM微调平台，支持Mistral、LLaMA、GPT-J等多种模型。用户可通过直观界面在本地或私有云中微调模型，保障数据隐私。平台支持数据预处理、多GPU扩展、以及INT4和LoRA等内存高效的微调方法，并提供多种模型评估工具。最新功能涵盖LLaMA 2集成、CPU推理优化和批量处理。

使用@prompt和@chatprompt装饰器创建返回结构化输出的函数，将大型语言模型（LLM）与Python代码结合，实现复杂逻辑。支持pydantic模型和内置Python类型的结构化输出、少样本提示、函数调用与并行调用、异步支持、流式输出和图像处理。兼容OpenAI和Anthropic等多个LLM提供商。通过设置环境变量快速配置magentic。

LlamaIndex.TS 提供简便的 TypeScript 和 JavaScript 库，帮助开发者将数据集成到大型语言模型中。支持 Node.js、Deno、Bun 和 React Server Components 等 JS 环境，尽量减少浏览器环境的限制。通过文档分割、嵌入和查询引擎，用户可以高效创建索引并执行查询。此外，LlamaIndex.TS 兼容多种大型语言模型，包括 OpenAI GPT、Anthropic Claude 和 Llama 系列，提供灵活工具构建高级应用程序。

LMOps项目专注于使用基础模型构建AI产品，尤其是在长语言模型和生成AI模型领域的研究。项目涵盖自动提示优化、结构化提示、对齐、加速推理和定制化等技术。最新成果包括提示优化、上下文示例选择、指令调优和零样本评估，旨在提升模型性能和应用广泛性。项目正在招聘各级别研究人员，共同推进AI技术的发展。

Giskard是一个开源的Python库，旨在自动检测AI应用中的性能、偏差和安全问题。支持LLM和传统的ML模型，功能涵盖自动生成评估数据集、评估RAG应用答案、检测幻觉、生成有害内容及敏感信息泄露等问题。Giskard可无缝集成到各种环境中，并提供详细文档和示例代码，适用于各类AI开发者。

Towhee通过大型语言模型（LLM）编排，简化非结构化数据处理。支持多模态数据，如文本、图像、音频和视频。整合生成式AI和先进深度学习模型，将原始数据转换为特定格式并高效存储。提供丰富的预构建ETL管道、灵活的LLM编排和高性能后端。Towhee的Pythonic API使构建和优化数据处理管道更加便捷，适合开发者快速原型和生产部署。

本资源列表提供了丰富的资源，用于使用大语言模型（LLMs）生成JSON或其他结构化输出。内容包括术语解释、托管模型、本地模型、Python库、博客文章、视频和Jupyter笔记本，介绍了函数调用（Function Calling）、指导生成（Guided Generation）和工具使用等多种技术和工具，探索高效生成和处理结构化数据的方法。

MaxText是一个高性能、可扩展的开源大模型，采用纯Python和Jax编写，专为Google Cloud的TPUs和GPUs设计。支持训练和推理，能够从单个主机扩展到大型集群，且无需复杂优化。MaxText适用于研究和生产中的大型语言模型项目，支持Llama2、Mistral和Gemma模型，并提供详细的入门指南和性能测试结果。

本文探讨了大语言模型（LLM）在软件开发中的多种应用，包括Prompt编写与管理、架构设计等。介绍了利用Chat模式实现交互设计，基于AI 2.0优化开发流程，以及LLM应用架构的设计与实施。此外，还涉及特定场景下的模型微调和上下文工程，展示了如Prompt Engineering和Unit Mesh等开源项目，以提升研发效能。

Autolabel是一个Python库，利用大语言模型（LLM）自动标注、清洗和丰富文本数据集。它大幅减少手动标注的时间和成本，同时提供高准确率的标注结果。该库支持多种NLP任务，如分类、问答、命名实体识别等，兼容OpenAI、Anthropic、HuggingFace等多家提供商的LLM。Autolabel还提供信心估算、结果解释、缓存和状态管理功能，并支持使用Refuel托管的开源LLM进行标注。用户可根据具体任务配置标注指南，并通过简单的三步流程完成数据标注。

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

Kor是一款原型工具，通过定义数据结构和提供示例，帮助从文本中提取结构化数据。该工具生成提示并发送给指定的LLM进行解析。兼容pydantic v1和v2，支持解析、函数调用和JSON模式等多种抽取方式。适用于精确理解用户请求并与API进行自然语言交互的场景。

RayLLM是一种简便的解决方案，用于部署和管理多种开源LLM，利用Ray Serve和vLLM的功能，包括自动扩展、多GPU和多节点支持。RayLLM支持连续批处理和量化，大幅提高吞吐量并降低推理成本。通过REST API轻松迁移和测试，并集成多种LLM后端，提供灵活高效的解决方案。

该工具检查LLM的潜在故障，包括幻觉、数据泄露、提示注入、错误信息、生成有害内容和越狱等。作为免费的命令行工具，支持多种生成模型，如Hugging Face、Replicate、OpenAI等。用户可通过pip或GitHub安装最新版本，并提供详尽的日志记录和报告功能，帮助识别和修复语言模型的漏洞。

fastRAG是一个专为构建和优化检索增强生成模型的研究框架，集成了最先进的LLM和信息检索技术。它为研究人员和开发人员提供了一整套工具，支持在Intel硬件上进行优化，并兼容Haystack自定义组件。其主要特点包括对多模态和聊天演示的支持、优化的嵌入模型和索引修改功能，以及与Haystack v2+的兼容性。

RAGFlow是一个基于深度文档理解的开源RAG引擎，适用于各种规模的企业。结合大型语言模型，它提供可靠的问答功能和可信的引用。RAGFlow支持多种数据格式，包括文本、图片和音频文件，并且兼容本地和远程LLM，提供自动化、无缝集成的RAG工作流，便于通过直观的API进行业务整合。