Superagent是完全开源的AI助手框架，利用大语言模型、检索增强生成和生成式AI技术，帮助开发者在应用中集成强大的AI助手。功能涵盖文档问答、聊天机器人、内容生成、数据聚合和工作流自动化。由Y Combinator支持，提供Python和Typescript SDK，并附有详细文档和教程。

MaxKB是一款基于LLM大语言模型的开源知识库问答系统，支持本地和公共大模型，提供开箱即用的智能问答体验。它具备文档自动爬取、向量化处理、灵活编排等功能，且可零编码嵌入第三方系统，提高用户满意度。适用于企业复杂业务场景，支持离线安装和快速部署。

NeMo框架是NVIDIA开发的一款云原生生成式AI框架，专为研究人员和使用PyTorch的开发者设计，支持大型语言模型、多模态模型、自动语音识别等多个领域。该框架能够利用现有代码和预训练的模型检查点，帮助用户高效创建和定制新的生成式AI模型。通过广泛的教程和文档，用户可以轻松开始使用NeMo框架，无论是在任何云端还是本地环境中。

提示工程指南提供深入了解及应用大型语言模型的全面资源，从基础概念到高级实操，涵盖研究进展、模型风险和创新应用，助力研究员和开发者精进技能与知识。

本项目利用JailbreakHub框架，首次测量和研究野生越狱提示，收集了2022年12月至2023年12月的15,140个提示，其中包括1,405个越狱提示。通过分析Reddit和Discord等平台的数据，本研究旨在提高LLM供应商和研究社区对模型潜在风险的认识，并推动更强大的安全措施。

懒人客服系统基于大语言模型，提供智能客服解决方案，支持微信、千牛、哔哩哔哩、抖音等多平台接入，处理文本、语音和图片。通过插件访问操作系统和互联网，支持自有知识库定制企业AI应用。主要功能包括预设回复、智能生成回复、发送图片和二进制文件，以及独立的插件系统。适用于数字分身、智能客服和私域助手。

该Python库简化了大语言模型的使用，最低内存需求仅为512MB，确保所有推理在本地完成以保障数据隐私。支持GPU加速及多种模型配置，功能涵盖文本翻译、代码补全、语义搜索等，适合教育和商业用途。用户可通过简单的pip命令安装，在REPL、笔记本或脚本中使用。详见官方网站的文档与示例程序。

Neum AI是一个数据平台，帮助开发者利用检索增强生成（RAG）技术。它从现有数据源提取数据，生成向量嵌入，并导入向量数据库进行相似性搜索。平台具有高吞吐量分布式架构，处理数十亿数据点，内置数据连接器和实时同步功能，确保数据最新，并支持元数据混合检索，提供全面的RAG解决方案。

LLMFlows框架用于构建透明、简化的LLM应用，如聊天机器人和问答系统。通过提供基本的抽象层，确保组件完全透明，方便监控、维护和调试。用户可利用流和步骤类构建灵活的LLM应用，并通过异步支持优化性能，同时集成向量数据库和回调功能，实现全面控制和可见性。

该项目包含了一系列利用LangChain框架的应用示例，适用于聊天机器人、文本摘要、数据生成、代码理解和问答等场景。项目介绍了与LangChain、OpenAI、Chroma等服务的集成，并提供了代码示例和应用演示，帮助用户更好地掌握相关技术。

llama-cpp-agent 是一个开源框架，提供与大型语言模型（LLMs）互动的多种接口，包括对话、函数调用、结构化输出和基于工具的文本处理。兼容多种服务器和工具，适用于从日常对话到特定功能执行的各种应用场景，具有简单聊天、结构化输出、RAG（检索增强生成）和代理链功能。

WebLLM是一款借助WebGPU技术，实现硬件加速的浏览器内语言模型推理引擎，无需服务器即可直接在浏览器内运行。完全兼容OpenAI API，并具备流式输出和JSON模式生成功能，支持广泛的模型集成。通过NPM或CDN可以快速集成到各类AI交互应用中，同时确保用户隐私安全，并享受高效的GPU加速体验。

PowerInfer是一款在个人电脑上针对消费级GPU设计的高效大型语言模型(LLM)推理引擎。它结合激活局部性原理和CPU/GPU混合技术，通过优化热/冷激活神经元的处理方式，显著提高推理速度并降低资源消耗。软件还融入了适应性预测器和神经元感知技术，优化了推理效率和精度，支持快速、低延迟的本地模型部署。

Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型，提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载，具备自定义提示生成和微调功能，兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。

Open Assistant项目旨在为所有人提供高质量的对话式大语言模型，类似于稳定扩散技术在艺术和图像方面的革命性影响，该项目希望通过改进语言本身来促进创新。完整的oasst2数据集已发布，详情请查看最新博客文章和HuggingFace平台。

XAgent是一款开源的大型语言模型驱动的自主代理，旨在自动解决各种任务。该项目处于初期阶段，团队正致力于不断完善。XAgent具备自动性、安全性、可扩展性和人机合作等特点，通过独特的分派器、计划器和执行器三部分协同工作，实现复杂任务的高效处理。目标是打造一个能解决任何给定任务的超级智能代理。

AirLLM优化了推理内存使用，使70B大模型能在单个4GB GPU上运行，无需量化、蒸馏或剪枝。同时，8GB显存可运行405B的Llama3.1。支持多种模型压缩方式，推理速度可提升至3倍。兼容多种大模型，提供详细配置和案例，支持在MacOS上运行。

AdalFlow是一个基于PyTorch设计模式的大语言模型（LLM）应用库，旨在帮助开发人员构建和优化任务流水线。这个库注重代码的可读性和模块化，能够灵活应对从聊天机器人到文本分类等不同的AI应用。AdalFlow支持用户根据自身的需求进行定制和迭代，提供一种清晰的流水线结构和基于组件的构建方式，使用户能够轻松理解和部署LLM工作流。

本书基于PyTorch，系统性涵盖深度学习的核心知识，包括计算机视觉、自然语言处理、大语言模型等实战案例，详解ONNX和TensorRT推理部署框架，为读者提供从基础到应用的完整指导，帮助快速掌握PyTorch并实现项目落地。适合AI自学者、产品经理及跨领域人士阅读。

本项目汇集了最新的LLM检索增强生成（RAG）技术研究论文，包括RAG指令调优、上下文学习、嵌入、模拟、搜索、长文本与记忆、评估、优化及应用等方面。资源库为研究者提供全面参考，鼓励研究成果的提交与共享，促进RAG技术发展。

LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。

MindNLP是一个基于MindSpore的开源自然语言处理库，支持语言模型、机器翻译、问答系统、情感分析、序列标注和摘要生成等多种任务。该项目集成了BERT、Roberta、GPT2和T5等多种预训练模型，通过类似Huggingface的API简化了使用流程。用户可通过pypi或源代码安装该库，并支持包括Llama、GLM和RWKV在内的大型语言模型的预训练、微调和推理，非常适合研究者和开发人员构建和训练模型。

api-for-open-llm提供多种开源大模型的后端统一接口，以OpenAI ChatGPT API格式调用支持，如LLaMA、Baichuan等。支持流式响应、文字嵌入等功能，适用于多种应用需求。环境配置简洁，便于快速部署。

Oatmeal是一款终端用户界面聊天应用，支持与多个大型语言模型（LLM）对话。通过集成不同的后端模型（如ChatGPT和Ollama），用户可以选择合适的语言模型或保持私密对话。Oatmeal还可与Neovim等编辑器无缝集成，提供更加流畅的使用体验。支持多种操作系统，包括MacOS、Linux和Windows，并提供详细的安装和配置指南，帮助用户轻松启动和管理对话。

NeMo Curator 是一款专为大型语言模型（LLM）设计的开源Python库，通过结合Dask和RAPIDS等技术，实现GPU加速的数据集准备与管理。其功能包括数据下载、语言识别、文本清理、质量过滤、文档去重和个人信息保护等模块，为多种LLM任务提供快速、灵活和可扩展的解决方案，显著提升数据处理效率与模型质量。

FlexGen通过高效的IO卸载、压缩和大批量处理，实现了在单GPU上高吞吐量运行大语言模型。该系统专为高吞吐量任务设计，如信息提取和数据处理，特别适合成本敏感的环境。虽然FlexGen在小批量任务上速度较慢，但在批量处理和低成本硬件上具有显著优势。

AIdea是一款基于Flutter的开源应用，集成了包括OpenAI的GPT-3.5、GPT-4，Anthropic的Claude instant、Claude 2.1，Google的Gemini Pro等多种大语言模型，支持文生图、图生图、超分辨率等功能。该应用还提供了私有化部署选项，适合需要自定义服务端解决方案的用户。

LLaMA-Factory是一个高效的语言模型微调工具，支持多种模型和算法。该平台专注于提高微调速度，支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练，并提供详尽的数据监控和快速推理能力。此外，新版本还增加了PiSSA算法，且支持多种开发平台如Colab和DSW，适合高质量文本生成和智能应用开发。

LLocalSearch是一款运行于本地的大型语言模型封装工具，旨在提供更隐私的在线搜索体验。本工具支持低端硬件，无需API密钥，拥有移动友好设计及深浅模式切换，完全本地化操作确保用户隐私。通过实时日志和链接，用户能清晰了解答案信息来源，便于深入研究。当前项目正在开发LLama3模型支持，界面优化和历史对话功能。

LIDA是一款库，利用多种大语言模型自动生成和编辑数据可视化与信息图表。它兼容多种编程语言和可视化库，功能包括数据总结、目标生成、可视化生成与编辑、解释、评估和修复。LIDA将可视化视为代码，并提供简洁的API，帮助用户轻松生成和管理高质量的可视化内容。

本仓库收集了关于高效变换器、长度外推、长期记忆、增强检索生成（RAG）及长文本建模评估的研究论文和博客，提供专业资源用于探索长上下文模型及其挑战，并讨论优化NLP模型的创新方法，适合深度语言模型和复杂文本建模研究人员及开发者。考虑到用户搜索意图的多样性，建议在SEO描述中提及项目对长文本建模从算法到实际应用的全面影响，以及其对未来研究方向的启示。

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

本教程提供系统化的学习路径，涵盖基础理论、实际编码、数据处理、注意力机制、预训练和微调，帮助开发者掌握ChatGPT等大型语言模型的核心技术，适合具备一定编程基础的技术人员。

ModelScope-Agent 是一个可定制和扩展的代理框架，支持角色扮演、工具调用、规划和记忆功能。通过简单配置，可以快速实现代理应用，利用丰富的模型和工具接口，如 Dashscope、OpenAI 等。框架低耦合、高扩展性，便于开发者扩展和定制各种代理应用，适用于多种实际应用场景。

本文深入探讨检索增强大语言模型（Retrieval Augmented LLM）的核心要素、工作原理及实践应用。通过结合外部信息源，该技术显著提高了模型在处理时效性强的数据、保护私有信息及应对长尾知识挑战方面的能力。文章还评估了在实际场景中该技术的效果，提供了一个关于如何有效利用检索增强大语言模型的全面视角。

GPTCache专为大型语言模型（LLM）设计，通过建立语义缓存库存储响应，以有效降低API调用费用并加快响应速度。项目兼容多种LLM，实现常见查询的缓存，简化重复请求，适合高效部署于生产环境。欢迎访问最新文档和发布通告。

OpenGPT框架助您创建数据集并训练医疗领域的大型对话模型。通过OpenGPT生成的NHS-LLM使用丰富的医疗数据集供下载。提供从数据收集到模型训练的完整教程，并兼容LLaMA模型。详细教程涵盖了使用预设提示词生成任务数据集及调整配置文件进行模型训练的方法。

探索Awesome Chinese LLM——这是一个集中展示中文大语言模型的开源项目、应用和教程的平台。包括100+项经优化微调的资源，助力自然语言处理的学术与应用开发。

Cody是一款开源AI编码助手，通过搜索和代码库上下文帮助更快地理解、编写和修复代码。支持最新的Claude 3.5 Sonnet和GPT-4o语言模型。Cody提供聊天、自动补全、内联编辑和快捷命令功能，适用于VS Code、JetBrains和网页端。个人和团队均可免费使用，并支持Sourcegraph账户访问免费的大型语言模型。

FastGPT是一个先进的问答系统，基于LLM大语言模型，提供开箱即用的数据处理和模型调用能力。它支持可视化工作流编排，适用于复杂的问答场景。同时，FastGPT支持快速部署，具有强大的知识库能力和多模型支持，是企业和开发者的理想选择。

super.AI利用尖端的智能文档处理技术和大型语言模型，实现金融和保险文档的高效自动化处理，显著提高业务运行效率和数据准确性。

Code Review GPT使用大型语言模型在CI/CD流水线中审查代码，帮助识别暴露的秘密、低效代码和不可读代码。工具可以在命令行本地运行，审查暂存文件。虽然处于alpha阶段，但仍能提供有价值的反馈，简化代码审查流程，提高效率。

本项目通过对LLaMA、Alpaca-Chinese、Bloom等大语言模型进行指令微调，提升其在医疗问答领域的效果。利用医学知识图谱和文献，结合ChatGPT API构建数据集，开源了包括活字和Bloom在内的多种微调模型。适用于智慧医疗，模型在心肌梗塞、肝胆管结石等疾病的诊断和治疗方案建议方面表现优异，支持个性化微调和应用。

HuixiangDou是基于大型语言模型的群聊助手，采用三阶段管道处理，避免消息泛滥。最低需求2GB内存，无需训练。提供完整的Web、安卓和管道源码，适用于工业级和商业应用。支持知识库创建、正负例更新、网页搜索、聊天测试，并能集成飞书和微信群。最新功能包括图文检索和混合知识图谱，显著提升性能。

LLM Guard是由Protect AI设计的一款全面安全解决方案，专为保障大语言模型的安全互动而打造。它具备语言过滤、数据泄露预防和抗提示注入攻击等功能，确保互动安全和隐私。项目支持多种扫描器，能有效检测和防护潜在威胁。安装简便，易于集成到生产环境中，是提升LLM安全的理想工具。

Gepetto，一个Python插件，通过引入大型AI语言模型来增强IDA Pro的函数反编译功能。支持多模型选择如GPT系列，易于配置，并通过详尽的安装和操作指南助力代码分析师提升工作效率。

提供Azure OpenAI和大型语言模型（LLM）的综合参考，包括服务与技术的详细比较和专有功能介绍。深入探讨私有网络支持、角色认证和AI内容过滤的优势，非常适合希望全面了解并运用Azure OpenAI整合服务的技术用户。

此页面提供了大规模语言模型训练的实用指南和资源，涉及模型架构选择、并行策略、模型规模、张量精度、训练超参数设定、最大化吞吐量、稳定性问题、数据处理以及软件和硬件故障调试等主题。这些开放的技巧和工具可以帮助更高效地训练大规模语言模型，并提升其性能和稳定性。

X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。

Lagent是一个开源轻量级框架，专为高效构建基于大型语言模型（LLM）的代理而设计。该框架提供流式输出接口，统一的接口设计及完备的API文档，支持多种模型和代理的快速开发。了解Lagent的核心功能和技术架构，助力开发效率。