#大语言模型

Superagent是完全开源的AI助手框架，利用大语言模型、检索增强生成和生成式AI技术，帮助开发者在应用中集成强大的AI助手。功能涵盖文档问答、聊天机器人、内容生成、数据聚合和工作流自动化。由Y Combinator支持，提供Python和Typescript SDK，并附有详细文档和教程。

Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型，提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载，具备自定义提示生成和微调功能，兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。

AIdea是一款基于Flutter的开源应用，集成了包括OpenAI的GPT-3.5、GPT-4，Anthropic的Claude instant、Claude 2.1，Google的Gemini Pro等多种大语言模型，支持文生图、图生图、超分辨率等功能。该应用还提供了私有化部署选项，适合需要自定义服务端解决方案的用户。

Cody是一款开源AI编码助手，通过搜索和代码库上下文帮助更快地理解、编写和修复代码。支持最新的Claude 3.5 Sonnet和GPT-4o语言模型。Cody提供聊天、自动补全、内联编辑和快捷命令功能，适用于VS Code、JetBrains和网页端。个人和团队均可免费使用，并支持Sourcegraph账户访问免费的大型语言模型。

MaxKB是一款基于LLM大语言模型的开源知识库问答系统，支持本地和公共大模型，提供开箱即用的智能问答体验。它具备文档自动爬取、向量化处理、灵活编排等功能，且可零编码嵌入第三方系统，提高用户满意度。适用于企业复杂业务场景，支持离线安装和快速部署。

Open Assistant项目旨在为所有人提供高质量的对话式大语言模型，类似于稳定扩散技术在艺术和图像方面的革命性影响，该项目希望通过改进语言本身来促进创新。完整的oasst2数据集已发布，详情请查看最新博客文章和HuggingFace平台。

LLaMA-Factory是一个高效的语言模型微调工具，支持多种模型和算法。该平台专注于提高微调速度，支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练，并提供详尽的数据监控和快速推理能力。此外，新版本还增加了PiSSA算法，且支持多种开发平台如Colab和DSW，适合高质量文本生成和智能应用开发。

FastGPT是一个先进的问答系统，基于LLM大语言模型，提供开箱即用的数据处理和模型调用能力。它支持可视化工作流编排，适用于复杂的问答场景。同时，FastGPT支持快速部署，具有强大的知识库能力和多模型支持，是企业和开发者的理想选择。

NeMo框架是NVIDIA开发的一款云原生生成式AI框架，专为研究人员和使用PyTorch的开发者设计，支持大型语言模型、多模态模型、自动语音识别等多个领域。该框架能够利用现有代码和预训练的模型检查点，帮助用户高效创建和定制新的生成式AI模型。通过广泛的教程和文档，用户可以轻松开始使用NeMo框架，无论是在任何云端还是本地环境中。

XAgent是一款开源的大型语言模型驱动的自主代理，旨在自动解决各种任务。该项目处于初期阶段，团队正致力于不断完善。XAgent具备自动性、安全性、可扩展性和人机合作等特点，通过独特的分派器、计划器和执行器三部分协同工作，实现复杂任务的高效处理。目标是打造一个能解决任何给定任务的超级智能代理。

LLocalSearch是一款运行于本地的大型语言模型封装工具，旨在提供更隐私的在线搜索体验。本工具支持低端硬件，无需API密钥，拥有移动友好设计及深浅模式切换，完全本地化操作确保用户隐私。通过实时日志和链接，用户能清晰了解答案信息来源，便于深入研究。当前项目正在开发LLama3模型支持，界面优化和历史对话功能。

super.AI利用尖端的智能文档处理技术和大型语言模型，实现金融和保险文档的高效自动化处理，显著提高业务运行效率和数据准确性。

提示工程指南提供深入了解及应用大型语言模型的全面资源，从基础概念到高级实操，涵盖研究进展、模型风险和创新应用，助力研究员和开发者精进技能与知识。

AirLLM优化了推理内存使用，使70B大模型能在单个4GB GPU上运行，无需量化、蒸馏或剪枝。同时，8GB显存可运行405B的Llama3.1。支持多种模型压缩方式，推理速度可提升至3倍。兼容多种大模型，提供详细配置和案例，支持在MacOS上运行。

LIDA是一款库，利用多种大语言模型自动生成和编辑数据可视化与信息图表。它兼容多种编程语言和可视化库，功能包括数据总结、目标生成、可视化生成与编辑、解释、评估和修复。LIDA将可视化视为代码，并提供简洁的API，帮助用户轻松生成和管理高质量的可视化内容。

Code Review GPT使用大型语言模型在CI/CD流水线中审查代码，帮助识别暴露的秘密、低效代码和不可读代码。工具可以在命令行本地运行，审查暂存文件。虽然处于alpha阶段，但仍能提供有价值的反馈，简化代码审查流程，提高效率。

本项目利用JailbreakHub框架，首次测量和研究野生越狱提示，收集了2022年12月至2023年12月的15,140个提示，其中包括1,405个越狱提示。通过分析Reddit和Discord等平台的数据，本研究旨在提高LLM供应商和研究社区对模型潜在风险的认识，并推动更强大的安全措施。

AdalFlow是一个基于PyTorch设计模式的大语言模型（LLM）应用库，旨在帮助开发人员构建和优化任务流水线。这个库注重代码的可读性和模块化，能够灵活应对从聊天机器人到文本分类等不同的AI应用。AdalFlow支持用户根据自身的需求进行定制和迭代，提供一种清晰的流水线结构和基于组件的构建方式，使用户能够轻松理解和部署LLM工作流。

本仓库收集了关于高效变换器、长度外推、长期记忆、增强检索生成（RAG）及长文本建模评估的研究论文和博客，提供专业资源用于探索长上下文模型及其挑战，并讨论优化NLP模型的创新方法，适合深度语言模型和复杂文本建模研究人员及开发者。考虑到用户搜索意图的多样性，建议在SEO描述中提及项目对长文本建模从算法到实际应用的全面影响，以及其对未来研究方向的启示。

本项目通过对LLaMA、Alpaca-Chinese、Bloom等大语言模型进行指令微调，提升其在医疗问答领域的效果。利用医学知识图谱和文献，结合ChatGPT API构建数据集，开源了包括活字和Bloom在内的多种微调模型。适用于智慧医疗，模型在心肌梗塞、肝胆管结石等疾病的诊断和治疗方案建议方面表现优异，支持个性化微调和应用。

懒人客服系统基于大语言模型，提供智能客服解决方案，支持微信、千牛、哔哩哔哩、抖音等多平台接入，处理文本、语音和图片。通过插件访问操作系统和互联网，支持自有知识库定制企业AI应用。主要功能包括预设回复、智能生成回复、发送图片和二进制文件，以及独立的插件系统。适用于数字分身、智能客服和私域助手。

本书基于PyTorch，系统性涵盖深度学习的核心知识，包括计算机视觉、自然语言处理、大语言模型等实战案例，详解ONNX和TensorRT推理部署框架，为读者提供从基础到应用的完整指导，帮助快速掌握PyTorch并实现项目落地。适合AI自学者、产品经理及跨领域人士阅读。

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

HuixiangDou是基于大型语言模型的群聊助手，采用三阶段管道处理，避免消息泛滥。最低需求2GB内存，无需训练。提供完整的Web、安卓和管道源码，适用于工业级和商业应用。支持知识库创建、正负例更新、网页搜索、聊天测试，并能集成飞书和微信群。最新功能包括图文检索和混合知识图谱，显著提升性能。

该Python库简化了大语言模型的使用，最低内存需求仅为512MB，确保所有推理在本地完成以保障数据隐私。支持GPU加速及多种模型配置，功能涵盖文本翻译、代码补全、语义搜索等，适合教育和商业用途。用户可通过简单的pip命令安装，在REPL、笔记本或脚本中使用。详见官方网站的文档与示例程序。

本项目汇集了最新的LLM检索增强生成（RAG）技术研究论文，包括RAG指令调优、上下文学习、嵌入、模拟、搜索、长文本与记忆、评估、优化及应用等方面。资源库为研究者提供全面参考，鼓励研究成果的提交与共享，促进RAG技术发展。

本教程提供系统化的学习路径，涵盖基础理论、实际编码、数据处理、注意力机制、预训练和微调，帮助开发者掌握ChatGPT等大型语言模型的核心技术，适合具备一定编程基础的技术人员。

LLM Guard是由Protect AI设计的一款全面安全解决方案，专为保障大语言模型的安全互动而打造。它具备语言过滤、数据泄露预防和抗提示注入攻击等功能，确保互动安全和隐私。项目支持多种扫描器，能有效检测和防护潜在威胁。安装简便，易于集成到生产环境中，是提升LLM安全的理想工具。

Neum AI是一个数据平台，帮助开发者利用检索增强生成（RAG）技术。它从现有数据源提取数据，生成向量嵌入，并导入向量数据库进行相似性搜索。平台具有高吞吐量分布式架构，处理数十亿数据点，内置数据连接器和实时同步功能，确保数据最新，并支持元数据混合检索，提供全面的RAG解决方案。

LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。

ModelScope-Agent 是一个可定制和扩展的代理框架，支持角色扮演、工具调用、规划和记忆功能。通过简单配置，可以快速实现代理应用，利用丰富的模型和工具接口，如 Dashscope、OpenAI 等。框架低耦合、高扩展性，便于开发者扩展和定制各种代理应用，适用于多种实际应用场景。

Gepetto，一个Python插件，通过引入大型AI语言模型来增强IDA Pro的函数反编译功能。支持多模型选择如GPT系列，易于配置，并通过详尽的安装和操作指南助力代码分析师提升工作效率。

LLMFlows框架用于构建透明、简化的LLM应用，如聊天机器人和问答系统。通过提供基本的抽象层，确保组件完全透明，方便监控、维护和调试。用户可利用流和步骤类构建灵活的LLM应用，并通过异步支持优化性能，同时集成向量数据库和回调功能，实现全面控制和可见性。

MindNLP是一个基于MindSpore的开源自然语言处理库，支持语言模型、机器翻译、问答系统、情感分析、序列标注和摘要生成等多种任务。该项目集成了BERT、Roberta、GPT2和T5等多种预训练模型，通过类似Huggingface的API简化了使用流程。用户可通过pypi或源代码安装该库，并支持包括Llama、GLM和RWKV在内的大型语言模型的预训练、微调和推理，非常适合研究者和开发人员构建和训练模型。

本文深入探讨检索增强大语言模型（Retrieval Augmented LLM）的核心要素、工作原理及实践应用。通过结合外部信息源，该技术显著提高了模型在处理时效性强的数据、保护私有信息及应对长尾知识挑战方面的能力。文章还评估了在实际场景中该技术的效果，提供了一个关于如何有效利用检索增强大语言模型的全面视角。

FlexGen通过高效的IO卸载、压缩和大批量处理，实现了在单GPU上高吞吐量运行大语言模型。该系统专为高吞吐量任务设计，如信息提取和数据处理，特别适合成本敏感的环境。虽然FlexGen在小批量任务上速度较慢，但在批量处理和低成本硬件上具有显著优势。