#LLMs

Ax项目根据Stanford DSPy研究与Agentic workflows概念，实现智能代理快速开发。支持多种大型语言模型（LLM）、向量数据库，具备自动化提示生成、文档格式转换以及多模态DSPy和流式输出验证。该框架适用于Typescript生产级部署，低依赖性，满足现代软件开发需求。

本指南详细介绍如何通过提示工程优化和提升大语言模型（LLMs）的应用，包括基础知识和高级技术，涵盖最新的研究论文、学习指南、讲座、参考资料及工具。适合开发者和研究人员理解与应用LLMs，支持13种语言，提供线上课程及多种服务。

Chatbox 是一款支持多种语言模型（包括ChatGPT和Claude）的桌面客户端，适用于Windows、Mac和Linux系统。这款应用特别注重用户隐私，不需要部署即可安装使用。它提供多种高级功能，如图像生成、增强提示、键盘快捷方式、Markdown与Latex格式支持等，极大地提升用户工作效率。另外，Chatbox提供了团队协作功能和跨平台的Web版本，允许用户随时随地通过浏览器访问。

Optimate是由Nebuly AI开发的开源项目，提供多个库协助优化AI模型。虽然项目当前未在维护，其工具如Speedster、Nos和ChatLLaMA帮助用户针对硬件优化AI模型，实现成本节约。想了解更多信息，请访问官方文档。

GraphRAG是一个革新的数据管道和转换套件，旨在利用大型语言模型(LLMs)的力量从非结构化文本中提取有意义的结构化数据。该项目通过加快索引过程并优化提示调整，提供在Azure上的端到端用户体验，有效增强LLMs处理私有数据的能力。此外，GraphRAG的研究和开发还专注于推动负责任的AI使用，确保用户能够最大限度地发挥系统的潜力并减少限制的影响。

本项目深入探讨了检索增强生成（RAG）管道的内部机制，揭示其技巧、局限性和成本。通过LlamaIndex和Haystack框架，了解如何构建和优化RAG管道，并解决透明度和错误问题。详细分析了子问题查询引擎的工作原理，帮助用户理解复杂的RAG管道的关键组成部分和面临的挑战。

该项目提供多语言和多任务的高质量开源指令调优数据集，方便研究人员和开发者轻松访问和利用这些资源。收录数据集包括人类生成、自我指令生成和混合生成的数据，以加速NLP领域的发展，支持如ChatGPT的指令跟随型大语言模型的训练。

Safeguards Shield是一个旨在安全、可靠使用大型语言模型(LLMs)的开发者工具包。本工具包提供保护层功能，能够防御恶意输入并过滤模型输出，使AI应用从原型快速转向生产阶段。此外，包含超过20种即用型检测器，为生成式AI(GenAI)应用提供全面的安全保障，并助力缓解LLM的可靠性与安全隐患。工具包还支持监控事件、成本及关于AI的责任指标，支持应用的长期发展。

Promptify使用户可以使用GPT、PaLM等流行生成模型，轻松生成各种NLP任务提示。无需训练数据，通过简单的API调用就能快速实现多种NLP任务，如命名实体识别、文本分类和问题生成。其中包括优化提示以降低成本。适用于教育、医疗和企业等多个领域。

The 'ML-Papers-of-the-Week' project curates pivotal machine learning research papers weekly, serving as a prime resource for AI researchers, practitioners, and enthusiasts eager to explore cutting-edge innovations and trends in AI.

本教程为编码人员提供了对大型语言模型（LLMs）构建模块和工作原理的深入理解。从LLMs的基础概念和应用案例开始，涵盖了小型GPT模型的数据输入管道、核心架构组件和预训练代码的编写。教程还包括如何加载预训练权重和使用开源库进行微调的实战技能。

OpenAOE是一款创新的开源项目，致力于实现群体智能并行化处理。通过单一提示，可以同时获取多模型响应。OpenAOE支持多种商用和开源LLM API，包括gpt3.5、gpt4等，并提供后端API和WEB界面，满足不同需求。项目支持pip、docker和源码运行，可助于快速简便地部署和使用。

本项目整理了有关大语言模型（LLM）安全与隐私的研究资源，从提示注入和越狱等基本脆弱性到高级攻击和防御措施。定期更新，提供最新的研究成果和实验数据，帮助研究者和开发者了解LLM的安全挑战及应对策略。所有资源都在GitHub和Notion上开放，欢迎社区的合作和贡献。

DB-GPT-Hub是一个开源实验项目，通过大型语言模型(LLMs)实现复杂的Text-to-SQL解析。该项目包括全流程处理从数据集成到模型优化，截至2023年10月，已对大型开源模型进行优化，显著提升SQL查询的执行准确率。

cognee是一个先进的开源框架，旨在通过图形、LLMs和向量检索功能，为AI工程师提供精确的输出结果。该工具支持自我改进，兼容多种本地配置和存储方案，从而助力AI项目的高效实施和灵活扩展。

EgoAlpha实验室开源工程指南提供大语言模型的Prompt-in-context学习资源，包含最新论文、应用实例。随AI技术进步，掌握这些技术可提升个人和专业能力。

HackingBuddyGPT是一个使用大语言模型（LLM）进行安全测试的框架，仅需50行代码即可发现新的攻击向量，并利用AI提高渗透测试效率。该项目旨在成为安全研究人员和渗透测试人员的首选工具，支持Linux权限提升基准测试，并公开所有研究成果。了解LLM在模拟黑客行为中的作用，加入Discord社区获取更多支持和交流。

ell是一个用Bash编写的轻量级命令行工具，适用于终端环境下与LLMs进行交互。其功能包含终端提问、支持管道操作、调用函数和使用模板等。ell安装简单，并支持扩展，需Bash 4.2及以上版本、jq、curl和（可选）perl。用户可通过配置文件灵活选择不同的LLM模型，如Google的gemini和OpenAI的gpt-4o系列。ell与其他工具兼容，适合各种开发和日常使用场景。

llms_paper是一个高级学术资源库，专注于顶会论文的记录与整理，涵盖多模态、PEFT、小样本QA问答等多个领域。该项目深入探讨了LLMs在医疗、法律等多个行业中智能问答系统的应用，并展示了LLMs在多模态交互及数据解析方面的有效性。为算法工程师和研究人员提供最新的研究成果与实用技术笔记，是深入LLMs领域的理想资源。

Instructor是一个优化的Python库，专为简化和增强大型语言模型（LLMs）的结构化输出设计。它提供了一系列强大的功能，如自动验证、重试机制和流式处理。支持多种主流模型，是提升LLM工作流效率的理想选择。

Micro Agent是一个基于OpenAI GPT-4的微型自主代理工具，专门设计用于自动编写Python代码，达成用户指定的目的。该项目简化了编写和测试代码的过程，通过其内置的状态机制进行自动化处理。它无疑是AI研究领域的重要工具，代表着迈向通用人工智能的一步。此外，它为AI开发者和研究人员提供了一个探索和实验自主代理开发的有效平台。

LangChain的C#实现提供了一个灵活且可扩展的大型语言模型框架，支持多种第三方库。该项目适用于创建和管理向量数据库，并能够集成多种LLM模型。团队对拉取请求响应迅速，并欢迎更多开发者参与提升项目质量。查询项目Wiki和示例代码以快速入门。

dreamGPT基于大语言模型（LLM）的幻觉特性，通过发散思维生成创新想法。它与其他专注于具体问题的GPT解决方案不同，旨在探索尽可能多的可能性。使用dreamGPT需要安装Python 3.10+和Poetry，通过克隆GitHub上的dreamGPT仓库并配置环境变量，然后运行脚本生成新想法。用户还可以提供引导主题来定制生成过程。

本指南涵盖系统化的提示工程方法，帮助研究人员和开发人员优化与大型语言模型（LLMs）的互动。内容包括基础与高级提示、应用实例、最新研究论文、实用工具和数据集，同时提供相关讲座和课程资源。学习提示工程能提升LLMs在问答和算术推理等复杂任务中的性能，充分发挥模型潜力。

此页面汇总了开源的指令调优数据集、模型、相关论文和资源库的精选列表。涵盖传统NLP任务修改的数据集、大型语言模型生成的数据，还包括跨语言翻译工具和研究论文链接。对于研究和应用指令调优技术的研究人员、开发者和数据科学家，这是一个重要的参考资源。

ExtractThinker提供智能文件数据提取，支持Tesseract OCR、Azure Form Recognizer和AWS TextExtract等多种文档加载器。适用于异步处理、多种格式和ORM风格操作的模块化架构，并与LangChain生态系统兼容。专注于智能文档处理，大幅提升数据提取准确率，适用于发票、驾照等多场景。

该仓库提供了一系列关于LLM和GenAi的课程，覆盖开发、运维和安全领域。课程基于Langchain框架，示范了如调用OpenAI、使用向量数据库和缓存策略等实例。还包括OWASP十大威胁、提示注入检测和缓解等安全问题。适合具备Python基础的开发者，通过这些课程可以全面掌握LLM和GenAi的实际应用。

ChatGPTCLIBot是一款支持多种GPT模型（如gpt-3.5-turbo、text-davinci-003、GPT-4）的CLI程序。用户可以通过修改config.json文件轻松切换模型，并享有接近无限的上下文记忆和自定义初始提示功能。此外，该工具支持聊天记录保存、撤销和重置操作，提升使用效率。适用于Windows、Linux和macOS操作系统，这是一个高效的跨平台聊天工具。

该项目通过Python笔记本展示了RAG的高级技术，旨在优化大型语言模型(LLMs)的知识丰富度和上下文感知能力。从基础流程到多查询检索、自我反思、和自适应代理等高级架构，全面覆盖了核心组件及其工作方式。项目提供了构建RAG应用的详细指南，展示了如何通过Langchain框架提升文本生成的准确性和信息丰富度。内容包括查询转换、数据源路由和向量数据库索引等关键技术，为LLM应用提供坚实支持。

这个开源项目提供了一系列无需付费且许可要求低的资源，旨在从非结构化生物医学数据和文本中提取结构化信息。随着语言模型如BERT和GPT-4的引入，生物信息提取方法得到了显著优化。项目涵盖多个方面，包括研究概述、活跃群组、工具和数据集，所有资源均公开且积极维护。

该项目收录了一系列开源指令微调数据集，用以训练基于聊天的LLM（如GPT-4、ChatGPT、LLaMA、Alpaca）。数据集包括视觉指令微调、文本指令微调和人类反馈增强学习（RLHF）数据集。项目提供了详尽的数据集列表，方便研究人员和开发人员使用这些资源。支持多任务和多语言，覆盖英语、中文等多种语言数据，数据集来源多样，包括人类生成、自我指令生成以及混合数据集，适合多种LLM训练需要。

Intel® Extension for PyTorch* 提供优化功能，利用Intel® AVX-512 VNNI、AMX以及XMX AI引擎，提升Intel CPU和GPU上的深度学习性能。该扩展优化了大规模语言模型（LLMs），如LLAMA、GPT-J、GPT-NEOX等，支持多种量化方法（如FP32、BF16、INT8、INT4）。此外，自2.3.0版本起，还引入了模块级优化API，为定制模型优化提供了更多选项。

LLMTest_NeedleInAHaystack是一个用于评估长上下文语言模型检索能力的开源工具。通过在长文本中插入特定信息并要求模型检索，它可以测试OpenAI、Anthropic和Cohere等主流LLM的性能。该项目提供灵活的参数配置和结果可视化，有助于研究人员和开发者分析不同模型的上下文理解能力。

LLMsNineStoryDemonTower项目提供全面的大语言模型学习资源，涵盖NLP基础到高级应用的九个层次。内容包括ChatGLM、Baichuan、Llama2等主流模型实践，以及模型微调、推理加速和多模态应用等进阶主题。该项目为学习者构建了从理论到实践的完整大语言模型学习路径。

该项目收集整理了大语言模型(LLMs)领域的面试题和学习资料,内容涵盖基础知识、进阶技能、微调方法、LangChain应用等方面。通过详细的问答解析,帮助读者理解LLM的核心概念、训练技巧和参数高效微调等关键技术。项目为准备面试和深入学习大模型技术的人提供了全面实用的参考资源。

LLMs-cookbook项目提供大型语言模型的实用示例和指南。项目更新了支持多轮对话的GPT-3.5 API WebUI，并包含GPT-3.5 API微调实战教程。内容涵盖从基础API调用到高级模型微调，为开发者提供全面的LLM技术学习资源。