#LLM

Salute是一款JavaScript库，提供了声明式控制大语言模型（LLMs）的方式，结合了Microsoft Guidance和React的优点，适合开发者快速上手。透明提示操作，支持类型检查、语法高亮和自动补全，只需安装并配置OpenAI API密钥即可使用。

本项目汇总了ChatGPT和OpenAI相关的资源和工具，包括文档、示例、用户界面、集成、SDK库和框架以及基于ChatGPT的应用程序等。用户可以找到适用于桌面应用、浏览器扩展、移动应用和命令行界面的软件。项目还收录了关于大语言模型和知识图谱的论文和资源，适合开发者、研究者和AI爱好者使用。

介绍LangChain学习笔记，包括数据连接、模型IO、代理和内存等核心组件的使用。提供中英文示例，解析LangChain与ChatGPT和ChatGLM的兼容性，并介绍基于LangChain的复杂任务解决方案。探讨LangChain的问题与限制，并提供领域微调、工具链整合和检索优化的方法，帮助深入理解和应用LangChain技术。

这是一款经过反向工程的API封装，提供对多种大型语言模型（LLM）的免费访问，包括OpenAI的ChatGPT和Cohere的Command Nightly。用户可以下载模型、生成文本和聊天消息，自定义参数并进行流式传输。支持使用代理，但目前不支持认证和高级模型。

WikiChat利用维基百科和七阶段管道，提高ChatGPT和GPT-4等大语言模型的回答准确性，特别适合查询最新或冷门知识，减少幻觉问题。WikiChat还获得了2024年维基媒体研究奖，并推出了多个优化方案。

利用大语言模型（LLM）自动生成代码文档，无需担心数据泄露，支持Python、Java、Rust等多种语言。可本地运行或通过OpenAI及Azure OpenAI使用，集成langchain、treesitter、lama.cpp等开源项目，高效且精确。安装便捷，支持pipx隔离环境，也可直接从PyPI安装。

AI Commits插件使用git diff和多种LLM自动生成提交信息。兼容IntelliJ系列IDE和Android Studio，可通过预设变量和提示自定义提交信息。支持多种LLM模型如OpenAI、Ollama等，安装简便，提供详细使用指南，帮助开发者高效管理代码提交。

一个主要测试大型语言模型(LLM)通过自然语言查询SQL数据库能力的实验性应用程序。需要在.env.local文件中添加OPENAI_API_KEY才能使用。页面提供了清晰的安装和运行指南、示例数据库以及实际操作的视频演示，帮助用户快速入门。

DiscovAI通过向量搜索、Redis缓存和大语言模型，为用户提供快速且精准的AI工具搜索服务。无需注册即可免费体验。采用Next.js、Vercel AI SDK、Supabase、Pgvector和Upstash等技术，确保界面友好、导航便利。适用于AI爱好者、开发者和研究人员，帮助轻松找到所需的AI工具和解决方案。

此存储库提供了实现OpenAI API的开源模型，包括聊天、音频和图像功能。用户可以通过`openai`或`LangChain`库与这些模型交互。指南详细介绍了依赖项安装、前端获取、环境变量设置、手动下载模型权重以及启动服务等步骤。项目支持多种语言模型、嵌入模型、扩散模型和音频模型，用户可根据需求选择访问所需服务。

Langchain.rb使用Ruby构建LLM驱动的应用程序，支持深度Rails集成。提供统一接口，兼容多种LLM提供商如OpenAI、GooglePalm、Cohere等，以及向量搜索数据库如Chroma、Pinecone和Weaviate。功能涵盖提示管理、输出解析、RAG系统构建等，并提供付费咨询服务，了解更多请联系开发者。

BigDL提供多种库，用于扩展和加速数据分析与AI应用。主要功能包括分布式大数据和AI的Orca，加速TensorFlow和PyTorch的Nano，深度学习的DLlib，时间序列分析的Chronos，推荐系统的Friesian以及安全大数据和AI的PPML。这些功能使AI应用可以从本地计算机无缝扩展到云端，实现高效分布式数据处理和深度学习开发。

《统计学习方法-李航：笔记-从原理到实现》是一个200页的详细笔记，包含了手推公式详解和基于R的代码实现。PDF文件涵盖了统计学习的基本概念、算法细节以及模型应用，能够提升学习效率。结合《统计学习方法》一书，提供了一种高效的学习路径，是理解统计学习理论与实践的实用资源。

lighteval是一款轻量级LLM评估套件，兼容datatrove和nanotron库，支持CPU和多GPU环境，能处理超大模型。多任务配置允许自定义和社区任务，具备数据并行、管道并行及Hugging Face Hub集成功能。适用于复杂模型配置和推理端点。

本教程全面介绍如何通过三阶段流水线设计来训练、部署和推理一个实时金融顾问系统。课程包括加载金融Q&A数据集、微调开源LLM以及构建实时特征管道和推理管道，并介绍如何使用Alpaca、Qdrant、Comet ML和Beam等外部服务进行集成。通过视频讲解、文章和模块化代码，逐步掌握流程，即使硬件不足，也可在Beam的无服务器基础设施上进行训练和推理。

Synthesizer是一个通用的LLM框架，支持通过LLMs生成定制数据集，快速进行RAG集成，且设置简便。它内置的RAG供应商接口支持与Agent Search API无缝集成，适用于LLM训练和数据增强。用户可访问官方文档获取详细信息、教程和API参考，并在Discord社区中讨论。

该项目提供灵活的平台，用于设计和优化人类意识的损失函数，旨在大规模地与离线人类反馈对齐大型语言模型。通过模块化数据加载和训练架构，支持包括KTO、PPO等多种损失策略，并提供基于GPT-4的开放式评估功能。建议阅读项目的技术报告和完整论文以获取更多信息。

现在可以自托管Willow Inference Server，快速实现语言推理任务。支持与Willow和其他应用的集成，包括语音转文本（STT）、文本转语音（TTS）、大语言模型（LLM）等功能。访问Github discussions分享体验，访问heywillow.io查看详细文档。

关注最新的AI游戏开发工具，如大型语言模型(LLM)、自主Agent、代码生成、写作助手、图片生成、纹理处理、着色器、3D模型、动画、视频、音频、音乐、歌声和数据分析。项目包括AgentGPT、AICommand、Auto-GPT、BabyAGI、ChatGPT-API-unity等。支持Unity和Unreal Engine的专用集成工具，还提供多种开源项目和学术研究链接，帮助开发者高效创建和优化AI驱动的游戏内容。

Open Interpreter是一款创新型AI工具，允许在本地环境中运行多种编程语言代码。它提供类似ChatGPT的终端界面，支持通过自然语言与计算机交互，完成图像处理、网页爬虫、数据分析等复杂任务。相比受限的在线服务，Open Interpreter具有更强的灵活性和功能性，是一个功能强大的本地AI编程助手。

LookaheadDecoding项目开发了一种创新的并行解码算法，旨在加速大型语言模型(LLM)的推理过程。该方法不依赖草稿模型或数据存储，而是结合Jacobi迭代和n-gram缓存技术，有效减少解码步骤。实验结果显示，在多个数据集上可将延迟降低1.5到2.3倍。项目提供便捷的安装和使用方式，并支持FlashAttention技术，可广泛应用于各类LLM场景。

LLM101n深度学习课程从零教授构建AI讲故事模型。内容涵盖语言建模、机器学习、Transformer架构等核心知识，指导学员开发功能完善的Web应用。课程采用Python、C和CUDA编程，适合具备基础计算机科学知识的学习者。除核心AI技术外，还包括分布式优化、量化推理、微调等高级主题，以及多模态AI应用开发。通过实践，学员将掌握AI、大型语言模型和深度学习原理，能够独立创作、优化并为小故事配图。

llamafile项目将开源语言模型(LLM)封装为单个可执行文件，无需安装即可在本地运行。它集成了llama.cpp和Cosmopolitan Libc，支持跨平台使用，并提供Web界面和OpenAI兼容API。该框架简化了LLaVA、Mistral等多种LLM的部署流程，方便开发者和用户快速访问和应用这些模型。

Awesome-LLM4IE-Papers项目收录了大型语言模型在信息抽取领域的前沿论文。涵盖命名实体识别、关系抽取和事件抽取等任务，以及监督微调、少样本和零样本学习等技术。项目还包括特定领域应用、评估分析和相关工具。通过持续更新，为研究人员提供LLM驱动的信息抽取最新进展，促进该领域的学术交流与技术创新。

LLMPerf是一个评估大语言模型API性能的开源工具。它通过负载测试和正确性测试来衡量模型的响应延迟、生成吞吐量和输出准确性。该工具支持OpenAI、Anthropic、TogetherAI等主流LLM API,并可扩展适配新API。LLMPerf采用Ray框架处理并发请求,能够模拟实际负载环境。开发者和研究人员可利用LLMPerf便捷地评估和对比不同LLM API的性能表现。

LLM-App-Stack项目汇总了构建大语言模型应用所需的各类工具和服务。该资源集合涵盖数据管道、嵌入模型、向量数据库、编排工具和API插件等关键组件。项目同时整合了专有和开源的LLM API，以及应用托管平台和云服务选项，为开发者提供了全面的技术栈参考。这一资源库旨在帮助开发者更高效地构建和部署智能应用。

vocode-core是一个开源框架，专注于简化语音对话LLM应用的开发过程。该框架提供了直观的抽象和丰富的集成，支持开发者快速实现实时语音交互、电话通话和视频会议等功能。它兼容多种转录、大语言模型和语音合成服务，同时提供详细文档和入门指南，适用于构建个人助手等多样化的语音交互应用。

NeMo Guardrails是一个开源工具包，为基于LLM的对话应用添加可编程安全护栏。它支持五种类型的护栏，兼容多种LLM模型，并引入Colang语言设计对话流程。工具包提供内置护栏库、CLI工具、服务器功能、LangChain集成和评估工具，帮助开发者构建可靠安全的LLM应用。

本项目提供Local-LLM全面指南，深入剖析大语言模型背景、开源LLM利弊、在线与本地LLM对比及应用场景。详述LLM运作机制、应用差异和在线使用挑战。指南助力用户选择合适LLM方案，尤其适合本地部署LLM的开发者和研究人员参考。

llm.c是一个使用纯C和CUDA实现的高效轻量级语言模型训练框架。该项目不依赖PyTorch或cPython等大型框架，通过简洁代码实现GPT-2和GPT-3系列模型的预训练。llm.c支持单GPU、多GPU和多节点训练，提供详细教程和实验示例。项目在保持代码可读性的同时追求高性能，适用于教育和实际应用。此外，llm.c支持多种硬件平台，并有多个编程语言的移植版本。

这是一个基于自反式工作流的机器翻译演示项目。通过大型语言模型实现翻译、自我反馈和改进，具有高度可定制性。它支持调整输出风格、处理特殊术语和适应地区用语。虽然整体性能与商业产品相当，但在某些场景下表现优异。该项目支持多语言翻译，适用于正式/非正式文本、专业术语和地区方言的翻译需求。作为代理式翻译的起点，它为翻译研究和开源社区提供了新的可能性，欢迎贡献者参与改进和扩展。

Omost是一个将大型语言模型的编码能力转化为图像合成能力的开源项目。它提供基于Llama3和Phi3的预训练模型，通过虚拟Canvas代理生成图像。项目使用多样化的训练数据，包括真实标注、自动提取数据、强化学习和GPT4多模态能力调优，以提升图像生成质量。

fsdp_qlora项目结合FSDP与量化LoRA,实现了在有限显存GPU上高效训练大型语言模型。支持HQQ和bitsandbytes的4位量化、LoRA、DoRA等多种策略,大幅降低内存占用。项目提供详细文档,便于快速上手使用。该方法使在消费级GPU上训练70B参数模型成为可能,为大模型研究提供了实用工具。

本项目综述了大语言模型在多模态生成和编辑领域的应用。涵盖图像、视频、3D和音频等多种模态，重点介绍基于大语言模型的技术。同时探讨多模态代理、理解和安全性问题。为研究人员提供全面资源，展示大语言模型在多模态内容创作中的最新进展。

Notus是一个采用SFT、DPO等技术微调的AI模型集合，专注于数据优先和以人为本的方法。这些模型主要用作聊天应用中的智能助手，通过Chat和Academic基准评估性能。Notus在HuggingFace Hub上提供多种规模的模型和交互式聊天界面。该项目整合了开源社区的贡献，为AI助手的研发提供重要资源。

该项目提供一系列大语言模型实践教程，涵盖模型微调、部署、提示学习、知识编辑、水印技术等多个前沿主题。通过动手实践，学习者可快速掌握大模型技术，为相关课程和研究奠定基础。教程内容源自上海交通大学课程，适合AI爱好者和研究人员学习使用。