#LLM

该项目汇集大语言模型系统相关的学术论文、文章、教程和项目,涵盖预训练、推理服务、微调系统等多个方面。包括Megatron-LM、FlashAttention、vLLM等重要工作,还涉及LLM用于系统优化的研究。这一精选列表有助于研究者和开发者及时了解大语言模型系统领域的最新进展。

onnxruntime-genai是一个用于设备端高效运行大型语言模型的API。它支持Gemma、Llama、Mistral等多种模型架构，提供多语言接口。该项目实现了生成式AI的完整流程，包括预处理、推理、logits处理等。开发者可以使用generate()方法一次性生成输出或实现逐token流式输出。onnxruntime-genai为本地部署和运行LLM模型提供了简单、灵活、高性能的解决方案。

seqax是基于JAX的序列建模框架，面向小型到中型LLM预训练研究。它以500行简洁代码实现模型、优化器、多主机FSDP和张量并行分区，具备良好扩展性和性能。seqax注重代码可读性和透明度，使数学计算、内存使用和芯片间通信等关键细节清晰可见，便于理解和修改。

ProChat是一个基于React和Ant Design的AI聊天界面组件库。它提供自动聊天缓存、流畅对话、消息编辑和Markdown渲染等功能，简化了丰富动态聊天界面的开发过程。该开源项目支持现代浏览器，旨在完善企业级UI组件生态系统。

dl_note项目是一个综合性深度学习资源库，涵盖从数学基础到模型部署的全过程。内容包括神经网络基础、深度学习技巧、模型压缩、推理优化及大语言模型等。项目注重实际应用，提供详细代码解析和实战经验，适合深度学习技术的学习者和从业者参考使用。

该项目汇总了大语言模型在推荐系统中应用的优秀论文和资源。内容涵盖无调整和有监督微调两类方法,包括ChatGPT、GPT、LLaMA等模型在推荐领域的最新探索。项目还提供相关调查、教程和数据集信息,为研究人员提供全面参考。持续更新的内容反映了这一快速发展的研究热点,展现大语言模型在推荐系统中的潜力。

json-repair是一个修复大语言模型(LLM)生成的异常JSON数据的Go语言库。该项目无外部依赖，包含丰富的测试用例，能自动检测并修复多种JSON错误。支持的错误类型包括单引号、换行符和格式不正确的字符串等。json-repair提供命令行界面，方便集成到开发流程中。作为开源项目，它鼓励社区参与，不断提升JSON修复能力。

llmcord.py是一个开源的Discord聊天机器人项目，集成了多种LLM模型支持，包括OpenAI、Mistral API以及本地托管模型。用户可通过@机器人开始对话，支持图片和文本文件输入。项目特点包括基于回复的聊天系统、自定义系统提示、流式响应等。通过单个Python文件实现，代码简洁易用，为Discord用户提供了便捷的AI交互体验。

InsTag是大型语言模型监督微调数据分析工具,通过标记和分类用户查询,量化评估数据多样性与复杂性。该工具为研究人员提供模型训练优化依据,基于InsTag分析结果,仅需6K样本即可训练出TagLM模型。在MT-Bench评测中,TagLM表现优于多个开源LLM,凸显了InsTag在提升LLM训练效率方面的价值。

该项目汇总了中文大语言模型(LLM)领域的全面资源，包含数据处理、微调、推理和评估等多个环节的开源工具。资源库涵盖最新LLM技术，并收录RAG系统和AI代理等前沿应用。项目为LLM研究者和开发者提供了丰富的工具和信息，有助于推进相关项目的开发与应用。

CALM-pytorch是基于Google Deepmind研究的开源PyTorch实现，旨在通过组合多个专业LLM来增强大型语言模型的能力。该框架支持集成任意数量的增强型模型，提供灵活的连接配置和便捷的训练工具。CALM-pytorch可与多种Transformer架构兼容，包括视觉Transformer，为研究人员和开发者提供了一个强大的平台来探索和扩展LLM的潜力。不仅支持文本处理，还能整合视觉和音频模型，为多模态AI应用开发提供了强大支持。

Ollama AI是一个Ruby gem，为Ollama API提供便捷接口。此gem支持本地运行开源大语言模型(LLMs)，实现文本生成、聊天对话和嵌入向量等功能。它提供底层API访问，便于开发者构建高级抽象。支持流式输出和模型管理，并提供简洁的客户端接口。适用于需要在Ruby项目中集成本地LLM能力的开发者。

Vigil-llm是一款评估大型语言模型提示和响应安全性的开源工具。它集成了向量数据库、启发式规则、变压器模型等多种扫描模块，能够有效检测提示注入、越狱等潜在威胁。该工具支持本地和OpenAI嵌入，内置常见攻击签名库，可作为Python库或REST API使用，为LLM应用构建全方位的安全防护体系。

Self-Refine是一个创新的自然语言处理项目，利用大型语言模型(LLM)生成、评估和改进自身输出。通过迭代过程，LLM对自己的工作提供反馈并持续优化结果。该项目在缩写生成、对话响应和代码可读性改进等多个任务中展现了效果。这种自我完善方法为提升AI系统性能和可靠性开辟了新途径。

LLM4IR-Survey项目汇集了大语言模型在信息检索领域应用的相关研究论文。项目涵盖查询重写、检索、重排序、阅读理解和搜索代理等方向，全面展示大语言模型在信息检索各环节的应用。 该资源持续更新，反映最新研究进展和创新应用，为该领域的研究人员和从业者提供重要参考。

ChatKBQA是一个创新的知识库问答框架,采用生成-检索方法。该框架首先利用微调的大语言模型生成逻辑形式,再通过无监督检索替换实体和关系,有效提升了生成和检索效果。ChatKBQA解决了知识检索效率、错误传播和方法复杂性等问题,在WebQSP和CWQ基准测试中展现出优异性能。

AutoAgents项目通过思维链推理和信息搜索能力提升大语言模型的复杂问题解答水平。该项目展示了语言模型理解目标、制定计划、使用工具和输出结果的能力。目前重点开发Web搜索代理，并计划推出7B参数模型。用户可在Hugging Face平台体验演示或本地运行代理。未来发展方向包括构建高质量数据集、优化模型性能和扩展功能。

Fuzz4All是一个基于大语言模型的通用模糊测试框架。它利用LLMs生成和变异多样化的测试输入，适用于各种编程语言。该项目创新性地引入自动提示技术和LLM驱动的模糊测试循环，实现了针对多种语言和特性的通用测试。Fuzz4All支持自动生成任意输入，提供灵活的配置选项和详细的输出分析，为软件测试和安全研究领域提供了有力支持。

dropbox-ai-chat项目是一款面向Dropbox和OneDrive用户的AI驱动云存储文档管理工具，提供实时智能搜索和总结功能。这个开源项目支持大型非结构化文档的智能检索，利用OpenAI语言模型实现多文档搜索和新文件即时索引。用户可通过Docker、Conda或源代码三种方式部署，快速获取所需信息，显著提升文档管理效率。

这个项目是关于大型语言模型(LLM)在游戏智能体研究中应用的论文集。内容涵盖文字冒险、Minecraft、社会模拟等多种游戏类型,展示LLM在游戏规划、决策和交互方面的能力。项目定期更新,为研究人员提供LLM游戏智能体领域的综合资源,助力了解该领域的前沿进展。

该开源项目展示了如何使用Langchain和Streamlit创建多功能聊天机器人。项目涵盖基础对话、上下文感知、互联网访问、文档查询、SQL数据库交互和网站内容交互等应用场景。提供完整代码实现和在线演示，支持本地运行及Docker部署。对于想要学习如何利用语言模型构建实用AI应用的开发者来说，这是一个很好的参考资源。

LLMs-Planning项目包含PlanBench和大型语言模型规划能力分析两个子项目。PlanBench提供可扩展的基准测试，用于评估大型语言模型在规划和推理变化方面的表现。项目还对大型语言模型的规划能力进行了批判性调查，为自然语言处理和人工智能规划领域的研究者提供了重要参考。

Awesome-LLM-Tabular汇集了大型语言模型在表格数据处理领域的研究论文，涵盖数据表示、问答和推理等方面。项目提供论文详细信息、相关工作坊和博客文章，为研究人员提供全面的参考资源，助力快速了解该领域的最新进展。

本项目收集了关于大型语言模型(LLMs)在社会科学领域的评估和应用研究论文。内容涉及LLMs的价值观、人格、道德、观点和能力评估，以及其在社会科学工具改进、模拟和对齐方面的应用。项目还包括相关主题的综述和观点文章，为研究人员提供LLMs在社会科学中应用的全面概览。

该项目汇集大型语言模型(LLM)在图学习领域的最新论文和资源,将相关方法分为GNN前缀、LLM前缀、LLM-图集成和纯LLM四大类。项目提供详细分类说明和可视化图表,助力研究人员快速把握领域动态。内容定期更新,欢迎社区贡献,是LLM与图学习交叉研究的重要参考。

AI.JSX是一个基于JavaScript和JSX的AI应用开发框架。该框架集成了先进的提示工程工具，支持LLM渲染React组件，兼容OpenAI、Anthropic等多种模型。AI.JSX内置工具和文档问答功能，支持生成式UI，可用于独立LLM应用或大型React项目。框架具备流式处理能力，适配现代Web技术栈，并与LangChainJS无缝集成，为AI应用开发提供全面解决方案。

VARBook是一个变量命名辅助工具，专注于帮助中文开发者规范变量命名。它结合了大语言模型和知识库技术，基于GitHub和Gitee的优质代码库进行训练。工具目前已学习29.47万个高质量变量名，能够提供规范化和定制化的命名建议，有助于提高代码可读性和一致性。VARBook还支持快捷键操作，方便开发者高效使用。

OmniChain是一个为AI语言模型设计的可视化编程工具。它提供直观界面，便于构建和管理AI模型链。该工具支持多种LLM后端，提供API和示例，简化AI开发过程。OmniChain适用于开发从基础聊天机器人到复杂AI应用的各类项目。

Selective Context是一种创新上下文压缩技术，能使大语言模型处理内容量提升一倍。该技术利用基础语言模型计算词句自信息，评估信息量，实现长文档和长对话的高效处理。项目提供完整代码实现、数据集和多项实验评估，已获EMNLP 2023会议认可。此上下文压缩技术适用于需要处理大量文本数据的场景，如智能客服、文档分析等。用户可通过pip安装，便捷集成到现有大语言模型项目中，显著提升处理效率。

TestPilot 是一个开源项目，利用大型语言模型为 JavaScript/TypeScript npm 包自动生成单元测试。该工具通过向 LLM 提供函数信息来生成测试骨架，并将结果转换为可执行的单元测试。TestPilot 无需额外训练或强化学习，为测试生成领域提供了新的研究方向。目前主要用于学术研究和技术探索，而非日常开发使用。

Podman AI Lab是Podman Desktop的开源扩展，为开发者提供本地LLM开发环境。它包含AI用例配方目录、精选开源模型和实验playground，支持GGUF、Pytorch和Tensorflow等格式。该扩展提供模型服务、实验环境和AI应用配方，适用于聊天机器人、代码生成等场景，既确保数据隐私安全，又便于快速将AI引入应用开发。

gptstudio是一个R语言包，旨在将大型语言模型(LLMs)集成到R开发工作流中。它支持多个AI服务提供商，如OpenAI、HuggingFace和Anthropic。开发者可通过API设置使用代码补全、文本生成等AI功能。该工具注重提高开发效率，并考虑了数据隐私和安全性。gptstudio为R语言开发者提供了一种便捷的方式来利用AI技术增强编程能力。

llama-github是一个基于用户查询从GitHub检索代码片段、问题和仓库信息的工具，可将检索结果转化为知识上下文。它具备智能检索、仓库缓存、问题分析、上下文生成和异步处理等功能，适用于集成到LLM聊天机器人、AI代理和自动开发系统中，有助于解决复杂编码任务。

gptel是一款为Emacs设计的LLM客户端，支持ChatGPT、Azure、Ollama等多种模型和后端。该工具可在Emacs任何缓冲区中使用，具备异步响应、流式输出和多会话等功能。gptel允许保存和恢复聊天记录，编辑历史提示和回复，并支持自定义工作流程。作为Emacs的扩展，gptel为用户提供了灵活的LLM交互体验。

DistiLlama是一款Chrome扩展，利用本地运行的LLM实现网页内容摘要和智能对话。该扩展基于Ollama和LangChain.js，支持网页内容提取和PDF文档交互，并可自定义模型配置。DistiLlama将所有LLM调用保持在本地，确保数据隐私。目前，开发团队正在优化性能，计划未来添加TTS支持和多模态能力等功能。

Visual Med-Alpaca是一个参数高效的开源生物医学基础模型，集成了多模态能力。基于LLaMa-7B架构，该模型通过指令微调和视觉模块扩展，可执行放射影像解读和复杂临床问答等任务。仅需一张消费级GPU即可运行，为生物医学领域提供了灵活高效的AI研究工具。该项目仅供学术研究使用。