#开源项目

此项目利用Alpaca-CoT平台，集合和整理多种表格智能任务的数据集，并对现有的大型语言模型进行微调，以提升其对表格数据的理解和处理能力。主要涵盖表格问答和表格-文本生成等任务。项目提供开源训练代码和格式统一的表格数据，并开放训练模型，助力研究者复现及优化表格智能任务。

本页面收录了大语言模型推理相关的论文和资源，涵盖技术方法如完全监督微调、提示与上下文学习、混合方法，以及详细的评估和分析。用户可以浏览各类调查报告和技术论文，了解如何提升大模型的推理能力，并参考领域专家的讨论提供的重要见解。

NeMo Curator 是一款专为大型语言模型（LLM）设计的开源Python库，通过结合Dask和RAPIDS等技术，实现GPU加速的数据集准备与管理。其功能包括数据下载、语言识别、文本清理、质量过滤、文档去重和个人信息保护等模块，为多种LLM任务提供快速、灵活和可扩展的解决方案，显著提升数据处理效率与模型质量。

llm-strategy通过连接LLMs（例如OpenAI的GPT-3），实现Python抽象方法的自动执行。该工具利用doc字符串、类型注解和方法名生成提示，引导LLM执行方法并将结果转换为Python数据类。此项目不仅减少了代码编写，还能够自动解析结构化数据。此外，它还支持超参数跟踪和LLM执行轨迹收集，进行元优化。

Tenere是一款用Rust编写的TUI界面工具，支持ChatGPT、llama.cpp和ollama等多种LLM。主要特点包括语法高亮、聊天历史记录保存、文件保存和Vim键绑定。提供多种安装方式，支持Windows、macOS和Linux系统的个性化配置，便利开发者高效工作。

DownEdit是一款实用程序，可从TikTok、抖音、快手等社交平台下载视频并进行批量编辑。该工具提供视频水平或垂直一键翻转功能，并支持视频、照片、声音的AI批量生成与编辑，显著提升内容创作效率。更多功能即将上线，敬请关注。

AIKit是一个全方位平台，专为快速部署、构建和微调大型语言模型（LLM）而设计。它支持OpenAI API兼容的推理和灵活的微调接口，无需GPU即可使用。AIKit还支持多模式模型、图像生成、多平台CPU和GPU加速推理以及Kubernetes部署，简化了开发流程并确保供应链安全，适用于各种环境。

Kss提供多种韩语字符串处理功能，适用于自然语言处理、数据预处理和数据分析等领域。工具设计简洁易用，支持分词、关键词提取、拼音转换等模块，用户可通过简单代码调用实现复杂字符串操作。Python、Java等多种编程语言兼容性强，并支持良好的向后兼容。

mergoo是一款工具库，用于高效合并和训练不同领域的LLM专家。支持Mixture-of-Experts、多层合并以及多种训练平台。适配Llama、Mistral、Phi3及BERT模型，兼容CPU、MPS和GPU设备。提供灵活配置及多种训练器支持，包括Hugging Face Trainer和PEFT，以便模型合并与微调。

此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示，无需torch或transformers，适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整，并提供导出混合精度和TVM转换的详细步骤，适用于嵌入式设备和分布式系统的大语言模型部署和推理。

lmstudio.js库在JavaScript和Node.js环境中实现本地大语言模型的加载和使用。支持CLI工具的快速安装，模型的预设配置与自定义，跨域资源共享和守护模式。提供详尽的API示例，涵盖模型加载、文本补全、对话和结构化输出功能，适合开发Web应用及定制LLM使用场景的开发者。

GeniA是一个开源AI平台助手，能够在生产环境中执行多种任务。结合最新的行业最佳实践，GeniA快速适应团队需求，并在Slack频道内提供支持。从部署、故障排除到资源优化和安全检查，GeniA助力团队更快前行。

LASER技术通过选择性替换LLM权重矩阵的低秩近似值，在无需额外训练的情况下显著提升问答任务性能。本项目提供了多个LLM和基准支持的代码，并通过示例展示如何运行实验。最新更新包括结果表和讨论页面，2024年1月将进行代码重构，以提高灵活性和易用性。

Loz是一款命令行工具，使用自然语言执行Linux命令并且与Unix工具集成。最新版v0.3.1新增了Git提交日志存储和控制提交信息生成标记的功能。支持OpenAI API和Ollama，可切换LLM服务，并提供安全模式以保障命令执行安全。

funcchain利用pydantic模型和langchain轻松构建认知系统，支持OpenAI Functions和LlamaCpp语法，实现高效结构化输出。它还提供对视觉LLM和本地模型的无缝集成，具备强大的错误处理机制、动态输出类型和简洁的模板系统，适合多种应用场景。

X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。

活字3.0是一个支持32K上下文的稀疏混合专家模型，具备中英文知识、数学推理和代码生成能力，并在指令遵循和安全性上有所提升。项目开源了中文MT-Bench数据集，支持多种推理框架如Transformers、vLLM和llama.cpp，为自然语言处理研究和应用提供更多选择。

model.nvim通过Lua编程实现AI模型的自定义提示和聊天功能。支持多种供应商，包括OpenAI ChatGPT、Google PaLM、llama.cpp等，以及本地模型。特点包括异步和多步提示、流式代码补全和多模型聊天功能，适用于那些想要定制化提示和尝试多种AI模型的用户。

ByteIR是ByteDance推出的端到端模型编译解决方案，包括编译器、运行时和前端组件。该项目采用多种上游MLIR方言和Google Mhlo，提供兼容的编译过程，允许灵活混用ByteIR与上游MLIR的passes。ByteIR支持Tensorflow、PyTorch、ONNX等前端，能将SOTA模型转化为Stablehlo。目前处于早期阶段，目标是为深度学习加速器及通用CPU和GPU提供必要的模块和基础设施。

ChatLLM.cpp项目支持从1B到300B多种模型的高效推理，适用于本地电脑的实时聊天。通过优化的KV缓存和并行计算提升内存使用效率，并提供int4/int8量化以减少内存占用。该项目基于ggml库实现，支持Retrieval Augmented Generation、LoRA以及Python和JavaScript绑定等功能。发布了多种最新模型和工具调用，适合深度学习和自监督学习研究者。

该项目使用单个Java文件实现Llama 3和3.1模型推理，源于llama2.java和llama2.c，具有教育价值并专注JVM编译器的优化测试，尤其是Graal编译器。项目无依赖，支持GGUF格式解析、Llama 3标记器及多种量化模型。提供--chat与--instruct的CLI模式，推荐使用OpenJDK 21+以充分利用Java Vector API提升性能。

SimpleAI项目提供自托管的AI API替代方案，可快速试验文本补全、聊天、编辑和嵌入等主要端点。支持多种响应模式，通过gRPC协议实现多语言的模型推理分离，降低对特定API提供商的依赖。项目包含多种示例和详细的安装使用指南，适合开发者构建、测试和优化自己的AI应用。

MMMU是一个新型基准测试，设计用于评估多模态模型在多学科任务中的表现，特别是需要大学水平的学科知识和深思熟虑的推理能力。该基准包含11.5K道来自大学考试、测验和教材的多模态题目，覆盖艺术设计、商业、科学、健康医学、人文社会科学及技术工程六大领域。不同于现有基准，MMMU专注于高级感知和领域特定知识的推理，挑战模型执行专家级任务。评估14个开源LMM和GPT-4V(ision)显示，即使是最先进的模型其准确率仅为56%，表明有巨大改进空间。

Promptulate是由Cogit Lab开发的AI Agent应用开发框架，采用简洁高效的Python开发方式。它支持多种大型模型和自定义需求，并提供丰富的生命周期管理和Hook功能。便捷的工具转换和集成、智能规划和推理功能，使开发者无需深入学习框架即可快速完成任务。同时，Promptulate提供Streamlit组件集成与Prompt缓存机制，大幅提升开发效率。

Stable Diffusion 3.5大型快速版是一款基于多模态扩散变换器架构的高效文生图模型。它采用对抗性扩散蒸馏技术和三个预训练文本编码器，仅需4步即可完成推理。该模型在图像质量、文本理解、字体渲染和资源效率方面均有显著提升，适用于艺术创作、教育工具和生成模型研究等领域。模型遵循严格的安全准则和使用政策，为用户提供可靠的AI图像生成解决方案。

harbour-amazfish是一款开源的智能手表伴侣应用，支持Huami和Pinetime Infinitime等多种设备。它提供通知推送、通话提醒、活动追踪、固件更新和自定义表盘等功能。该应用采用蓝牙低功耗技术通信，并将活动数据存储在SQLite数据库中，便于用户分析。harbour-amazfish适用于Sailfish操作系统，为智能手表用户提供了丰富的功能选择。

Autonomous Agents项目每日更新研究论文，涵盖大模型推理计算、递归多代理系统、身份生成等多个领域。该项目致力于通过推理计算优化、任务环境生成和工具管理等方式，提高自主代理人的效率与功能。每篇论文经过评审，展示了LLM模型在角色模拟、法律咨询和心理健康咨询等领域的应用。了解最新技术和实际案例，洞见自主代理人的发展趋势。

Barcenas-Llama3-8b-ORPO是一款经ORPO方法优化的语言模型，基于Llama-3-SauerkrautLM-8b-Instruct开发。通过整合dolphin-sft数据集和GPT-4增强的对话数据，该模型在对话交互方面实现了显著提升。这一开源项目源自墨西哥新莱昂州，为AI开发者提供了新的模型选择。

Splade_PP_en_v1是一个文本分类和相似度搜索模型的ONNX实现版本。模型基于FastEmbed框架运行，可将输入文本转换为稀疏向量表示，适用于文本检索和相似度计算。项目支持Python API接口调用，可进行批量文本处理，采用Apache-2.0开源许可证。

uroman是一款多语言通用罗马化工具，可将各种文字系统转换为标准拉丁字母。支持希腊语、印地语、乌尔都语和中文等多种语言，不仅进行字符替换，还能处理上下文和语言特定规则。提供Python和Perl版本，可通过命令行或Python库使用，适用于文本处理和语言分析任务。

本文档收录了关于大型语言模型（LLMs）规划能力的多篇研究论文，涵盖零样本规划、复杂推理、多模态程序规划和交互规划等领域。读者可以获得每篇论文的详细摘要、代码链接及其会议信息，如ICML、ICLR、AAAI和NeurIPS。这是研究和应用LLMs任务规划的必备资源，帮助学者和开发者了解最新进展和应用案例。

Agent-FLAN通过重新设计训练数据，使Llama2-7B在多个代理评估数据集上表现出色，并减轻了模型的幻觉问题。该项目利用AgentInstruct和Toolbench进行了综合优化，显著提升了大型语言模型的代理能力。发布的模型及数据集可在Huggingface和OpenXLab上获取。

PlotAI是一个可以利用大型语言模型生成Python和Matplotlib图表的工具。用户提供输入数据和提示，PlotAI生成代码并展示图表。支持Python脚本和多种Notebook环境。安装后，通过提供OpenAI API密钥即可快速启动，并可选择不同的OpenAI模型进行绘图。

基于Transformer架构的中文文本向量模型，支持句子相似度计算、文本分类、检索和重排序功能。在MTEB中文基准测试中完成了医疗问答、电商等领域的评估，支持中英双语处理，采用Apache-2.0开源许可证。

详尽介绍大型AI语言模型最新进展及开源资源，包括训练代码、数据集和预训练权重。收录Baichuan、Falcon、OpenLLaMA等模型，并关注开源与分布式训练框架如PyTorch和XLA生态。提供全面资源链接，帮助研究人员和开发者了解当前AI模型的最前沿动态。

此页面汇总了开源的指令调优数据集、模型、相关论文和资源库的精选列表。涵盖传统NLP任务修改的数据集、大型语言模型生成的数据，还包括跨语言翻译工具和研究论文链接。对于研究和应用指令调优技术的研究人员、开发者和数据科学家，这是一个重要的参考资源。