#自然语言处理

本项目汇集大型语言模型(LLM)领域的研究综述,涵盖通用调查、对齐、提示学习和推理等多个方面。内容全面概览LLM最新进展、挑战和未来方向,同时讨论社会影响和安全性等议题。项目为研究人员和从业者提供深入了解LLM技术的重要参考资源。

AGIEval是一个评估AI基础模型人类认知能力的综合基准。它包含20个源自高标准入学和资格考试的任务，涉及多个领域。AGIEval提供完整数据集、基线系统评估和详细评估方法，是衡量AI模型综合能力的权威工具。最新版本支持多语言评估，并设有完整排行榜，为研究人员提供了全面的AI模型能力评估平台。

项目汇集了文本到图像生成与编辑技术的各类资源,包括定量评估指标、训练数据集、开源代码实现及相关学术论文。内容全面且持续更新,涵盖该领域最新进展,可为研究人员和开发者提供有价值的参考信息。

RedPajama-Data-v2是一个包含30万亿tokens的开放数据集，用于训练大型语言模型。该数据集涵盖了超过100B的文本文档，来源于84个CommonCrawl快照。它包含英语、德语、法语、意大利语和西班牙语5种语言的内容，并提供多种质量信号和去重处理。项目提供完整的数据处理流程，包括准备工件、计算质量信号和去重等步骤，为语言模型研究提供高质量的大规模语料资源。

ShenNong-TCM-LLM是基于LlaMA的中医药大规模语言模型，采用实体为中心的自指令方法和中医药知识图谱生成指令数据。该模型旨在提升人工智能在中医药领域的知识和回答能力，推动大模型在传统医学中的应用。ShenNong-TCM-LLM能回答中医药问题，提供中医诊断和治疗建议，在中医药领域展现出优秀性能。

KR-BERT是首尔国立大学开发的韩语特定BERT模型，采用双向WordPiece分词技术，支持字符和子字符级处理。该模型在词汇量和参数规模上经过优化，在多项下游任务中表现出色，为韩语自然语言处理提供高效准确的解决方案。

WebCPM项目通过交互式网络搜索技术解决中文长篇问答任务。其开发的搜索界面收集用户行为数据，用于微调大规模预训练语言模型。该模型能够模拟人类搜索过程，生成基于事实的长答案。项目开源了全套资源，包括搜索界面、数据集、代码和模型参数，为自然语言处理领域研究提供支持。

Eurus是一套专为复杂推理任务优化的开源大语言模型套件。在覆盖5个任务领域的12项测试中，Eurus-70B模型超越了GPT-3.5 Turbo的表现。该模型在LeetCode和TheoremQA等基准测试中取得显著进步，性能大幅领先于其他开源模型。Eurus项目还包括UltraInteract数据集和Eurus-RM-7B奖励模型，为推理任务提供全面解决方案。

nxtp项目开发了一种创新的物体识别方法，将任务转化为下一标记预测。该技术利用语言模型嵌入扩展预测空间，实现开放式标签生成。通过自回归处理和高效采样，nxtp可进行大规模标签预测，如生成前100个最可能的标签。这一方法无需预定义标签集，为计算机视觉领域的物体识别提供了更灵活的解决方案。

InstructUIE是一个基于Flan T5预训练模型的指令微调框架，致力于统一信息抽取。该项目通过自定义数据集微调，实现多种信息抽取任务的统一处理。InstructUIE提供完整的训练和评估脚本，并开放预训练模型下载，为自然语言处理研究和应用提供有力支持。

ParlAI是一个综合性的对话研究和开发平台。该框架集成了100多个对话数据集,涵盖开放域聊天、任务导向对话及视觉问答等多个领域。ParlAI提供了丰富的参考模型和预训练模型,支持与众包平台和即时通讯应用的集成,并具备创建自定义智能体和多任务训练的功能。其多模态支持为研究人员提供了便利的对话系统研究环境。

该项目收集了大语言模型(LLM)领域的重要论文,主要聚焦推理和模型压缩技术。涵盖Transformer架构、基础模型、位置编码等多个关键领域的研究成果。为LLM技术发展和优化方法的研究提供了全面的参考资料。

AutoAct是一个创新的智能体学习框架，无需大规模标注数据或闭源模型。该框架通过自主规划合成轨迹，并自动分化子智能体群组完成任务。实验结果显示，AutoAct在多种语言模型上的表现与强基线相当或更优。这种方法为智能体学习提供了高效、可复现的新途径。

LLM-Workshop 是 Sourab Mangrulkar 创建的大语言模型工作坊。该项目为开发者和研究人员提供 LLM 技术学习平台，内容包括模型训练、调优技巧、应用开发等。工作坊旨在帮助参与者掌握 AI 和自然语言处理领域的实用技能，适合想要深入了解大语言模型技术的人员参与。

Monarch Mixer是一种创新的子二次GEMM架构，用于训练序列长度和模型维度均为子二次的语言模型。该架构使用Monarch矩阵层替代Transformer中的注意力和MLP操作，提高了计算效率。基于此架构的M2-BERT模型在减少25%参数和计算量的同时，在GLUE基准测试中达到了与BERT相当的性能。项目开源了预训练模型权重以及预训练和微调代码，方便研究者进行further研究。

OpenChatKit是一套功能全面的开源工具包,用于开发专业和通用对话模型。它集成了指令微调的语言模型、内容审核模型和可扩展检索系统。该项目提供训练、微调和测试各种规模模型的代码,并支持检索增强功能。OpenChatKit基于OIG-43M数据集训练,由Together、LAION和Ontocord.ai联合开发。这一灵活的基础设施为开发者构建定制对话应用提供了便利。

Awesome-Foundation-Models项目提供视觉和语言基础模型的精选资源列表，涵盖最新研究论文、综述文章和开源代码。内容包括图像、视频和多模态等领域，助力研究者和开发者追踪前沿进展、了解研究动态和寻找实用实现。该资源库为人工智能领域提供全面而权威的参考。

StarCoder2是一系列代码生成模型，包括3B、7B和15B参数规模。模型在600多种编程语言和自然语言文本上训练，使用分组查询注意力机制，具有16,384个token的上下文窗口。支持代码补全、多GPU部署和量化推理，提供使用说明和微调指南。StarCoder2在代码生成任务中表现优异，是开发者的有力工具。

MindGraph是一个开源的图形化CRM原型项目，专注于自然语言交互功能。该项目采用Python开发，具备实体管理、集成触发和搜索等功能。它使用schema驱动方法创建知识图谱，支持多种数据库集成。MindGraph提供图形可视化和动态数据交互的前端界面，为开发者提供了灵活的CRM开发基础。

MTEB是一个开源的文本嵌入模型评估基准，涵盖多种任务类型和语言。它提供标准化的测试集、灵活的评估配置和公开排行榜。研究人员可以使用MTEB评估自定义模型，添加新任务，并进行模型性能比较，从而推动文本嵌入技术的进步。

fairseq2是由Facebook AI Research开发的序列建模工具包，作为fairseq的后续版本，为研究人员和开发者提供了强大的自定义模型训练功能。它支持包括LLaMA系列、Mistral 7B和NLLB-200在内的多种先进模型，可用于翻译、摘要和语言建模等任务。fairseq2提供Linux和macOS的预构建包，兼容多种PyTorch和CUDA版本，为序列建模研究和应用提供了灵活的解决方案。

ColBERT是一种基于BERT的检索模型，能在数十毫秒内实现大规模文本集合的高效搜索。该模型采用细粒度的上下文后期交互技术，将段落编码为令牌级嵌入矩阵，在保持检索质量的同时提高效率。ColBERT具备索引、检索和训练功能，适用于多种信息检索任务。模型提供预训练checkpoint和Python API，方便研究人员和开发者在实际项目中快速应用。

ByT5作为mT5模型的无词元化版本，通过直接操作UTF-8字节实现了文本处理的简化。研究表明，ByT5在多种任务中与mT5旗鼓相当，并在处理噪声文本和对拼写发音敏感的任务中表现更为出色。该项目不仅开源了完整的模型训练、微调和评估代码，还提供了从小型到超大型的多个预训练模型检查点，为推动自然语言处理技术向无词元化方向发展做出了重要贡献。

semchunk是一个高效的Python文本分块库，能将文本分割成语义连贯的片段。与同类库相比，它在语义准确性和处理速度方面都有显著提升。该库采用先进的分块算法，兼容多种分词器和token计数工具，可处理单条或批量文本，并支持多进程加速。semchunk适用于大规模文本处理和各类自然语言分析任务。

Ciphey是一款智能解密工具,集成自然语言处理和人工智能技术,可快速破解多种加密和编码。支持50多种加密算法,包括经典和现代密码。采用AI模块和语言检测,能在短时间内识别加密类型并解密。效率高于同类工具,适用于密码分析和CTF竞赛。

mistral-common是一套简化Mistral模型使用的工具集。它提供三个版本的高级分词器，支持文本与标记转换、工具解析和结构化对话处理。该项目集成了API验证和规范化功能，支持pip安装和源码构建。兼容多种开源和端点模型，为开发者提供了高效的Mistral模型集成解决方案。

DyNet是一个专为动态结构神经网络设计的开源库，由卡内基梅隆大学主导开发。该库采用C++编写并提供Python接口，可在CPU和GPU上高效运行。DyNet特别适用于自然语言处理任务，在语法分析和机器翻译等领域表现突出。其独特的自动批处理功能进一步提升了处理动态网络的效率。

本项目汇集22种先进RAG技术，涵盖简单RAG到复杂可控代理等多种方法，包括上下文丰富、多方面过滤、融合检索和智能重排序等。这些技术旨在提高检索增强生成系统的准确性、效率和上下文丰富度，为研究人员和实践者提供全面实施指南，助力开发更高效RAG系统。

ChatDoctor是一个基于LLaMA大语言模型的医疗对话系统。该系统通过融合超过10万条真实医患对话和医学专业知识进行训练，能够模拟医生与患者的交互，提供个性化医疗咨询。项目还开发了基于外部知识库的自主问答功能，提高回答的准确性和可靠性。ChatDoctor旨在作为智能医疗助手，但仅限于学术研究用途，不适用于商业或临床环境。

MoA项目开发了一种多层LLM集成方法，在AlpacaEval 2.0评测中得分65.1%，超过GPT-4 Omni的57.5%。项目提供简洁实现代码、交互式演示和评估脚本，便于研究者使用和复现。该方法在多个基准测试中表现优异，为AI系统性能提升提供新思路。

这个项目汇集了基于HuggingFace Transformers库的多种深度学习模型教程，涵盖自然语言处理和计算机视觉等领域。内容包括BERT、DETR、LayoutLM等模型的微调和推理示例，展示了在图像分类、目标检测、文档分析等任务中的应用。所有代码采用PyTorch实现，并提供Colab notebooks方便实践。

该研究项目探讨了大语言模型在逆向学习任务中的表现局限。研究通过三个实验发现，模型学习A=B关系时难以自动掌握B=A关系。实验涵盖身份信息逆转、实际应用中的逆转问题和指令逆转。项目开源了数据生成、模型微调和评估代码，有助于深入理解语言模型的学习局限。

LangChain.js是一个JavaScript框架，用于开发语言模型驱动的应用。它提供丰富的组件和集成，支持上下文感知和推理能力。框架包含开源库、生产化工具和部署选项，适用于构建问答系统和聊天机器人等应用。LangChain.js兼容多种环境，如Node.js、浏览器和Deno，为开发者提供灵活工具，助力创建复杂的LLM应用。

本速查表汇总了AI提示工程的关键原则和策略，专为JavaScript开发者设计。内容涵盖清晰指令编写、结构化输出、few-shot提示等技巧，以及迭代开发方法。同时提供摘要、推理、转换和扩展等任务的实例。这份资源旨在帮助JavaScript开发者快速掌握并提升AI提示工程技能。

AI-Journalist是一个基于Claude 3 AI模型的实验性项目，旨在自动化新闻写作流程。系统通过网络搜索收集信息，分析内容后生成结构化文章。项目支持在HyperWrite平台上无代码使用。输入主题后，AI可自动完成从研究到撰写的全过程。尽管生成内容质量较高，仍建议进行人工审核和事实核查。

作为致力于通过开源和开放科学推进AI发展的平台，BLOOM提供包括BloomModel在内的多款AI模型，充实的文档与代码资源助力研究人员与开发者更好地探索与应用前沿AI技术。