#语言模型

本项目通过构建自动化沟通代理框架，研究大型语言模型在复杂任务中的协作和认知过程。采用角色扮演和初始提示技术，提升聊天代理的任务完成能力，并与人类意图保持一致。该开源库提供多种代理、任务和模拟环境，支持相关研究。

Cheshire Cat是一款生产级AI助手框架，适用于任意语言模型的自定义AI构建。提供API优先设计，支持记忆功能、事件回调、函数调用及对话表单，完全Docker化。通过插件扩展，用户可以轻松添加对话层，并享受简便的管理面板。

《Alignment Handbook》为ML社区提供了一系列全面的训练配方，专注于通过人工反馈强化学习（RLHF）等技术，继续训练和调整语言模型，以匹配人类和AI的偏好。该手册包括从数据收集、模型训练到绩效评估的完整流程，以及最新的训练代码和数据集，旨在帮助研究人员和开发人员构建更安全、更有效的AI系统。

AMiner，由清华大学开发，不仅集成超过3.2亿份学术论文和1.33亿学者资料的科技图谱，还提供高效的学术搜索和论文专利检索服务。网站特色包括独特的分析工具和创新功能，如AI对话和实时数据追踪，旨在提供更精准的趋势分析和学者画像。

探索Stability AI的StableLM网站，了解和参与最前沿的AI语言模型开发，通过详细的模型介绍和技术报告，加深对自然语言处理技术的理解和应用。

Imagen，一种先进的AI图片生成工具，利用深度语言理解和极致的图像真实性，实现从文字到图像的转换。此模型不仅在COCO数据集上刷新了技术记录，还通过高效的U-Net架构和强大的文本编码系统，优化了图文一致性和图像质量。鉴于潜在的社会影响和数据集偏差问题，当前未开放源代码或公共演示版本。

本站集中展示了用于优化ChatGPT模型的各类提示和示例。您可以在此贡献和发现创新的ChatGPT应用方法，与全球开发者共同探讨和学习。站点还包括定制GPT模型商店与多语言提示生成器，为您的ChatGPT项目添加更多元素。

Chronos是一款基于语言模型架构的预训练时间序列预测工具。它通过量化处理将时间序列转换为标记序列，并使用大规模的公开和合成数据进行训练。Chronos模型在零样本场景中表现优异，提供从预测到嵌入提取的完整解决方案。通过AutoGluon，用户可轻松进行模型集成和云端部署，提升预测性能和应用的灵活性。

MatMul-Free LM是一种无需矩阵乘法操作的高效语言模型架构，兼容🤗 Transformers库，支持370M至2.7B参数的模型。该模型使用高效的三值权重，在计算效率和性能提升方面表现优异。安装需求包括PyTorch、Triton和einops。用户可以轻松初始化模型，并使用预训练模型进行文本生成，适用于各种高效语言建模应用场景。

xLSTM是一种创新的循环神经网络架构，通过指数门控和新型矩阵内存技术，克服了传统LSTM的局限性，显著提升语言建模性能。与Transformer和状态空间模型相比表现出色。该模型基于PyTorch开发，适用于CUDA环境，提供详细的安装指南和使用示例，便于集成到现有项目中。

RAPTOR采用递归树结构，提升语言模型的信息检索效率和上下文理解能力，克服了传统模型的局限。本文介绍了RAPTOR的具体实施方法、安装步骤和使用指南，并展示了如何集成自定义模型来扩展其功能。

Dolma项目提供一个包含3万亿令牌的多样化开放数据集，涵盖网络内容、学术出版物、代码、书籍和百科材料。Dolma Toolkit是一款高性能工具包，能够高效整理大型数据集，支持并行处理、便捷移植、内置标签器、快速去重、扩展性和云支持。该项目由Allen Institute for AI开发，数据集可在HuggingFace平台下载。

femtoGPT是一个用Rust实现的最小生成预训练转换器，支持在CPU和GPU上进行GPT模型的推理与训练。项目从零开始构建了张量处理逻辑以及训练和推理代码，适合对大语言模型感兴趣并想深入了解其工作原理的用户。使用了随机生成、数据序列化和并行计算库，尽管速度较慢，但能在NVIDIA和AMD显卡上运行。

本项目通过结构化剪枝显著提升大语言模型的预训练效率。通过剪枝优化LLaMA等大型基础模型，得到更小但同样强大的语言模型。实验结果显示，与从头开始预训练相比，剪枝显著降低了计算成本。项目提供详尽的代码库、评估脚本和剪枝日志，及多种经过指令微调的模型。

「ai-notes」项目深度剖析生成模型和大规模语言模型，涵盖文本处理到图像生成等AI技术。本项目更新多种Markdown文件，内容包括模型评估、应用案例和技术细节。特别关注Stable Diffusion与GPT-4的最新进展，为工程师、研究者和技术爱好者提供宝贵资源。

本页面详细介绍了生成代表性指令微调（GRIT）技术，该技术训练大型语言模型同时处理生成和嵌入任务。GritLM 7B在大规模文本嵌入基准测试（MTEB）中树立了新标杆，并在多种生成任务中表现出色。GritLM 8x7B在开放生成语言模型中表现最佳，同时在嵌入任务中保持领先。GRIT结合生成和嵌入训练，无性能损失，并提高了检索增强生成（RAG）的速度超过60%。代码和模型均已免费开放，欢迎社区贡献和使用。

LLM-Kit项目通过WebUI整合了多种语言模型工具，实现了无需编程即可配置定制化模型和专业应用。项目支持Windows和Linux操作系统以及多个版本的Python，并提供多种训练和推理功能，包括角色扮演、AI智能体和数据库集成。项目还与众多知名模型和工具库兼容，开发者可以轻松上手并参与贡献，进一步优化和扩展项目功能。

探索学习和实践递归神经网络在自然语言处理中的应用，包括语言模型、文本翻译、语音转录及问答系统等。

keras-llm-robot是一套基于Langchain和Fastchat开源框架的Web应用，支持多模态、RAG和Agent等多功能。项目完全开源，适合在Hugging Face平台上测试和部署各类模型。用户可自定义模型组合以适应不同的部署和实验需求，同时提供语音和图像识别、代码执行、实时翻译等多元化功能。

Awesome Prompt Engineering收集了丰富的智能提示工程资源，涵盖GPT、ChatGPT、PaLM等前沿技术。项目囊括最新学术论文、实用工具、API接口以及多媒体教程，支持语言模型开发者和AI研究人员的需求。包括教学视频、在线课程和社区讨论，为用户提供全方位的学习和交流平台。

Repochat是一个先进的互动式聊天机器人，能够分析GitHub仓库的数据，为用户提供深入的对话和资讯获取。支持本地和云端部署，为开发社区提供强大的交流平台。

FlagEmbedding是开源的多语言文本嵌入模型集，涵盖从视觉嵌入到长上下文支持的全面技术，稳定领先多项国际基准测试。

NExT-GPT，一个先进的多模态语言处理大型模型，支持文本、图像、视频和音频的综合处理。该模型整合了最新科技，提供代码和数据资源，可广泛应用于内容自动生成和多模态交互等领域。它利用先进的多模态编码器和语言模型进行有效的语义理解与生成，同时能输出特定模态内容，满足多种输入与输出需求。

Local-LLM-Comparison-Colab-UI提供多种机器学习模型的简易比较和测试，包括但不限于7B和13B模型。用户可通过点击操作在Colab WebUI上试用各种模型，并根据实际表现选择适合的选项。网站定期更新，提供详尽的模型信息与操作指南。

Multimodal-GPT是一个基于OpenFlamingo多模态模型的项目，通过结合视觉指令和语言指令数据的联合训练，有效提升模型性能。该项目支持VQA、图像描述、视觉推理、文本OCR和视觉对话等多种数据类型，并利用LoRA进行参数高效的微调。探索Multimodal-GPT的广泛应用可能性。

由KakaoBrain开发的KoGPT，是一个专注于韩语的生成预训练模型，广泛应用于文本分类、搜索和生成摘要等多种AI任务。这一模型训练于大型数据集，具备卓越的文本生成能力。然而，使用期间可能生成不恰当内容，主要用于学术研究与技术开发，用户在使用时需严格遵守其许可协议。

KAN-GPT在PyTorch平台上实现了结合Kolmogorov-Arnold网络的生成式预训练变换器，用于高效的语言模型建设。该项目支持灵活的训练选项和多种数据集，体现了其在自然语言处理领域的广泛应用和成熟技术。KAN-GPT帮助开发者在文本生成和语言建模方面取得突破，进一步提升AI语言技术。

makeMoE是一个基于Andrej Karpathy的makemore项目, 从零构建的稀疏混合专家语言模型。它借鉴了makemore的部分组件，例如数据预处理和生成莎士比亚风格文本。在架构上，makeMoE引入了稀疏专家混合、Top-k门控和噪声Top-k门控等改进。项目在Databricks上使用单一A100 GPU开发，支持大规模GPU集群扩展，并通过MLFlow进行指标跟踪。项目强调代码的可读性和修改性，适合深入学习和改进。

AIlice是一款全自主、通用的开源AI代理，旨在创建独立的AI助理，类似JARVIS。该代理采用开放源码的大语言模型(LLM)作为核心，擅长主题研究、编码、系统管理和文献综述等任务，支持多模态模型和语音互动功能。基于GPT-4，AIlice在日常任务中表现卓越，并支持自我扩展和模块动态加载，实现功能无限扩展。用户可通过简易指令完成多种复杂任务，享受高效的交互和任务执行体验。

Prometheus-Eval是一个评估生成任务中大型语言模型（LLMs）的开源项目。最新的Prometheus 2版本内置多种高性能评估模型，并集成了提供9项核心能力、77个任务和765个实例的BiGGen-Bench评估平台。该项目支持本地推理和通过VLLM及LLM API进行远程评估，且能够方便地在Python环境中安装和使用。项目持续更新，以确保评估的准确性和效率。访问官方仓库获取更多信息。

LLM-Prompt-Library 提供各类大型语言模型的提示集合，实现文本操作、医疗助手及代码生成等多场景应用。该项目以其实用性和活跃的社区支持为开发者提供价值，促进技术交流。

ReLLM项目利用正则表达式控制语言模型的输出，可生成特定的语法或语义结构，如日期、数字或完整模板。ReLLM在生成前过滤不匹配的词元，提升生成质量。即使是小型模型，也能在ReLLM的帮助下提高输出质量。该项目适用于需要解析JSON、XML等上下文无关文法的场景。

通过LangChain框架掌握扩展语言模型在应用开发中的关键技能。本课程涵盖模型调用、提示生成、响应解析、会话记忆存储、操作序列创建和文档问答等内容。由LangChain创建者Harrison Chase和Andrew Ng授课，在一小时内探索语言模型作为推理代理的应用趋势。课程结束时，学员将获得一个扩展模型应用起点的基本模型，从而提升语言模型的应用能力。

本指南涵盖系统化的提示工程方法，帮助研究人员和开发人员优化与大型语言模型（LLMs）的互动。内容包括基础与高级提示、应用实例、最新研究论文、实用工具和数据集，同时提供相关讲座和课程资源。学习提示工程能提升LLMs在问答和算术推理等复杂任务中的性能，充分发挥模型潜力。

GoLLIE是一种遵循注释指南进行信息抽取的大规模语言模型，在零样本信息抽取方面优于以往方法。它允许用户根据即时定义的注释模式进行推断，不仅依赖已编码知识。GoLLIE的代码和模型公开发布，适用于各种任务，并提供了开箱即用的实例笔记本和定制任务支持。

RWKV-Runner项目通过一个轻量级的可执行程序，简化了大型语言模型的使用，并提供与OpenAI API兼容的接口，使每个ChatGPT客户端都能作为RWKV客户端使用。项目支持多语言本地化，提供用户友好界面，自动安装依赖，包含一键启动、模型管理、前后端分离等功能。支持多级VRAM配置和CUDA加速，适用于大多数计算机。提供简单的部署示例、内置模型转换工具和远程模型检查功能。