#RWKV

该项目将RWKV-LM移植到ggerganov的ggml，支持FP32、FP16及量化的INT4、INT5和INT8推理，主要针对CPU使用，同时兼容cuBLAS。项目提供C库和Python封装。RWKV是一种不同于Transformer的大语言模型架构，只需前一步状态计算logits，适合长上下文使用。支持RWKV v5和v6模型以及LoRA检查点加载，适用于高质量和高性能需求的场景。

RWKV是一个高性能的并行化RNN，具有变换器级别的性能。该模型实现了快速的推理和训练速度，不依赖于传统的注意力机制，而是通过隐藏状态进行计算，优化了VRAM的使用，并支持处理无限长度的文本上下文。RWKV的这些特点使其在进行句子嵌入和处理复杂文本任务时显示出优越的能力。

此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示，无需torch或transformers，适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整，并提供导出混合精度和TVM转换的详细步骤，适用于嵌入式设备和分布式系统的大语言模型部署和推理。

该项目使用独特的音节、标记和声调分割方法，开发了高效的越南语语言模型。通过创新的token化技术和RWKV架构，解决了传统Transformer模型在处理越南语多字节编码时的性能瓶颈。项目包括小数据集实验、大规模数据处理及大型模型训练，展示了在有限计算资源下应用规模规律的潜力。模型具有广泛适应性，既节省计算资源，又保持高效的文本生成和语言理解能力。

ChatRWKV基于RWKV语言模型，提供类似ChatGPT的体验。RWKV是目前唯一能在质量和扩展性上匹敌Transformer的RNN模型，具有更快的速度和更低的VRAM消耗。项目最新版本为RWKV-6，提供多个模型演示和详尽的开发资源，包括CUDA内核加速和多种推理引擎。用户可以通过这些资源构建高效的聊天机器人和语音生成系统，体验领先的AI技术。

闻达是一个开源的大规模语言模型调用平台，集成多种离线和在线LLM模型。平台内置本地知识库和搜索引擎，并提供Auto脚本功能用于自定义对话流程。适合个人和中小企业使用，注重知识安全和私密性。平台还包括对话历史管理和多用户支持等实用功能，旨在实现高效的特定环境内容生成。

RWKV-infctx-trainer是一款专为RWKV模型设计的训练工具，突破了传统上下文长度限制。它支持超过100万个token的序列训练，保持近乎恒定的显存消耗。项目集成了DeepSpeed 3和Hugging Face数据集，采用PyTorch 2.0、Lightning 2.0等技术提升训练效率。这为长序列语言模型研究提供了有力支持，适用于长文本和复杂上下文处理场景。

RWKV_Pytorch是一个基于纯PyTorch实现的RWKV大语言模型推理框架。该框架支持批量和并行推理，充分发挥RWKV模型性能。其代码结构清晰，便于阅读和二次开发。框架支持ONNX格式模型的导出和推理，提供本地部署选项。未来计划适配香橙派AI Pro开发板，以实现在昇腾生态上推理RWKV模型。当前版本仅兼容RWKV v6模型（x060版本）。

VisualRWKV是一个创新的视觉语言模型，基于RWKV架构设计，可处理多样化的视觉任务。该模型采用两阶段训练策略：首先进行预训练，利用预训练数据集训练视觉编码器到RWKV的投影层；随后进行微调，通过视觉指令数据优化模型性能。项目提供完整的训练指南，涵盖数据准备、模型获取和训练流程，支持多GPU并行和不同规模RWKV模型的训练。

RWKV项目由Bo Peng主导，结合RNN和Transformer的优势，提供强大的LLM性能，支持“无限”上下文长度、快速推理和节省显存。该模型支持并行训练，如GPT，可用于高效文本生成，并提供详细的使用和部署指南。项目中提供的多种硬件运行方案，使得用户能够轻松部署在不同环境中，享有快速且节能的文本生成体验，符合现代AI开发需求。