VisualRWKV
VisualRWKV是一个创新的视觉语言模型,基于RWKV架构设计,可处理多样化的视觉任务。该模型采用两阶段训练策略:首先进行预训练,利用预训练数据集训练视觉编码器到RWKV的投影层;随后进行微调,通过视觉指令数据优化模型性能。项目提供完整的训练指南,涵盖数据准备、模型获取和训练流程,支持多GPU并行和不同规模RWKV模型的训练。