Fairseq 是一个序列建模工具包，适用于机器翻译和文本生成。支持多GPU训练，提供灵活配置和扩展能力，以及多种预训练模型和参考实现。内置束搜索和抽样等算法，支持混合精度训练和参数CPU卸载，为研究人员和开发人员提供高效解决方案。

Decision Transformer (DT)是一种将离线强化学习转化为条件序列建模的创新方法。本项目收集了DT相关研究论文,涵盖多智能体系统、安全强化学习、多任务学习等应用领域。通过持续追踪DT的前沿进展,为研究人员提供全面的资源,促进这一算法在各个领域的发展和应用。

Mamba是一种创新的状态空间模型架构，专为信息密集型任务如语言建模而设计。基于结构化状态空间模型，Mamba采用选择性状态空间实现线性时间复杂度的序列建模，突破了传统亚二次方模型的限制。该项目提供多个预训练模型，支持多种硬件平台的推理和评估，展现了优越的性能和灵活性。

ttt-lm-pytorch项目提出了一种新型序列建模层，结合了RNN的线性复杂度和高表达能力的隐藏状态。该方法将隐藏状态设计为机器学习模型，通过自监督学习在测试阶段持续更新，因此被称为测试时训练（TTT）层。项目实现了TTT-Linear和TTT-MLP两种变体，分别采用线性模型和双层MLP作为隐藏状态，为长序列建模提供了高效替代方案。

PyxLSTM是一个基于xLSTM架构的Python库，为序列建模任务提供高效实现。该库引入指数门控、内存混合和矩阵内存结构，支持sLSTM和mLSTM变体。PyxLSTM提供灵活的模型架构、高级模型定义、训练工具和数据处理功能，适用于语言建模、文本生成等任务。其轻量模块化设计易于集成，并配有详细文档和测试。

fairseq2是由Facebook AI Research开发的序列建模工具包，作为fairseq的后续版本，为研究人员和开发者提供了强大的自定义模型训练功能。它支持包括LLaMA系列、Mistral 7B和NLLB-200在内的多种先进模型，可用于翻译、摘要和语言建模等任务。fairseq2提供Linux和macOS的预构建包，兼容多种PyTorch和CUDA版本，为序列建模研究和应用提供了灵活的解决方案。

LVM是一种创新视觉预训练模型，将多种视觉数据转化为视觉句子，并进行自回归式标记预测。该模型采用顺序建模方法，无需语言数据即可学习大规模视觉模型。通过设计视觉提示，LVM可解决多种视觉任务。兼容GPU和TPU，为大规模视觉模型学习提供新方法。