#DNA建模

Caduceus是一种双向等变长程DNA序列建模技术，可处理长达131k的DNA序列。其反向互补等变架构无需数据增强即可高效建模。项目提供预训练模型和实验复现指南，包括人类基因组预训练和多项下游任务评估，展示了在基因组学领域的应用潜力。该项目开源了模型代码和预训练权重，提供了详细的使用说明和实验复现步骤，涵盖了基因组基准测试、核苷酸转换器数据集和单核苷酸多态性变异效应预测等多个评估方法。

Evo是一个开源的生物基础模型，专注于DNA序列的长上下文建模和设计。基于StripedHyena架构，Evo实现了单核苷酸级别的序列建模，具有近乎线性的计算和内存扩展性。该模型拥有70亿参数，在OpenGenome数据集上训练，包含约3000亿个原核全基因组标记。Evo提供8K和131K上下文长度的预训练模型，适用于从分子到基因组尺度的序列分析和生成任务。研究人员可通过HuggingFace和Together API等多种方式使用Evo，为DNA序列研究提供了强大而灵活的工具。