Logo
Project Icon

GENA_LM

专为长DNA序列设计的开源基础模型家族

GENA-LMDNA序列预训练模型转化器基因组学Github开源项目

GENA-LM是专为长DNA序列设计的开源基础模型家族。它采用BPE分词方法，支持最长36k bp的输入序列，并基于最新T2T人类基因组进行预训练。该项目提供多种预训练模型，包括BERT和BigBird架构，可用于启动子预测和剪接位点识别等多种下游任务。GENA-LM为基因组学研究提供了新的分析工具，促进了DNA序列分析技术的进步。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
DNABERT - DNABERT：用于基因组DNA语言处理的双向编码器模型
BERTDNABERTGPUGithub基因组开源项目预训练模型
DNABERT提供完整的源码、使用示例、预训练和微调模型，适用于各类基因组DNA语言处理任务。该项目利用Huggingface的扩展工具，增添了多任务支持和高效的可视化功能。最新版DNABERT-2不仅提升了多物种基因组的处理能力，还发布了全面的Genome Understanding Evaluation (GUE)基准测试，涵盖28个数据集。
genslm - 基因组尺度语言模型揭示SARS-CoV-2进化动态
GenSLMsGithubSARS-CoV-2基因组语言模型序列嵌入开源项目进化动力学
GenSLM项目开发了基因组尺度语言模型(GenSLMs)，用于研究SARS-CoV-2的进化动态。该项目提供预训练模型和数据集，实现序列嵌入计算和合成序列生成。其分层语言模型融合扩散模型和Transformer，可捕捉全基因组序列的全局上下文和长程相互作用。GenSLM为病毒进化研究和基因组分析提供了新的分析工具。
DNABERT_2 - 多物种基因组理解基础模型
DNABERT-2Github人工智能基因组开源项目深度学习生物信息学
DNABERT-2是一个针对多物种基因组理解的高效基础模型。该模型在28个GUE基准任务中表现优异,采用BPE替代k-mer标记化,ALiBi代替位置嵌入,并整合多项技术提升效率。DNABERT-2为基因组分析提供了强大工具,可用于序列分类、元素识别和功能预测等多种任务。
nucleotide-transformer-v2-500m-multi-species - 基于多物种基因组的大规模DNA语言模型
DNA序列GithubHuggingfaceNucleotide Transformer基因组学开源项目模型生物信息学预训练模型
nucleotide-transformer-v2-500m-multi-species是一个基于850个多物种基因组预训练的5亿参数Transformer模型。该模型利用多样化物种的DNA序列信息,通过掩码语言建模训练,可用于分子表型预测等任务。它采用6-mer标记化方法,结合旋转位置编码和门控线性单元,在900B个标记上训练而成。这一基础模型为基因组学研究提供了有力工具,可应用于多种下游分析。
nucleotide-transformer - Transformer驱动的基因组语言及单核苷酸序列分割模型
DNA序列解析GithubNucleotide TransformersSegmentNTgenomics开源项目预训练模型
nucleotide-transformer项目提供了九种预训练基因组语言模型和两种SegmentNT分割模型。基于Transformer的基因组模型综合了3,200个人类基因组和850个不同物种的基因组数据，能够高精度预测分子表型。Agro NT模型专用于农作物基因组，在基因调控和表达预测上表现优异。这些模型可以实现对DNA序列基因组元素的单核苷酸分辨率分割。
gpn - 基于DNA语言模型的基因组变异效应预测工具
DNA语言模型GPNGithub变异效应预测基因组预训练网络开源项目机器学习
GPN是一个基于DNA语言模型的开源项目，致力于基因组范围内的变异效应预测。项目包括单序列(GPN-SS)和多序列比对(GPN-MSA)两种模型，适用于人类和植物等多个物种的分析。GPN提供Python接口，支持自定义数据训练，并包含从数据集创建到变异效应预测的完整工作流程。这一工具为基因组研究提供了新的分析方法。
caduceus - 双向等变长程DNA序列建模的创新方法
CaduceusDNA建模Github双向等变基因组基准开源项目预训练模型
Caduceus是一种双向等变长程DNA序列建模技术，可处理长达131k的DNA序列。其反向互补等变架构无需数据增强即可高效建模。项目提供预训练模型和实验复现指南，包括人类基因组预训练和多项下游任务评估，展示了在基因组学领域的应用潜力。该项目开源了模型代码和预训练权重，提供了详细的使用说明和实验复现步骤，涵盖了基因组基准测试、核苷酸转换器数据集和单核苷酸多态性变异效应预测等多个评估方法。
LongLM - 通过Self-Extend方法扩展大语言模型的上下文窗口
FlashAttentionGithubLLMLlama-3SelfExtendtransformers开源项目
LongLM项目介绍了Self-Extend方法，通过不需要调优的方式扩展大语言模型（LLM）的上下文窗口，利用其内在能力处理长上下文。此方法获得了Google I/O和ICML 2024的关注，并支持多种模型如Llama-3、Gemma和Qwen1.5。项目说明了如何安装和运行Self-Extend，并提供组选参数的指导原则及实验结果，以帮助用户应用这一技术。
textgen - 文本生成库实现多种模型，支持大模型微调和推理
ChatGLMGithubLLaMALoRA开源项目文本生成模型训练
TextGen实现了LLaMA、ChatGLM、GPT2等多种文本生成模型。该开源库支持大模型LoRA微调训练和高效推理,还包含UDA、Seq2Seq等经典生成模型。TextGen提供多个预训练模型,可用于对话生成、文本扩增、翻译等任务。项目开箱即用,便于研究人员和开发者快速构建文本生成应用。
xgen - 支持8K输入长度的7B长序列模型
7B LLM8K Input Sequence LengthGithubHuggingFace HubSalesforce AI ResearchXGen开源项目
Salesforce AI Research发布了XGen模型系列，支持最长8K输入序列。这些模型包括适用于4K和8K序列长度的基础模型以及经过指令微调的8K模型。模型使用OpenAI的Tiktoken进行分词，并可用于自回归采样。访问HuggingFace Hub获取更多模型详细信息和使用方法。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号