#预训练模型

Chronos-T5-Large是一个大规模时间序列预测基础模型，基于T5架构设计，包含7.1亿参数。模型通过将时间序列转换为token序列进行训练，能够生成概率性预测结果。它在海量公开时间序列数据和合成数据上训练，适用于广泛的时间序列预测任务。研究人员可使用简洁的Python接口调用模型，获取未来趋势预测及相应的置信区间。

bert-base-finnish-cased-v1是一个针对芬兰语优化的BERT模型。它使用超过30亿个芬兰语标记和50,000个自定义词片进行预训练，显著提高了芬兰语词汇覆盖率。在文档分类、命名实体识别和词性标注等任务中，该模型的表现超越了多语言BERT，为芬兰语自然语言处理领域带来了显著进步。

该模型是在ImageNet-21k数据集(1400万图像,21843类别)上预训练的大型Vision Transformer (ViT)。它采用Transformer架构,将224x224分辨率的图像分割成16x16的patch序列进行处理。模型可提取强大的图像特征,适用于分类等多种下游视觉任务。用户可直接用于图像嵌入或在特定任务上微调。

W2v-BERT 2.0是一款开源的多语言语音编码器，基于Conformer架构设计。该模型包含6亿参数，在4.5百万小时的无标签音频数据上进行预训练，涵盖143种语言。作为Seamless系列的核心组件，W2v-BERT 2.0可应用于自动语音识别和音频分类等任务。该模型支持通过Hugging Face Transformers和Seamless Communication框架使用，为多语言语音处理研究提供了有力工具。

SegFormer (b5-sized) encoder是一个在ImageNet-1k上预训练的语义分割模型。它采用层次化Transformer编码器结构，为下游任务微调提供基础。该模型在ADE20K和Cityscapes等语义分割基准测试中表现优异，同时也适用于图像分类等相关任务。用户可通过简洁的Python代码轻松调用此模型进行实验和应用开发。

Wav2Vec2-Large-VoxPopuli是一个基于Facebook Wav2Vec2技术的西班牙语语音识别模型。该模型利用VoxPopuli语料库中的无标签西班牙语音频数据进行预训练，能够有效学习语音结构。模型适用于自动语音识别任务，可通过微调提升特定领域性能。采用CC-BY-NC-4.0许可证，为语音处理研究和开发提供了有力工具。

ByT5-large是一种创新的自然语言处理模型，直接处理原始UTF-8字节，无需分词器。这个Google开发的模型在mC4多语言数据集上预训练，适用于100多种语言。它采用标准Transformer架构，性能与基于token的模型相当，但在处理噪声文本、拼写和发音敏感任务方面表现更佳。ByT5-large简化了文本预处理流程，提高了模型的通用性和鲁棒性。

resnet101.a1h_in1k是基于ResNet-B架构的图像分类模型，在ImageNet-1k数据集上训练。模型采用ReLU激活函数、7x7卷积和池化层、1x1卷积短路下采样等结构。支持图像分类、特征图提取和图像嵌入功能，参数量44.5M，224x224输入下GMAC为7.8。在ImageNet验证集上Top-1准确率82.8%，Top-5准确率96.32%。

convnextv2_tiny.fcmae_ft_in1k是基于ConvNeXt-V2架构的轻量级图像分类模型。该模型通过全卷积masked自编码器预训练，在ImageNet-1k数据集微调，拥有2860万参数。它可用于图像分类、特征图提取和图像嵌入，在ImageNet验证集上Top-1准确率达82.92%。这是一个在性能和效率间取得平衡的优秀选择。

BERT-large-uncased-whole-word-masking是一个采用全词掩码技术的大型预训练语言模型。该模型基于BookCorpus和英文维基百科数据集进行自监督学习，具有24层结构、1024维隐藏层和3.36亿参数。它在序列分类、标记分类和问答等需要理解整句上下文的任务中表现优异，为自然语言处理应用提供了强大的英语语言表示能力。

convnext_base.fb_in22k_ft_in1k是Facebook研究团队开发的ConvNeXt图像分类模型。该模型在ImageNet-22k上预训练，ImageNet-1k上微调，拥有8860万参数。适用于图像分类、特征提取和图像嵌入，在ImageNet-1k验证集上达到85.8%的top-1准确率。模型采用ConvNeXt架构，为计算机视觉任务提供了有力支持。

maxvit_nano_rw_256.sw_in1k是一款轻量级图像分类模型，由Ross Wightman基于MaxViT架构设计并在ImageNet-1k数据集上训练。该模型结合MBConv卷积和自注意力机制，参数量15.45M，GMAC 4.46，在256x256输入下Top-1准确率达82.93%。其高效设计适合在边缘设备上进行快速准确的图像分类。

bert-base-german-cased是一个德语BERT预训练模型，由deepset团队开发。该模型在德语维基百科、法律文本和新闻文章等大规模语料上进行训练。在命名实体识别和情感分析等多项任务中表现优异，为德语自然语言处理提供了坚实基础。模型保留原文大小写信息，有助于更准确地处理德语文本特征。

这是一个基于DistilRoBERTa-base的预训练模型，专门用于多分类攻击性和仇恨言论检测。该模型在原创数据集上进行微调，准确率达到94.50%。项目提供了Hugging Face上的数据集和演示空间，以及GitHub上的训练notebook。这为研究人员和开发者提供了一个高效工具，用于识别和分类在线有害内容。

ConvNeXt微型图像分类模型在ImageNet-12k数据集上预训练,并在ImageNet-1k上微调。模型采用最新ConvNeXt架构,参数量28.59M,GMACs 4.47,激活量13.44M。224x224输入时Top-1准确率84.186%,384x384输入时达85.118%。适用于图像分类、特征提取和图像嵌入等计算机视觉任务。

mt5-small是一个基于T5架构的多语言预训练模型，涵盖101种语言。该模型在mC4数据集上预训练，可应用于多种自然语言处理任务。mt5-small为多语言NLP研究提供了坚实基础，但需要针对特定任务进行微调才能发挥其全部潜力。这个开源项目为跨语言AI应用开发提供了重要工具。

WavLM-Base-Plus-SV是一款专为说话人验证优化的预训练语音模型。基于HuBERT框架，通过创新的门控相对位置偏置和话语混合训练，显著提升了语音内容和说话人特征的建模能力。经过94000小时语音数据预训练和VoxCeleb1数据集微调，该模型在SUPERB基准测试中展现出卓越性能。它能够有效提取说话人嵌入向量，适用于相似度检索和说话人验证等多种应用场景。

XLM-RoBERTa-XL是基于2.5TB CommonCrawl数据训练的大规模多语言模型，支持100种语言的自然语言处理。该模型采用掩码语言建模进行自监督学习，适用于序列分类、标记分类和问答等需要理解整句上下文的任务。XLM-RoBERTa-XL为多语言NLP研究和应用提供了强大的基础，但不适合文本生成类任务。

longformer-base-4096-bne-es是一个针对西班牙语长文本处理的开源语言模型。它基于Longformer架构，利用西班牙国家图书馆的大规模语料库进行训练。该模型可处理4096个token的输入，适用于问答和文本分类等任务。在多项西班牙语自然语言处理测试中表现出色，为长文本处理提供了有效解决方案。

该项目是TAPAS基础模型在WikiTable Questions (WTQ)数据集上的微调版本。模型采用相对位置嵌入,经过掩码语言建模和中间预训练后,通过SQA、WikiSQL和WTQ数据集进行链式微调。在WTQ开发集上,模型达到46.38%的准确率。项目提供两个版本:默认的相对位置嵌入版本和可选的绝对位置嵌入版本,可用于表格相关的问答任务。

deberta-v2-large-japanese-char-wwm是一个基于DeBERTa V2架构的日语预训练语言模型。它采用字符级分词和全词遮蔽技术，在171GB的日语语料库上训练而成。该模型支持掩码语言建模等任务，可直接处理原始文本。经26天训练后，模型在掩码语言建模评估集上达到79.5%的准确率，为日语自然语言处理研究和应用提供了强大工具。

VideoMAE是一种基于掩码自编码器的视频自监督预训练模型。该模型在Kinetics-400数据集上经过1600轮预训练，采用Vision Transformer架构处理固定大小的视频图像块。VideoMAE不仅可预测被遮挡的视频片段，还能通过微调应用于下游任务。作为视频理解领域的重要进展，它为视频分类等任务提供了强大的特征提取能力。

simlm-msmarco-reranker模型采用简单的瓶颈架构,通过自监督预训练压缩段落信息。在MS-MARCO等数据集上表现优异,超越ColBERTv2等多向量方法。该模型仅需无标签语料库即可训练,适用于缺乏标记数据的场景。研究人员可以使用此模型计算查询和段落的相关性得分,应用于信息检索和文本排序任务。

levit_128.fb_dist_in1k是基于LeViT架构的轻量级图像分类模型,采用卷积模式实现。该模型在ImageNet-1k数据集上经过预训练和蒸馏,拥有920万参数,处理224x224尺寸图像。在0.4 GMACs计算量下实现78.474%的Top-1准确率,体现了高效能与低复杂度的平衡。模型可用于图像分类和特征提取,适合需要快速推理的视觉任务。

cocodr-large-msmarco是一个基于BERT-large架构的密集检索模型，参数量达3.35亿。该模型在BEIR语料库上预训练后，在MS MARCO数据集上微调，采用对比学习和分布鲁棒性学习技术解决零样本密集检索中的分布偏移问题。模型可通过Hugging Face transformers库轻松加载，为信息检索任务提供有力支持。

LEGAL-BERT是一系列针对法律领域优化的BERT模型，基于12GB多样化英语法律文本预训练而成。它涵盖立法、法院案例和合同等内容，在法律特定任务中表现优于通用BERT。此外，项目提供了一个仅为BERT-BASE大小33%的轻量级模型，在保持竞争力的同时提高了效率。LEGAL-BERT旨在促进法律NLP研究、计算法律和法律技术应用的发展。

beit_base_patch16_224.in22k_ft_in22k_in1k是一个强大的图像分类模型，基于BEiT架构设计。该模型在ImageNet-22k数据集上进行自监督掩码图像建模预训练，并在ImageNet-22k和ImageNet-1k上微调，具有8650万个参数。它支持224x224像素的输入图像，可用于图像分类和特征提取，为计算机视觉任务提供高效解决方案。

UL2是一个创新的语言模型框架,采用混合去噪器(MoD)预训练目标,融合多种预训练范式并引入模式切换机制。该模型在C4语料库上进行200亿参数规模的预训练,并在多个数据集上微调后,在50个涵盖语言生成、理解和推理等领域的NLP任务中达到了领先水平。UL2在少样本学习方面表现突出,零样本SuperGLUE任务上超越了更大规模的GPT-3模型。

repvgg_a2.rvgg_in1k是基于RepVGG架构的图像分类模型，通过ImageNet-1k数据集训练。该模型利用timm库的BYOBNet实现，允许自定义网络结构。模型参数量为28.2M，GMACs为5.7，处理224x224像素的输入图像。除图像分类外，还支持特征图提取和图像嵌入，可应用于多种计算机视觉任务。

KoBART-base-v2是一款优化的韩语自然语言处理预训练模型，基于BART架构开发。通过引入聊天数据训练，该模型增强了长序列语义理解能力，在NSMC情感分析任务中准确率达90.1%。KoBART还优化了模型结构，增加bos/eos后处理器，移除token_type_ids，进一步提升性能。研究者可借助transformers库轻松应用这一先进的韩语NLP模型。

legal-bert-small-uncased是一个轻量级法律领域BERT模型。它在12GB多样化法律文本上预训练,包括法规、判例和合同。与普通BERT相比,该模型在法律任务上表现更优,且体积更小、运行更快,为法律NLP研究和应用提供了高效工具。

bert-medium是Google BERT官方仓库发布的轻量级预训练模型变体。作为bert-tiny、bert-mini和bert-small系列中的一员，该模型在缩小规模的同时保持了良好性能。bert-medium采用8层结构，隐藏层大小为512，旨在为下游任务提供高效的训练基础。这一中型变体适合于需要在计算资源和模型表现之间寻求平衡的应用场景。

efficientnet_b1.ra4_e3600_r240_in1k是基于EfficientNet架构的轻量级图像分类模型。该模型在ImageNet-1k数据集上训练，参数量为7.79M，在240x240输入尺寸下达到81.440%的Top-1准确率。它在模型大小和性能之间取得平衡，适用于计算资源有限的应用场景，也可作为特征提取器用于其他计算机视觉任务。

BETO是一个基于大规模西班牙语语料库训练的BERT模型，采用全词遮蔽技术，提供uncased和cased两个版本。在词性标注、命名实体识别和文本分类等多项西班牙语基准测试中，BETO表现优于多语言BERT。研究者可通过Hugging Face Transformers库轻松使用该模型，为西班牙语自然语言处理研究和应用提供有力支持。

Chronos-T5-Large是一个拥有7.1亿参数的大规模时间序列预测模型。该模型基于T5架构，通过将时间序列转化为token序列进行训练，能生成概率性预测。Chronos-T5-Large在大量公开和合成时间序列数据上训练，可处理多种预测任务。研究人员和开发者可通过Python接口使用该模型，适用于需要高精度分析的时间序列场景。

DeBERTa V2 base日语模型基于维基百科、CC-100和OSCAR数据集预训练而成。该模型在情感分析、语义相似度和问答等多项自然语言理解任务中表现优异。模型采用Juman++分词技术，并使用sentencepiece构建32000个子词词表。预训练过程耗时3周，使用8块NVIDIA A100 GPU。在JGLUE基准测试中，模型在MARC-ja、JSTS、JNLI、JSQuAD和JComQA等任务上均取得了与现有最佳模型相当或更好的结果，突显了其在各种日语自然语言理解任务中的广泛适用性和高效性。这一模型为日语自然语言处理研究和应用提供了坚实基础。