#自监督学习

albert-xxlarge-v1 - 大型英文数据集上的预训练语言模型
机器学习Github开源项目模型微调自监督学习深度学习HuggingfaceALBERT XXLarge v1模型
ALBERT-XXLarge-v1 是一种在大规模英语数据集上通过自监督学习预训练的模型,采用掩蔽语言建模和句子顺序预测技术。该模型通过重复层的共享权重设计实现了较小的内存占用,但计算成本与同类模型相当,适用于序列分类和问答等需全面句子理解的任务。虽然它具备出色性能,应用时需注意潜在偏见。
dinov2-small-imagenet1k-1-layer - 视觉特征学习的Transformer模型
DINOv2特征提取开源项目模型GithubHuggingface自监督学习图像分类Vision Transformer
DINOv2方法无监督预训练的Vision Transformer,适用于影像特征学习增强场景。此小尺寸模型能在ImageNet-1k数据集上执行分类任务,通过提取特征来辅助下游任务。尽管模型未包含微调头,但可附加线性层进行标准分类,适合高精度视觉特征需求的应用。
vit_giant_patch14_dinov2.lvd142m - 基于Vision Transformer的无监督视觉特征提取模型
自监督学习图像分类DINOv2Huggingface开源项目模型GithubVision Transformer图像特征提取
该项目介绍了使用DINOv2方法的Vision Transformer(ViT)模型,通过无监督学习在LVD-142M数据集上进行预训练。这一模型适用于图像分类和嵌入,帮助提取稳健的视觉特征以及实现高效的图像识别。ViT模型的参数量为1136.5M和1784.2 GMACs,显现出其出色的性能和灵活性。用户可以在GitHub查看和下载该模型的代码和更多资源。
vit_base_patch8_224.dino - 将自监督DINO方法应用于视觉变换器以增强图像特征提取能力
Github模型ImageNet开源项目图像分类自监督学习Vision TransformerHuggingface特征提取
该项目利用Vision Transformer (ViT) 和自监督DINO方法进行图像特征提取,支持图像分类和嵌入应用。模型在ImageNet-1k数据集上进行了预训练,具有85.8M参数,能够处理224 x 224分辨率的图像。由于其参数利用效率高,该模型在大规模数据集上表现良好,适合精确特征提取的视觉任务,增强图像识别及分析能力。通过`timm`库可轻松实现模型调用和图像处理,满足多种计算机视觉应用需求。
albert-xxlarge-v2 - 基于大规模预训练的模型,提升英语语言任务表现
掩码语言模型Github开源项目ALBERT自监督学习Huggingface预训练模型句子顺序预测模型
该模型使用遮蔽语言建模和句子排序任务在大规模英语语料库上进行预训练,擅长捕捉句子双向语义。通过层共享设计,降低内存消耗,具备12个重复层、128个嵌入和4096个隐藏维度。适合句子分类、标记分类和问答等任务的微调,表现优异。
dino-vitb8 - 无需微调,实现高效图像分类的自监督视觉转换器
Github开源项目图像分类Vision Transformer自监督学习Huggingface预训练模型ImageNet-1k模型
Vision Transformer (ViT)模型通过DINO方法进行的自监督训练在ImageNet-1k数据集上预训练,注重提升图像特征提取,无需微调即可应用于图像分类,兼顾多种下游任务。可根据任务需求选择合适的微调版本。
dino-vits16 - DINO训练的小型Vision Transformer模型及其应用
模型开源项目Huggingface自监督学习DINO图像处理Vision Transformer特征提取Github
dino-vits16是一个基于DINO方法训练的小型Vision Transformer模型。该模型在ImageNet-1k数据集上进行自监督预训练,能够有效学习图像特征表示。它采用16x16像素的图像块作为输入,可应用于多种视觉任务。dino-vits16展示了自监督学习在计算机视觉领域的潜力,为图像分类等下游任务奠定了基础。
vit_base_patch14_dinov2.lvd142m - Vision Transformer自监督图像特征提取模型
图像特征提取模型自监督学习GithubtimmDINOv2Vision TransformerHuggingface开源项目
vit_base_patch14_dinov2.lvd142m是基于Vision Transformer架构的图像特征提取模型,采用DINOv2自监督方法在LVD-142M数据集上预训练。模型包含8660万参数,支持518x518像素输入,可用于图像分类和特征提取。该模型无需监督即可学习视觉特征,性能出色。研究者可通过timm库便捷使用此预训练模型。
vit_base_patch16_224.dino - 自监督训练的ViT模型实现高效图像特征提取
DINO模型自监督学习图像分类GithubVision Transformer特征提取开源项目Huggingface
vit_base_patch16_224.dino是一个基于Vision Transformer架构的图像特征提取模型。该模型采用自监督DINO方法在ImageNet-1k数据集上预训练,可用于图像分类和特征提取。模型包含8580万参数,支持224x224像素的输入图像。通过timm库,研究人员可以便捷地将其应用于多种计算机视觉任务,深入探索自监督学习在视觉领域的潜力。
videomae-base - 基于掩码自编码器的视频自监督预训练模型
VideoMAE开源项目自监督学习Huggingface视觉TransformerGithub视频处理模型预训练模型
VideoMAE是一种基于掩码自编码器的视频自监督预训练模型。该模型在Kinetics-400数据集上经过1600轮预训练,采用Vision Transformer架构处理固定大小的视频图像块。VideoMAE不仅可预测被遮挡的视频片段,还能通过微调应用于下游任务。作为视频理解领域的重要进展,它为视频分类等任务提供了强大的特征提取能力。
wavlm-base-plus-sv - 面向说话人验证的先进语音模型
模型预训练模型说话人验证开源项目自监督学习Huggingface语音识别GithubWavLM
WavLM-Base-Plus-SV是一款专为说话人验证优化的预训练语音模型。基于HuBERT框架,通过创新的门控相对位置偏置和话语混合训练,显著提升了语音内容和说话人特征的建模能力。经过94000小时语音数据预训练和VoxCeleb1数据集微调,该模型在SUPERB基准测试中展现出卓越性能。它能够有效提取说话人嵌入向量,适用于相似度检索和说话人验证等多种应用场景。
vit_small_patch16_224.dino - DINO训练的小型Vision Transformer图像特征模型
模型开源项目Huggingface自监督学习图像分类特征提取Vision TransformerGithubtimm
vit_small_patch16_224.dino是一个采用DINO自监督方法训练的小型Vision Transformer模型。该模型拥有2170万参数,支持224x224像素图像输入,可用于图像分类和特征提取。通过timm库可快速部署,在ImageNet-1k数据集预训练后,为多种计算机视觉任务提供高质量的特征表示。
wav2vec2-large-robust-ft-libri-960h - 多领域预训练的大规模语音识别模型
模型Librispeech自监督学习Github语音识别机器学习开源项目HuggingfaceWav2Vec2
wav2vec2-large-robust-ft-libri-960h是一个基于Wav2Vec2架构的大规模语音识别模型。该模型在多个领域的音频数据集上进行了预训练,包括Libri-Light、CommonVoice、Switchboard和Fisher,涵盖了有声读物、众包语音和电话交谈等多种音频类型。随后,模型在960小时的Librispeech数据集上进行了微调。这种多领域预训练和目标域微调的方法显著提高了模型在跨领域语音识别任务中的性能。模型支持16kHz采样率的语音输入,适用于需要处理多样化音频数据的应用场景。
wavlm-base-plus-sd - WavLM预训练模型助力高性能说话人分类
模型说话人分类开源项目Huggingface自监督学习音频分析语音处理GithubWavLM
WavLM-Base-Plus-SD是一个基于微软WavLM技术的预训练模型,专注于说话人分类任务。该模型在94,000小时的大规模语音数据上进行自监督学习,采用创新的话语混合训练策略,有效保留说话人身份信息。在SUPERB基准测试中,模型展现出卓越性能,可显著提升多种语音处理任务的效果。通过简洁的API接口,用户可直接对音频进行说话人分类分析。
japanese-hubert-large - 大规模日语语音表示学习模型HuBERT
模型rinna开源项目HuBERT自监督学习Huggingface语音识别Github日语语音模型
rinna公司训练的日语HuBERT Large模型采用24层transformer架构,在19,000小时ReazonSpeech语料库上训练。该模型能够提取1024维日语语音特征表示,为语音识别、合成等任务提供基础。研究人员和开发者可利用此开源模型进行各种日语语音处理应用的开发。模型采用Apache 2.0开源协议,使用方便。可通过Hugging Face transformers库轻松加载使用,支持提取日语语音特征。该项目还提供了fairseq格式的检查点文件,方便研究人员进行深入研究和二次开发。
vit_base_patch16_224.mae - 采用MAE预训练的Vision Transformer图像特征模型
模型开源项目Huggingface自监督学习图像分类特征提取Vision TransformerImageNetGithub
vit_base_patch16_224.mae是一个基于Vision Transformer架构的图像特征模型,通过自监督掩码自编码器(MAE)方法在ImageNet-1k数据集上预训练。该模型适用于图像分类和特征提取,拥有8580万参数,处理224x224像素的输入图像。它提供简洁的API,便于获取分类结果和提取图像嵌入。这个模型融合了ViT的出色表征能力和MAE的自监督学习优势,为多种计算机视觉任务提供了有力的预训练基础。
superpoint - 自监督模型SuperPoint提高多视图几何问题的兴趣点检测和描述
Github开源项目特征提取图像匹配计算机视觉自监督学习HuggingfaceSuperPoint模型
SuperPoint是一种通过自监督学习进行兴趣点检测与描述的模型,主要用于多视图几何问题。利用全卷积网络,该模型能检测不同图像中的关键点并生成对应的描述符,可应用于单应性估计和图像匹配任务。借助同形变换自适应技术,SuperPoint在MS-COCO数据集上的训练表现优越,能够识别更多兴趣点,显著提升了单应性估计精度。
hubert-large-ll60k - Facebook推出革新性语音表示学习模型
Huggingface模型Hubert语音识别Github语音表示学习预训练模型开源项目自监督学习
HuBERT是Facebook开发的自监督语音表示学习模型,专为语音识别、生成和压缩而设计。该模型采用离线聚类和BERT式预测损失,有效解决了语音学习中的多单元输入、无预训练词典和可变长度分段等问题。在LibriSpeech和Libri-light基准测试中,HuBERT展现出优异性能,特别是在challenging的dev-other和test-other子集上,相对词错误率(WER)分别降低了19%和13%。HuBERT的核心优势在于其依赖无监督聚类步骤的一致性,而非聚类标签的质量,为语音AI领域带来了新的研究方向。
hubert-xlarge-ls960-ft - 采用大规模LibriSpeech数据集微调的HuBERT模型,展示前沿语音识别性能
Hubert开源项目聚类语音表示学习模型自监督学习Huggingface自动语音识别Github
HuBERT模型通过LibriSpeech数据集上的960小时微调,提供准确的自动语音识别功能。解决大声单元处理、无词汇表和声单元长度可变等挑战,并在多项基准测试中与wav2vec 2.0性能相当或更优。通过自监督学习和离线聚类,得益于1B参数模型,显著降低了错误率,成为语音识别的关键突破方法。
wavlm-base-sv - WavLM预训练模型声纹识别与说话人验证系统
语音处理GithubWavLM自监督学习Huggingface语音识别开源项目模型说话人验证
WavLM是Microsoft开发的说话人验证预训练模型,基于16kHz采样语音训练,使用960小时Librispeech数据集预训练,并在VoxCeleb1数据集上进行X-Vector架构微调。模型通过话语和说话人对比学习,实现语音特征提取、身份验证及声纹识别。
electra-large-generator - 基于判别器架构的高效预训练语言模型
文本编码Github自监督学习Huggingface开源项目ELECTRA神经网络模型语言预训练
ELECTRA是一种自监督语言表示学习方法,采用判别器替代传统生成器架构进行预训练。该模型可在单GPU环境运行,通过区分真实和生成的输入标记进行训练。在SQuAD 2.0等基准测试中取得了显著成果,支持分类、问答和序列标注等下游任务的微调。
videomae-base-finetuned-kinetics - VideoMAE模型基于自监督学习实现Kinetics-400数据集80.9%分类准确率
神经网络计算机视觉开源项目自监督学习模型VideoMAEGithub视频分类Huggingface
VideoMAE是一个基于MAE架构的视频分析模型,采用Vision Transformer结构。经过1600轮自监督预训练和有监督微调,该模型在Kinetics-400数据集上实现了80.9%的top-1准确率和94.7%的top-5准确率。模型将视频切分为16x16的图像块进行处理,支持400种视频类别的分类任务,可应用于视频内容分析和行为识别等领域。
convnextv2_large.fcmae - 用于图像特征提取的自监督卷积模型
图像分类ConvNeXt-V2ImageNet-1k自监督学习HuggingfaceGithub开源项目模型特征提取
ConvNeXt-V2是一种运用全卷积掩码自动编码器框架进行预训练的自监督特征表示模型,适用于微调和特征提取。模型适用于图像分类、特征图提取和图像嵌入,具备较高的参数和计算效率,可在ImageNet-1k等大规模数据集上展现出色表现。通过timm库加载,模型提供了处理多种图像任务的灵活性与精确度,是计算机视觉领域的重要工具。
data2vec-audio-base-960h - 利用自监督学习提升语音识别效率的开源框架
自动语音识别语言模型Github开源项目Transformer自监督学习HuggingfaceData2Vec模型
Data2Vec是一种开源模型,基于Librispeech数据集进行960小时的16kHz语音音频的预训练和微调,在语音识别领域表现优异。利用自监督学习与自蒸馏手段,Data2Vec准确提取上下文信息,优化了自动语音识别的表现。在LibriSpeech的测试中,取得了“clean”任务2.77和“other”任务7.08的词错误率(WER),体现了其在业内的竞争力。
Llama-3-8B-Instruct-262k - 增强长距离上下文处理,支持自主助手功能
生成式模型Github定量模型开源项目长上下文自监督学习HuggingfaceLlama-3模型
Llama-3 8B-Instruct-262k通过优化RoPE theta,将上下文处理长度从8k扩展至超160k。由Gradient开发并借助Crusoe Energy的算力资源,展示了该模型在低训练条件下的长上下文处理能力,同时通过微调增强了其聊天功能。采用NTK-aware插值及数据驱动的RoPE theta优化,结合渐进式训练策略,在高性能集群中实现了多达262144 tokens的上下文扩展训练,并提供了多种量化版本以适应不同应用场景。
MERT-v1-95M - 新的音乐理解模型,适应多种任务需求
预训练模型Github模型开源项目音乐理解音频分类Transformer自监督学习Huggingface
MERT-v1-95M模型在音乐音频预训练中应用新的范式和数据集,实现出色的任务泛化能力。与MERT-v0相比,该版本采用更高质量的伪标签,在24K Hz频率下训练了20,000小时的音频数据,支持音乐生成。95M参数的模型适合不同的硬件需求,输出75 Hz的特征速率。通过整合MLM预测和批内噪声混合技术,MERT-v1-95M在多种下游任务中表现出色。
wavlm-base - 适用于多语音任务的自监督预训练模型
LibriSpeechWavLM音频分类自监督学习语音识别模型Github开源项目Huggingface
WavLM是基于自监督学习的语音预训练模型,旨在支持多种语音任务。模型在960小时Librispeech数据集上进行预训练,适用于语音识别和分类等任务,需在下游任务中微调。WavLM通过门控相对位置偏置和发音混合训练策略,强调说话者身份保留和内容建模,在SUPERB基准测试中表现优异。模型主要在英语环境中有良好表现,但目标是提供全语言栈的统一表示。
vit_small_patch14_reg4_dinov2.lvd142m - 基于自监督学习的视觉Transformer用于图像特征提取和分类
Github模型开源项目图像分类自监督学习深度学习Vision TransformerHuggingface图像特征
该Vision Transformer (ViT) 图像特征模型通过自监督学习进行预训练,基于LVD-142M数据集并采用DINOv2方法。模型专为图像分类和特征提取设计,包含22.1M参数和29.6 GMAC的运算能力。其注册方法增强了处理518x518像素图像的效果,DINOv2技术有助于无监督视觉特征学习。此模型在图像嵌入应用中表现优异,并支持多种视觉分析与研究。用户可使用timm库简单调用和部署模型,适合多种机器学习场景。
regnety_320.seer - RegNetY-32GF模型:自监督学习优化的图像特征提取工具
Github开源项目特征提取图像分类RegNetY自监督学习SwAVHuggingface模型
RegNetY-32GF模型经过SEER自监督学习预训练,具备卓越图像特征提取能力。其增强功能如随机深度和梯度检查点等,有助于优化处理大规模数据集。支持多种配置和预激活瓶颈块,适合多样化深度学习应用。
vit_small_patch8_224.dino - 基于自监督DINO的图像特征提取Transformer
图像分类模型比较自监督学习HuggingfaceGithub开源项目模型特征提取Vision Transformer
项目提供了一种自监督DINO方法的Vision Transformer模型,用于图像特征提取。具有21.7M参数和16.8 GMACs运算量,预训练数据为ImageNet-1k。适用于多种视觉任务,支持通过PyTorch和timm库实现,确保高效处理。这项技术在视觉Transformer领域表现出色。
phikon - 基于ViT的组织病理学自监督学习模型
自监督学习深度学习Huggingface开源项目模型GithubPhikon医学图像处理肿瘤病理学
Phikon是一个使用iBOT训练的组织病理学自监督学习模型。它是由Owkin开发的Vision Transformer Base模型,包含8580万个参数,支持224x224x3的图像输入。该模型在4000万个泛癌症图像块上进行了预训练,可用于从组织学图像中提取特征,并应用于多种癌症亚型的分类任务。通过微调,Phikon可以适应特定癌症亚型的研究需求。
beit_base_patch16_384.in22k_ft_in22k_in1k - 高效的BEiT自监督图像分类与嵌入模型
图像分类自监督学习BEiTHuggingface视觉TransformerImageNetGithub开源项目模型
BEiT图像分类模型在ImageNet-22k上通过DALL-E dVAE自监督掩码图像建模进行训练,并在ImageNet-22k和ImageNet-1k上进行微调。特点包括易于实现图像分类和生成图像嵌入,具有86.7百万参数,支持384x384图像。模型适合通过timm库高效调用,适用于多种计算机视觉应用。
dino-vits8 - 采用DINO训练的自监督Vision Transformer模型
Github预训练模型开源项目图像分类自监督学习Vision TransformerHuggingfaceDINO
小型Vision Transformer模型使用DINO自监督方法训练,专为ImageNet-1k数据集预训练。模型通过8x8像素的固定大小图像块输入,用于图像表征,无需微调便可用于图像分类任务。ViT模型适合下游任务的特征提取,并可通过线性层进行分类。用户可在Hugging Face上找到适合特定任务的微调版本。
albert-large-v2 - 高效低内存占用的英语语言预训练模型
开源项目预训练模型模型GithubHuggingface语言模型ALBERT自监督学习掩码语言建模
ALBERT预训练模型采用英语,具有层权重共享特性,减少内存占用同时提升效率。其自监督语言学习通过掩码语言建模和句子顺序预测实现,适合用于序列和标记分类等任务。第二版模型采用更多训练数据和优化,性能优于初版。模型包含24层、128维嵌入、1024隐藏层及16个注意力头,适合掩码语言建模或句子预测,并需通过微调匹配特定任务需求。
H-optimus-0 - 自监督视觉Transformer在病理学与组织学中的应用
开源项目模型GithubH-optimus-0Huggingface病理学视觉transformer医疗影像自监督学习
H-optimus-0是一个开源的视觉Transformer模型,基于11亿参数,利用自监督学习在50万张H&E染色全幅切片病理图像上训练。该模型能从组织学图像中提取强大特征,支持突变预测、生存分析和组织分类等应用。模型期望输入图像尺寸为224x224,建议在CUDA设备上采用混合精度以加快推断。适用于医学图像处理,尤其在病理学与组织学研究中表现出色。