#迁移学习

本课程涵盖从基础到高级的深度学习概念，通过实践教学与丰富的视频材料，讲解PyTorch操作和应用。包括神经网络分类、计算机视觉和数据集处理等主题，适合希望深化机器学习理解和应用的学习者。课程包括最新的PyTorch 2.0教程，确保内容的时效性和专业性。

PyKale通过简化数据、软件和用户之间的连接，使跨学科研究的机器学习更容易访问。它专注于多模态学习和迁移学习，支持图像、视频和图形的数据类型，涵盖深度学习和降维模型。PyKale遵循绿色机器学习理念，通过减少重复、再利用资源和回收学习模型，实现高效和可持续的研究。适用于生物信息学、图像和视频识别及医学成像，利用多源知识做出准确且可解释的预测。

此项目推出了名为Generic Autodidactic Models的预训练模型，专为3D医学影像应用设计，特别适合标注数据有限的情况。这一模型通过自监督学习实现自我训练，无需人工标注，并能生成各种应用场景的目标模型。Models Genesis性能显著优于从零开始训练的3D模型，甚至超过了包括ImageNet模型在内的2D方法，尤其在分割肝脏、肿瘤和海马体方面表现卓越。

本项目汇集了大型预训练神经网络适配器方法的关键工具和论文。涵盖自然语言处理、计算机视觉和音频处理领域的适配器技术，包括方法、组合技术、分析评估和应用。提供框架工具链接和详细调查研究，是研究人员和从业者的重要参考资源。

DIVA是一种创新方法,利用扩散模型作为视觉助手优化CLIP表示。通过文本到图像扩散模型的生成反馈,DIVA无需配对文本数据即可提升CLIP视觉能力。在MMVP-VLM细粒度视觉评估基准上,DIVA显著提升了CLIP性能,同时保持了其在29个图像分类和检索基准上的强大零样本能力。这为增强视觉语言模型的视觉理解开辟了新途径。

Offsite-Tuning是一种迁移学习框架，允许在不完全访问原始模型的情况下对大型基础模型进行微调。该方法使用轻量级适配器和压缩仿真器，保护模型所有者和数据所有者的隐私，同时提高计算效率。与传统全模型微调相比，Offsite-Tuning保持相当准确性，同时实现6.5倍速度提升和5.6倍内存减少，适用于大规模语言和视觉模型。

CVinW_Readings项目聚焦计算机视觉在野外(Computer Vision in the Wild)这一新兴研究领域。项目提供CVinW简介并维护相关论文集。CVinW致力于开发易于适应广泛视觉任务的可转移基础模型，特点是广泛的任务转移场景和低转移成本。内容涵盖任务级转移、高效模型适应和域外泛化等研究方向的最新进展。

该项目汇集了领域自适应技术的最新研究论文、代码和相关资源。内容涵盖无监督、半监督、弱监督等多个子领域,以及计算机视觉、自然语言处理等应用场景。论文按主题分类整理,并提供代码实现链接,方便研究人员快速了解该领域前沿进展,是领域自适应研究的重要参考资料库。

PyContinual是一个开源的持续学习框架,支持语言和图像多种任务类型。框架包含40多种基线方法,可进行任务增量和领域增量学习。它具有易用性和可扩展性,允许研究者快速更改实验设置和添加自定义组件。PyContinual持续集成最新研究成果,提供最新基准测试结果,为持续学习研究提供了全面的实验平台。

ContinualLM是专注于语言模型持续学习的开源框架。它集成多种先进方法,采用统一的训练评估流程。支持领域自适应预训练和端任务微调,包含6个领域数据集。该框架致力于推动语言模型持续学习研究,为研究人员提供灵活有力的工具。

UniTS是一种统一的时间序列模型，可处理多领域的分类、预测、插补和异常检测任务。该模型使用共享参数方法，无需任务特定模块，在38个多领域数据集上表现优异。UniTS具有零样本、少样本和提示学习能力，能适应新的数据领域和任务。其创新的统一网络主干融合了序列和变量注意力机制以及动态线性运算符，为时间序列分析提供了灵活的解决方案。

REINVENT 4是一款基于强化学习的先进分子设计工具，支持从头设计、骨架跳跃和R基团替换等多种任务。它根据多组分评分标准生成优化分子，并通过迁移学习提高设计效率。该工具兼容Linux、Windows和MacOS平台，支持GPU和CPU运行，为药物研发和化学创新提供了有力支持。

SIGIR2020_PeterRec提出了一种基于用户序列行为的参数高效迁移学习方法,用于改进推荐系统性能。该方法在冷启动等场景中表现出色。项目提供了多个大规模数据集,用于评估各类推荐模型,包括基础模型、可迁移模型、多模态模型和大语言模型。项目还包含PyTorch代码实现和详细的使用说明。

OpenVINO Training Extensions是一个专注计算机视觉的低代码迁移学习框架。它基于PyTorch和OpenVINO工具包开发,提供简洁API和CLI命令,支持分类、检测、分割等多种任务的模型训练、推理和部署。该框架具备自动配置、分布式训练、混合精度等功能,可快速构建高效准确的视觉AI模型。

SuPreM是一套基于大规模数据集和每体素标注的预训练3D模型,在多种医学影像任务中展现出优秀的迁移能力。该项目结合AbdomenAtlas 1.1数据集(9,262个带注释CT扫描)和多个先进AI模型,为三维医学图像分析提供了基础数据集和模型,有助于提升该领域的研究效率和算法性能。

T5-base模型在SQuAD数据集上进行微调，通过整合答案和上下文实现问题生成。项目依托Hugging Face的Transformers库，在Google的支持下，利用迁移学习提升自然语言处理的精确度。支持大规模无标签数据集加载及优化训练脚本，以改善问答生成性能。

Big Transfer (BiT) 是一种通过扩展预训练提升视觉任务中深度神经网络表现的方法，优化样本效率和超参数调整。该方法在超过20个数据集上具备优异的迁移能力，并可适应不同数据规模的需求。在ILSVRC-2012数据集上，BiT达到了87.5%的top-1准确率，在CIFAR-10数据集上取得99.4%的准确率，并在19项视觉任务基准测试中获得76.3%的成绩。这使得BiT在图像分类任务中得到广泛应用。

本项目针对日语文本处理，提供了一款预训练的T5模型，该模型利用Wikipedia、OSCAR和CC-100等约100GB的数据进行训练。相比Google多语言T5模型，虽尺寸小25%，但在精度上有所提升，尤其是在livedoor新闻分类任务中表现突出。适用于日语文本高效处理，需关注潜在的偏见和伦理输出问题。

all-MiniLM-L6-v2是一个基于sentence-transformers的句子嵌入模型。它能将文本映射至384维向量空间,在超11亿对句子上微调而成。该模型适用于语义搜索、聚类等多种NLP任务,采用对比学习方法生成高质量嵌入。通过sentence-transformers或Hugging Face Transformers库,可轻松集成到各类应用中。在多项基准测试中,all-MiniLM-L6-v2展现出优异性能。

T5-11B是一个基于Text-To-Text Transfer Transformer架构的大型语言模型，拥有110亿参数。该模型采用统一的文本到文本格式，能够处理机器翻译、文档摘要、问答和分类等多种NLP任务。T5-11B在Colossal Clean Crawled Corpus (C4)上进行预训练，并在24个任务上评估性能。模型支持英语、法语、罗马尼亚语和德语，展现出优秀的迁移学习能力，为自然语言处理应用奠定了坚实基础。

t5-v1_1-base是Google T5模型的升级版，引入GEGLU激活函数并采用无dropout预训练策略。该模型仅在C4数据集上进行预训练，使用前需针对特定任务微调。在文本摘要、问答和分类等多个自然语言处理任务中，t5-v1_1-base展现出卓越性能，为NLP领域提供了新的研究方向。

tf_efficientnet_b0.ns_jft_in1k模型基于EfficientNet架构，通过Noisy Student半监督学习在ImageNet-1k和JFT-300m数据集上训练。拥有520万参数，0.4 GMAC，支持224x224图像输入。这一轻量级模型适用于图像分类、特征提取和嵌入生成，为计算机视觉应用提供高效且多功能的解决方案。

该模型是基于google/vit-base-patch16-224-in21k预训练模型在food101数据集上微调的图像分类模型。采用Vision Transformer架构,经5轮训练后在评估集上达到89.13%的准确率。模型能识别101种不同类型的美食,可应用于餐饮行业的图像自动分类和识别。训练过程使用Adam优化器和线性学习率调度器,batch size为128。

这是一个基于distilbert-base-cased模型微调的英语命名实体识别(NER)工具。该模型在conll2003英语数据集上训练，对大小写敏感，在验证集上达到98.7%的F1分数。它能够有效识别和分类文本中的人名、地名和组织名等命名实体，为各种自然语言处理任务提供支持。

bert_uncased_L-4_H-256_A-4是BERT模型系列中的一款，专为计算资源受限环境设计。该模型保留了标准BERT架构和训练目标，但规模更小。它可进行常规微调，在知识蒸馏中表现尤佳。此项目旨在支持资源有限的机构开展研究，并鼓励探索创新方向，而非单纯扩大模型规模。

bert-base-personality是一个利用BERT模型进行人格特质预测的开源工具。通过迁移学习和微调技术，该模型能够基于文本输入准确预测Big Five人格特质中的外向性、神经质、宜人性、尽责性和开放性五个维度。这个项目不仅展示了迁移学习在机器学习领域的应用潜力，同时也凸显了BERT模型在人格分析任务中的卓越表现。

这是一个基于Vision Transformer (ViT)架构的大型图像处理模型，在ImageNet-21k数据集上预训练，并在ImageNet-1k上微调。模型采用了先进的数据增强和正则化技术，适用于图像分类和特征提取任务。它包含3.04亿参数，处理224x224尺寸的输入图像。通过TIMM库，用户可以方便地使用该模型进行图像分类和特征嵌入提取。由于在大规模数据集上训练，该模型展现出卓越的图像理解能力。

该模型是基于google/vit-base-patch16-224-in21k在cats_vs_dogs数据集上微调的图像分类模型。采用Vision Transformer架构，在评估集上实现98.83%的准确率。模型可用于宠物识别、动物摄影分类等猫狗图像分类任务。开发者可以方便地将其集成到各种应用中，实现高效的猫狗识别功能。

t5-v1_1-small作为Google T5模型的升级版，引入了GEGLU激活函数并在预训练阶段移除了dropout。模型在C4数据集上完成预训练，需要针对特定任务进行微调。其统一的文本到文本框架使其能够处理包括摘要、问答和文本分类在内的多种NLP任务，为迁移学习研究提供了新的可能性。

KR-FinBert-SC利用金融语料库进行预训练和微调，以提高NLP中的情感分析性能。该模型训练涉及韩国维基百科、新闻文章和法律文本等，扩展数据集超过12GB，并添加了经济新闻和证券分析报告以支持迁移学习。在50,000条标记数据中，该模型的情感分类准确率达到96.3%。

此项目展示了一个经过日本CC-100和维基百科数据集训练的日语RoBERTa模型，专注于掩码语言建模。该模型在12层768隐藏单元的架构中实现了良好的语义预测能力，适合自然语言处理应用，且支持自定义位置编码。

GPT2-small-spanish是一个基于GPT-2 small架构的西班牙语语言模型，通过在西班牙语维基百科数据集上进行迁移学习和微调而成。该模型耗时70小时训练完成，支持文本生成等自然语言处理任务。模型由Datificate团队基于Pierre Guillou的GPorTuguese-2项目开发，在庆熙大学IAI实验室完成训练。作为开源项目，该模型为西班牙语NLP应用提供了重要的基础支持。

MuRIL是一种专为17种印度语言及其音译数据预训练的BERT模型。此模型利用公共数据集和新颖的训练方法，在低资源语言处理上表现优异。MuRIL在多个基准任务中超越了传统的mBERT模型，适用于印度语言的多种NLP任务，并附带预处理模块及使用指南以支持有效应用。