#自监督预训练

UniTable是一个创新的表格识别框架，统一了训练范式、目标和模型架构。它利用自监督预训练和语言建模，有效处理表格结构、单元格内容和边界框识别。该项目在四个大型数据集上展现最先进性能，并提供完整的推理流程Jupyter Notebook，支持多数据集微调和全面表格识别。

emotion2vec是一个开源的语音情感表示模型,采用自监督预训练方法提取跨任务、跨语言和跨场景的通用情感特征。该模型在IEMOCAP等数据集上取得了领先性能,并在多语言和多任务上展现出优异表现。项目开源了预训练模型、特征提取工具和下游任务训练脚本,为语音情感分析研究提供了有力支持。

AudioLDM 2是一个文本到音频扩散模型，能通过自监督预训练生成多样化的音效、语音与音乐样本。其模型提供多个检查点，既适用于一般文本到音频的生成，也专注于音乐生成。用户可以通过调整推理步骤和音频长度控制生成音频的质量和时长。在Diffusers库中，从v0.21.0版本便可应用。该模型通过简单的提示，支持个性化音频创作，以中立的方式满足音频生成需求。

Swin Transformer v2是为图像分类和密集识别任务而设计的视觉Transformer模型。它在ImageNet-1k上进行256x256分辨率的预训练，具有通过局部窗口自注意力机制实现线性计算复杂度的特性。相比前代，Swin Transformer v2加入了残差后范数加余弦注意力以提升训练稳定性、日志距离连续位置偏置以提升低分辨率预训练模型在高分辨率任务中的表现，以及SimMIM自我监督预训练方法以减少对大规模标注图像的依赖。