#MacBERT
chinese-macbert-base - 通过MLM误差校正任务优化中文BERT模型的性能
Github开源项目预训练模型自然语言处理模型Huggingface掩码语言模型句子排序预测MacBERT
项目通过引入MLM误差校正预训练任务，减少预训练和微调过程中的差异，提升中文自然语言处理的模型表现。采用同义词工具进行相似词替换，改进传统BERT的[MASK]标记。此外，还结合全词掩码、N-gram掩码和句序预测技术，增强模型功能。MacBERT的架构与原始BERT兼容，为研究人员提供灵活的替换方案。
text2vec-large-chinese - 中文大规模句子相似性与特征提取模型
Github开源项目模型transformersHuggingface特征提取text2vec句子相似度MacBERT
基于text2vec衍生的中文模型，采用LERT替代MacBERT，提高句子相似性和特征提取效率。支持onnxruntime，发布于2024年6月25日。