#孟加拉语

Bangla BERT Base是一款为孟加拉语开发的预训练语言模型，现已在Hugging Face平台上可用。该模型通过BERT的Masked Language Modeling进行训练，使用来自Bengali Commoncrawl和Wikipedia的语料库，并借助BNLP包进行词汇表构建。採用了bert-base-uncased架构，共有12层、768个隐藏单元、12个注意力头和110M参数。经过100万步训练，它在情感分析、仇恨言论检测和新闻分类等下游任务中表现突出，与多语言BERT和Bengali Electra相比，提高了精度。尤其是在Bengali NER任务中，评估结果相对优秀。该模型已经被应用于多项研究，是处理孟加拉语NLP任务的可靠工具。