热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#子词嵌入
bpemb
BPEmb使用Byte-Pair Encoding (BPE)技术,为275种语言提供训练好的子词嵌入,训练数据来自Wikipedia。该项目为神经网络在自然语言处理任务中提供输入。用户可以通过pip安装BPEmb,并自动下载所需的嵌入和SentencePiece模型。BPEmb支持子词分段和预训练子词嵌入,适用于多种语言处理任务,具有多种词汇表大小选择,以满足不同应用需求。
floret
floret是fastText的扩展版本,结合fastText的子词技术和Bloom嵌入,为任意词生成紧凑的全覆盖向量。通过将词和子词哈希存储在同一表中,大幅减少存储空间。支持训练词嵌入和文本分类模型,提供Python接口,生成的向量可轻松导入spaCy等NLP库。作为一个高效的文本处理工具,floret在保持fastText优点的同时,提供了更紧凑的词向量表示方法。
相关文章
Floret: 结合fastText和Bloom嵌入的紧凑全覆盖向量
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号