热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#rust-tokenizers
Rust-tokenizers: 高性能自然语言处理分词器库
2 个月前
Rust-tokenizers 是一个用 Rust 语言编写的高性能分词器库,为现代自然语言处理模型提供多种分词算法实现,包括 WordPiece、BPE 和 SentencePiece 等。该库性能优异,支持多种主流 Transformer 模型的分词需求。
rust-tokenizers
语言模型
分词器
性能优化
自然语言处理
Github
开源项目
2 个月前
相关项目
rust-tokenizers
rust-tokenizers是一个为现代自然语言处理模型设计的分词器库。该项目支持WordPiece、BPE和Unigram等分词算法,适用于BERT、GPT、RoBERTa等Transformer架构。库提供单线程和多线程处理,并具有Python接口,可用于各类NLP项目的文本预处理。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号