热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#tiktoken-go
tiktoken-go: OpenAI的tiktoken在Go语言中的实现
2 个月前
tiktoken-go是一个纯Go语言实现的OpenAI tiktoken库,为OpenAI的模型提供高效的BPE分词功能。它是原始Python tiktoken库的Go语言移植版本,提供了相同的功能和性能。
tiktoken-go
OpenAI
BPE词典
编码
模型
Github
开源项目
2 个月前
相关项目
tiktoken-go
tiktoken-go是一个高效的BPE分词器,适用于OpenAI的多种模型。作为原版tiktoken在Go语言中的实现,它提供了与原库一致的缓存机制和多种加载选项,包括离线加载器,便于快速使用和自定义实现。项目包含详细的使用示例,涵盖各种编码和模型,以及性能测试结果,展示了其出色的性能表现。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号