tiktoken-go
tiktoken-go是一个高效的BPE分词器,适用于OpenAI的多种模型。作为原版tiktoken在Go语言中的实现,它提供了与原库一致的缓存机制和多种加载选项,包括离线加载器,便于快速使用和自定义实现。项目包含详细的使用示例,涵盖各种编码和模型,以及性能测试结果,展示了其出色的性能表现。