#GPT3 Tokenizer

gpt3-tokenizer

GPT-3 Tokenizer是一款适用于NodeJS和浏览器环境的TypeScript分词库，提供GPT-3和Codex分词支持。确保分词效果与OpenAI Playground一致，利用Map API提高性能，并支持简洁的编码与解码功能。