该项目提供了TypeScript和C#版的字节对编码(BPE)tokenizer，主要用于OpenAI LLMs，并基于开源的Rust实现。适用于Node.js和.NET环境，在传递提示词给LLM前进行tokenization处理。建议C#用户从Microsoft.DeepDev.TokenizerLib迁移至性能更优的Microsoft.ML.Tokenizers。欢迎开发者贡献代码和意见。