#Basaran

Basaran是一款开源工具，旨在替代OpenAI的文本生成API，支持Hugging Face Transformers模型。其主要功能包括流式生成、多GPU支持、与OpenAI API的兼容性等。用户无需修改代码即可使用最新的开源模型，适用于多种解码策略和实时进度显示。