#Mamba-Chat

mamba-chat

Mamba-Chat是一个基于状态空间模型架构的聊天语言模型，区别于传统的Transformer架构。该项目提供模型训练和微调代码，采用修改后的Huggingface Trainer类。Mamba-Chat以Mamba-2.8B为基础，在ultrachat_200k数据集的部分样本上进行了微调。项目支持通过命令行或Gradio应用与模型交互，并提供进一步微调的指南。Mamba-Chat为自然语言处理领域引入了新思路，展示了非Transformer架构在对话系统中的应用潜力。