#PEFT微调

mamba-130m-hf是基于Mamba架构的轻量级语言模型，专为因果语言建模设计。该模型与Transformers库兼容，支持高效文本生成和序列建模。通过创新的状态空间模型结构，mamba-130m-hf在保持较小参数量的同时展现出卓越性能。模型可用于直接文本生成，也支持通过PEFT等技术进行微调以适应特定任务。其轻量级设计和强大功能使其成为序列建模任务的理想选择。