#混合架构

StripedHyena-Nous-7B是一款由Together Research开发的创新型混合架构语言模型。该模型结合了多头分组查询注意力和门控卷积技术，实现了恒定内存解码、低延迟和高吞吐量。支持处理长达32k的序列，采用混合精度设计，在短文本和长文本评估中表现出色，能够与同等规模的开源Transformer模型相媲美。这一突破性架构为自然语言处理领域带来了新的可能性。