#混合模态早期融合技术

Ichigo是一个开源的多模态AI语音助手，它能够实时处理语音和文本的交织序列。这个工具采用混合模态模型，基于将语音直接量化为离散令牌，并使用统一的变换器架构同时处理语音和文本，实现跨模态的联合推理和生成。这种方法提高了处理速度，降低了算力消耗，使得首令牌生成的延迟仅为111毫秒，远低于现有模型，提供了接近实时的语音交互体验。