#自回归模型

LlamaGen项目展示了自回归模型在图像生成中的潜力，通过无偏视觉信号和大规模数据训练，实现了媲美扩散模型的性能。该项目发布了多种图像tokenizer和生成模型，支持从100M到3B参数的多种配置，并提供在线演示和高效的vLLM服务框架。访问项目页面和在线demo，体验这些创新模型的强大功能。

Open-MAGVIT2是一个创新的自回归视觉生成项目，采用无查找技术和262144大小的码本，克服了VQGAN的局限性。该项目用PyTorch重新实现MAGVIT2分词器，在图像分词方面取得显著进展，8倍下采样时rFID达到0.39。项目致力于推动自回归视觉生成领域发展，目前处于积极开发阶段，未来计划拓展至视频生成领域。

MAR是一个开源项目，专注于自回归图像生成。它独创性地避免使用向量量化，在ImageNet 256x256数据集上实现了1.55的FID-50K分数。项目提供完整的PyTorch实现、预训练模型、在线演示和实验脚本。MAR通过创新设计，在不牺牲生成质量的前提下，显著提升了模型效率。

Lumina-mGPT是一个多模态自回归模型系列，适用于多种视觉和语言任务。这个开源项目特别擅长将文本描述转化为逼真图像，提供7B和34B两种参数规模的模型，以及多种图像分辨率选项。除图像生成外，Lumina-mGPT还支持图像理解和全能型任务，为AI研究和应用开发提供了灵活的工具。

Yi-Ko-6B项目通过引入韩语和英语语料库，以及扩展词汇，实现对预训练模型的增强。该模型基于Llama-2优化的transformer架构，并拥有6亿参数，专注于文本生成任务。在AI2 Reasoning Challenge、HellaSwag和MMLU等多项基准测试中，模型展现了突出的多语言处理能力。此外，它还能高效执行韩语句子的词分段与生成。