InternLM2.5系列采用最新技术，专注于AI研究和商业应用的长文本处理和逻辑推理，提供1M文本窗口处理能力和优化的指令遵循与用户互动体验。适合广泛的应用场景。

Chinese-LLaMA-Alpaca-2项目基于Meta的Llama-2模型开发，提供了全新的中文LLaMA-2基座模型和Alpaca-2指令精调大模型，专注于优化中文词表和扩展模型训练。模型支持大规模中文数据增量训练，显著提升中文语义和指令理解能力。支持4K至64K上下文长度，实现人类偏好对齐，提供多种工具支持部署和应用推广。适用于企业和研究机构进行语言模型深度研发和实用应用，如对话系统和文本分析等。

gemma-2B-10M项目采用递归局部注意力机制，在32GB内存限制下实现了处理1000万token上下文的能力。该项目为Gemma 2B模型提供CUDA优化的推理功能，显著提升了处理效率。项目设计简洁易用，便于开发者快速应用。虽然目前处于早期阶段，但在长文本处理领域展现出巨大潜力，有望推动相关技术的进步。

ChunkLlama项目开发了双重块注意力(DCA)技术，无需额外训练即可将大语言模型的上下文窗口扩展至原始长度的8倍以上。DCA可与主流外推技术和高效推理库兼容，支持Llama、Mistral等多种模型。实验表明，应用DCA后的Llama-2/3 70B模型能处理长达100k的上下文，并在长文本任务中表现出色。

CodeQwen1.5是一款专用于代码生成的大型语言模型,支持92种编程语言,具备64K tokens的长文本处理能力。该模型在代码生成、文本到SQL转换和bug修复等任务中表现优异,为开发者提供了高效的AI编码辅助工具。作为Qwen1.5的专用代码版本,CodeQwen1.5采用transformer架构,在多项基准测试中展现出卓越性能。

360Zhinao是一系列开源大语言模型,包括基础模型和聊天模型。该项目利用3.4万亿高质量语料训练,在多项基准测试中表现优异。其聊天模型支持4K、32K和360K三种上下文长度,其中360K(约50万中文字符)为开源中文模型最长。此外,360Zhinao还发布了搜索和重排模型,在C-MTEB排行榜上表现出色。该项目持续更新,不断推进大语言模型技术发展。