相关项目
corenet
CoreNet是一款多功能深度神经网络工具库，支持训练各种规模的标准和创新模型。它适用于基础模型、计算机视觉和自然语言处理等多个领域。该项目提供可复现的训练方案、预训练模型权重和针对Apple Silicon优化的MLX示例，有助于推动AI研究和应用的发展。
OpenELM-3B-Instruct
OpenELM项目推出了一系列高效的语言模型，通过层级缩放策略提升了准确性。项目提供完整架构，从数据准备到模型评估，并提供270M到3B参数的多个模型版本。预训练数据集涵盖RefinedWeb等，约1.8万亿词块，支持在HuggingFace Hub使用。OpenELM通过创新的参数分配和多样数据集，助力研究人员在自然语言处理领域取得进展。