相关项目
OpenELM
OpenELM是一个开源库，致力于在代码和自然语言领域实现基于语言模型的进化搜索。它支持MAP-Elites等多种进化算法，集成了本地和API调用的语言模型，并提供了包括Sodarace和图像生成在内的多个基准环境。该项目旨在为不同计算能力的用户提供简单易用的接口，展示语言模型进化的潜力。
OpenELM-3B-Instruct-GGUF
基于GGUF格式量化，提供从Q2到F16共16种量化版本。模型采用层级缩放策略优化参数分配，基于1.8万亿token数据训练，支持指令微调，可在3.14GB至7.72GB内存环境下运行。
OpenELM-3B-Instruct
OpenELM项目推出了一系列高效的语言模型，通过层级缩放策略提升了准确性。项目提供完整架构，从数据准备到模型评估，并提供270M到3B参数的多个模型版本。预训练数据集涵盖RefinedWeb等，约1.8万亿词块，支持在HuggingFace Hub使用。OpenELM通过创新的参数分配和多样数据集，助力研究人员在自然语言处理领域取得进展。