#MMLU

iAsk.Ai——顶尖免费AI搜索引擎，结合先进的NLP及Transformer技术，提供即时、准确且客观的答案。在行业标准测试中，性能优于人类专家，是您信赖的信息检索助手。

项目呈现Meta AI的LLaMA与LLaMa 2开源重现版本，并采用缩小的模型参数：llama1_s为1.8B，llama2_xs为460M。训练基于RedPajama数据集，使用GPT2Tokenizer分词，支持通过HuggingFace Transformers库直接加载以及文本生成。模型在MMLU任务中表现评估，其中llama2_xs_460M在0-shot和5-shot中分别得21.13和26.39的分数。

Daredevil-8B通过合并多个Llama 3 8B模型，优化了MMLU性能，以卓越的表现位居Open LLM排行榜之首。该模型运用LazyMergekit合并工具，在AI2 Reasoning Challenge、HellaSwag等任务中展现了出色的文本生成能力，并量化为GGUF模型版本，以便于广泛应用于文本生成任务。