项目介绍:Dolphin 2.9.3 Mistral Nemo 12b 🐬
基本信息
Dolphin 2.9.3 Mistral Nemo 12b 是由Eric Hartford和Cognitive Computations精心策划和训练的AI模型,基于mistralai/Mistral-Nemo-Base-2407开发,并根据Apache 2.0许可进行授权。此模型的基础模型具有128K的上下文能力,而在微调时使用了8192的序列长度。Dolphin 2.9.3采用了ChatML的提示模板格式,并具有出色的指令遵循、对话以及编码技能。
项目特点
-
高级指令遵循和对话能力:Dolphin 2.9.3不仅提供出色的指令遵循能力,而且还具备优秀的对话技巧,使其在与用户交流时表现尤为出色。
-
初步的自主代理能力:该模型开始具备一些初步的代理能力,支持函数调用,这使得其在处理复杂任务时更为灵活。
-
去除审查内容:我们刻意对数据集进行了过滤,以去除偏见和不合规内容,使得模型在提供服务时更加符合用户需要。然而,由于模型是非审查的,建议在将其作为服务公开时,用户自行添加合适的对齐层,以确保其回答的合规性。
-
多领域数据训练:Dolphin 2.9.3使用多种数据集进行训练,包括cognitivecomputations/Dolphin-2.9、teknium/OpenHermes-2.5等,确保其广泛的应用能力。
使用与责任
Dolphin受Apache 2.0许可的管理,允许包括商业用途在内的任何形式的使用。在使用本模型时,使用者需要对生成的内容负责,并鼓励负责任地使用模型。
评估与测试
在多种任务类型上的评估结果中,如acc(准确率)、acc_norm(标准化准确率)、exact_match(精确匹配率)等方面,Dolphin展现了稳定的性能。对各种复杂任务如使用数学问题、逻辑推理等也提供了良好的支持,展现了其多元的技术能力。
模型训练
Dolphin 2.9.3在训练中使用了多个多样化的数据集,确保其应用的广泛性与丰富性。其训练过程注重对不同文本对话的理解与生成能力的提升,也进一步提高了模型的整体实用性。
值得一提的是,项目的支持者Crusoe Cloud提供了优质的按需8xL40S节点,为其开发与训练提供了重要的计算资源支持。
总结
Dolphin 2.9.3 Mistral Nemo 12b 是一款功能强大且高度可部署的AI助手,它结合了丰富的数据资源和先进的技术方法,是各类AI应用开发者的理想选择。无论是用于日常交互、指令执行,还是复杂任务处理,它都表现出色。使用者在使用过程中切勿忽视其审查功能的完善,以确保所有生成内容的合规与责任管理。