#h2o-danube3-4b

h2o-danube3是H2O.ai构建的基础大语言模型，具有40亿参数，支持在手机上本地和离线运行。该模型采用Llama 2架构调整，集成Mistral tokenizer，拥有32,000词汇和8,192上下文长度。模型兼容transformers库，提供量化和分片方案，适用于多GPU设备。其在Open LLM Leaderboard的Hellaswag测试中获得79.84高分。建议用户负责地使用该模型，审慎评估生成内容。