#h2o-danube3-4b-chat

h2o-danube3-4b-chat是由H2O.ai推出的4亿参数聊天模型，采用Llama 2架构，并经过H2O LLM Studio微调。该模型支持在手机设备上离线运行，使用Mistral tokenizer，支持32,000词汇量和8,192上下文长度。其在🤗 Open LLM Leaderboard上的表现具竞争力，并支持量化和多GPU分片，便于加载与使用。