热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#M1/M2设备
SlowLlama: 在资源受限设备上微调大型语言模型的创新方法
2 个月前
SlowLlama是一个创新项目,旨在让资源受限的设备(如MacBook Air)也能微调70B参数级别的大型语言模型。它通过巧妙的内存管理和磁盘缓存策略,突破了硬件限制,为AI民主化开辟了新的可能。
slowllama
Llama2
CodeLLama
M1/M2设备
GPU
Github
开源项目
2 个月前
相关项目
slowllama
slowllama是一个专注于微调Llama2和CodeLLama模型的开源项目,支持70B/35B模型版本,并可在Apple M1/M2设备(如Macbook Air、Mac Mini)或消费级nVidia GPU上运行。通过将模型部分数据转储到SSD或主内存,该项目避免使用量化技巧,优化正向和反向传递性能。采用LoRA方法限制参数更新,操作步骤详尽,包括依赖安装、模型下载和配置脚本,是在资源有限环境下进行大模型微调的理想选择。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号