访问官网
Github
文档项目介绍：HuggingFace Model Downloader
项目概述
HuggingFace Model Downloader 是一个用于从 HuggingFace 网站下载模型和数据集的实用工具。它提供多线程下载支持，特别针对大文件使用 Git Large File Storage（LFS），并通过 SHA256 校验验证下载模型的完整性。
项目起因
开发者制作这个工具的初衷是因为在使用 Git LFS 下载文件时速度较慢，同时市场上也没有一个好用的二进制工具来轻松下载 HuggingFace 的模型。未来，这个工具还可能被整合在使用 Go/Python 组合进行推理的项目中，从而提供更便捷的操作体验。
快速安装
HuggingFace Model Downloader 支持在 Linux、Mac 以及 Windows 的 WSL2 环境中一键安装。使用以下命令可以根据操作系统和架构下载合适版本，并将二进制文件保存为 “hfdownloader”：
bash <(curl -sSL https://g.bodaay.io/hfd) -h
如果需要安装到默认的操作系统bin文件夹，可以使用：
bash <(curl -sSL https://g.bodaay.io/hfd) -i
支持指定安装路径，示例如下：
bash <(curl -sSL https://g.bodaay.io/hfd) -i -p ~/.local/bin/
下载和运行实例
工具提供各种下载模型的示例命令，用户可以根据需求进行选择。这里是一些简单的用例：
-
下载模型
TheBloke/orca_mini_7B-GPTQbash <(curl -sSL https://g.bodaay.io/hfd) -m TheBloke/orca_mini_7B-GPTQ -
下载指定变体的 Vicuna 模型，并按需筛选下载：
bash <(curl -sSL https://g.bodaay.io/hfd) -m TheBloke/vicuna-13b-v1.3.0-GGML:q4_0
功能标志
HuggingFace Model Downloader 提供多种命令标志支持，用户可以根据自身需要灵活使用：
-m, --model string：指定模型或数据集名称。-d, --dataset string：指定数据集名称。-f, --appendFilterFolder bool：在文件夹中附加筛选名称。-k, --skipSHA bool：跳过 SHA256 检查。-s, --storage string：指定存储路径。-c, --concurrent int：设置并发连接数。- 以下省略部分其他标志，完整列表请参考使用文档。
功能特色
HuggingFace Model Downloader 具有以下显著功能：
- 能递归下载模型文件。
- 支持大文件的多线程下载。
- 可以筛选特定的 LFS 模型文件。
- 提供简单易用的命令行工具或单一二进制执行。
- 下载模型的 SHA256 校验。
- 支持中断下载的恢复。
- 支持 HuggingFace 的访问令牌，以下载受限的模型/数据集。
- 提供配置文件支持，可以通过生成配置命令创建默认配置文件。
配置文件支持
用户可以在 ~/.config/hfdownloader.json 创建配置文件，设置所有命令标志的默认值，并通过命令 hfdownloader generate-config 来生成示例配置文件。
HuggingFace Model Downloader 是一个强大的工具，帮助用户轻松高效地管理从 HuggingFace 下载的模型和数据集。无论是作为个人项目工具还是更大项目的一部分，它都展现了灵活性和强大性能。
