Github
Huggingface
文档
论文Hivemind项目介绍
概述
Hivemind 是一个基于 PyTorch 的库，旨在实现跨互联网的去中心化深度学习。其主要目标是将来自不同大学、公司和志愿者的数以百计的计算机联合起来，训练一个大型神经网络模型。
关键特性
- 无主节点的分布式训练：利用分布式哈希表连接电脑形成去中心化网络，不需要依赖单一的主节点。
- 容错的反向传播：即使某些节点无响应或响应延迟，正向和反向传播也能正常进行。
- 去中心化的参数平均：通过多轮迭代聚合多个工作节点的更新，而无需同步整个网络。
- 任意大小神经网络的训练：通过去中心化专家混合体，将网络的部分层分配给参与者进行处理。
示例应用
Hivemind已经在多个项目中得到了实际应用，以下是一些利用该工具进行去中心化训练的项目：
- Petals：一个去中心化平台，用于1000亿级语言模型的推理和微调。
- Training Transformers Together：一个合作式文本到图像Transformer模型的演示项目。
- CALM：在阿拉伯语数据集上训练的掩蔽语言模型。
- sahajBERT：为孟加拉语协作预训练的ALBERT-xlarge模型。
- PyTorch Lightning 集成：通过集成到 PyTorch Lightning，可以帮助适应在慢速网络和不可靠的对等点上进行训练。
安装指南
环境要求
在安装之前，请确保环境已安装Python 3.8以上版本和PyTorch 1.9.0或更新版本。你可以使用原生安装或Anaconda安装。
使用 pip 安装
如果你的环境满足Python和PyTorch的版本要求，可以使用以下命令进行安装：
pip install hivemind
如果需要在传输数据时使用 blockwise 8-bit 压缩，可以安装附加软件包：
pip install hivemind[bitsandbytes]
从源码安装
想要从源码安装，首先克隆项目并运行安装命令：
git clone https://github.com/learning-at-home/hivemind.git
cd hivemind
pip install .
若想测试安装效果，可以运行：
pip install .[dev]
pytest tests/
系统需求
- Linux 是默认操作系统，推荐使用 Ubuntu 18.04+。其他64位发行版也应该兼容。
- macOS 部分支持，遇到问题时可以通过Docker运行Hivemind。
- Windows 10+ 可以使用Windows子系统Linux（WSL）运行Hivemind，并根据NVIDIA的指南配置GPU支持。
文档和支持
- 提供了快速入门教程和API参考文档。
- 如果在安装和使用中有疑问，可以加入相关的Discord聊天或在GitHub上提交问题。
参与贡献
Hivemind目前正处于活跃开发阶段，欢迎各种形式的贡献，无论是BUG修复、文档改进还是新功能开发。在开始之前，可以查看未解决的问题或提出新的讨论。
引用
如果在研究中使用了Hivemind或其基础算法，请您引用相关的文献和代码库。我们提供了相关文献的引用格式，详细内容请参阅项目文档。
通过这些功能，Hivemind在去中心化的深度学习训练中提供了无与伦比的灵活性和可扩展性，使得即使是在复杂和不稳定的网络环境中，也能高效训练大型神经网络。
