#数据加载器
ogb - OGB开源项目的图机器学习数据集及标准评估工具
Open Graph Benchmark图机器学习数据加载器深度学习框架评估器Github开源项目
OGB项目集成了图机器学习所需的基准数据集、数据加载器和标准化评估工具,兼容PyTorch Geometric和DGL等主流深度学习框架。支持处理节点、链接和图级别的预测任务,数据集广泛涵盖科学、社交网络和异构知识图等领域,并适应从单GPU到多GPU的处理需求。OGB为研究人员提供了简化数据下载、标准化拆分和性能评估的便利工具。
llama-hub - 社区驱动的大语言模型数据集成工具库
LlamaHubLlamaIndex数据加载器工具集成开源项目Github
LlamaHub是一个开源项目,汇集了社区贡献的数据加载器、工具和Llama包。该项目旨在简化大型语言模型与多样化知识源的连接过程。LlamaHub提供丰富的工具集,支持创建自定义数据代理,实现智能数据处理和应用。通过PyPI包和LlamaIndex下载器等多种集成方式,LlamaHub为用户提供了便捷的使用体验,有助于充分发挥大型语言模型的潜力。