DeepDataSpace
Deep Data Space (DDS) 是一个开源数据集工具,具有以下开箱即用的功能:
- 交互式数据集可视化和探索
- 具有协作工作流程的智能标注
- 高效的模型管理和性能分析
1. 安装
1.1 先决条件
DeepDataSpace(DDS) 需要 Python 3.8 - 3.10,并在以下平台上运行:
- Mac OS: ✅ x86/x64, ✅ arm64
- Windows 10: ✅ x86/x64, ❌ arm64
- Ubuntu LTS 18.04及以上版本: ✅ x86/x64, ❌ arm64
- Docker Compose: ✅ x86/x64, ✅ arm64
1.2 从PyPI安装
python3 -m pip install pip --upgrade
python3 -m pip install deepdataspace
2. 快速开始
安装 deepdataspace
后,dds
命令将可用,您可以使用它快速启动 DDS 工具。
dds --quickstart
# 在 http://127.0.0.1:8765 启动了 DDS[${pid}]。
# DDS 工具正在后台导入以下目录中的数据集:$HOME/.deepdataspace/dataset-samples。
# 通过 ddsop --help 探索其他有用的命令。
# 您可以使用 Ctrl+C 退出 DDS 工具。
第一次启动 DDS 工具时需要一段时间,因为它正在下载额外的依赖项来设置运行环境。 DDS 工具启动后,访问 http://127.0.0.1:8765,您将看到以下示例数据集:
3. 其他安装方法
3.1 从源代码安装
# 克隆源代码
git clone https://github.com/IDEA-Research/deepdataspace.git
# 准备 node 环境(如果您还没有安装 Pnpm 和 Node 环境)
curl -fsSL https://get.pnpm.io/install.sh | sh -
pnpm env use --global lts
# 编译前端文件
pnpm i
pnpm run build:app
# 将前端文件复制到 Python 包目录
rm -rf deepdataspace/server/static/*
cp -R packages/app/dist/* deepdataspace/server/static/
cp deepdataspace/server/static/index.html deepdataspace/server/templates/
# 安装包
python3 -m pip install pip --upgrade
python3 -m pip install -r requirements.txt
python3 setup.py install
安装完成后,您可以像上面一样启动 DDS:
dds --quickstart
3.2 使用 Docker Compose 安装
# 克隆源代码
git clone https://github.com/IDEA-Research/deepdataspace.git
# 准备数据集目录(您将在其中放置所有数据集)
mkdir -p datasets
export DDS_DATASET_DIR=$PWD/datasets
# 为 DDS 选择一个访问端口
export DDS_PORT=8765
# 使用 docker compose 启动 DDS
cd deepdataspace
docker compose up
如果一切顺利,您可以开始访问 http://127.0.0.1:8765 的 DDS
4. 文档
访问我们的文档以获取有关如何利用 DDS 功能的更多详细信息。
5. 卸载
对于从 PyPi 或源代码安装 DDS 的用户,只需使用 pip
卸载 DDS 并删除运行时文件。
pip uninstall deepdataspace
rm -rf ~/.deepdataspace/* # 谨慎使用,它将删除之前导入的所有数据集
对于从 docker 镜像安装 DDS 的用户,只需停止容器并删除 docker 镜像和卷。
docker stop dds
docker rmi deepdataspace/dds
docker volume remove dds-runtime # 谨慎使用,它将删除之前导入的所有数据集
6. 许可证
本项目采用 Apache 2.0 许可证。
Copyright 2023-present, IDEA
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.