下一代数据发现和数据可观测性平台
网站 • 领英 • Slack • 文档 • 博客 • 演示
演示
体验我们的演示应用!
简介
ODD是一个面向数据团队的开源数据发现和可观测性工具,通过现代化、用户友好的环境,帮助高效地实现数据民主化、增强协作并缩短数据发现时间。
主要优势
-
缩短数据发现阶段
-
清晰了解数据的使用方式和使用者
-
通过持续的合规性和数据质量监控培养数据文化
-
加速数据洞察
-
了解仪表板和临时报告的数据来源
-
通过评估和降低风险,负责任地废弃过时的对象
-
:point_right: ODD平台是**开放数据发现规范**的参考实现。
功能
数据发现和可观测性
- 在联邦数据目录中积累分散的数据洞察
- 通过端到端数据对象血缘关系获得可观测性
- 利用先进的端到端微服务血缘关系功能,跟踪整个数据景观中的数据流
- 通过管道监控工具获得警告和提醒
- 存储元数据
- 使用ODD原生的现代轻量级UI
机器学习优先
- 通过自动记录参数保存机器学习实验结果
数据安全与合规
- 管理标签以防止数据滥用
- 参考标签以遵守数据安全标准
- 完全透明地了解数据的使用方式和使用者
数据质量
- 利用高级数据质量仪表板,深入了解数据集的数据质量指标、趋势和问题,实现主动的数据质量管理
- 通过与Great Expectations和DBT测试的兼容性,简化数据质量流程
- 将ODD与任何自定义数据质量框架集成
参考数据管理(查找表) - 主数据管理(MDM)的一部分
- 集中管理和存储参考数据,确保关键数据元素(如货币代码、国家名称和产品类别等)的单一真实来源
- 轻松将查找表与数据管道和转换集成,增强数据丰富和验证过程
- 通过在所有数据资产中维护准确一致的参考数据,支持数据治理和合规工作
入门指南
作为独立容器运行
设置PostgreSQL连接详情,例如:
export POSTGRES_HOST=172.17.0.1 \
export POSTGRES_PORT=5432 \
export POSTGRES_DATABASE=postgres \
export POSTGRES_USER=postgres \
export POSTGRES_PASSWORD=mysecretpassword
启动平台的新实例:
docker run -d \
--name odd-platform \
-e SPRING_DATASOURCE_URL=jdbc:postgresql://${POSTGRES_HOST}:${POSTGRES_PORT}/${POSTGRES_DATABASE} \
-e SPRING_DATASOURCE_USERNAME=${POSTGRES_USER} \
-e SPRING_DATASOURCE_PASSWORD=${POSTGRES_PASSWORD} \
-p 8080:8080 \
ghcr.io/opendatadiscovery/odd-platform:latest
如果是本地环境,请访问localhost:8080
使用Docker Compose在本地运行
docker-compose -f docker/demo.yaml up -d odd-platform-enricher
- :point_right: 快速开始
使用Helm Charts部署到Kubernetes
- :point_right: 快速开始
示例配置
在**docker/examples目录**中有各种示例配置(通过docker-compose)。
贡献
我们非常欢迎为ODD平台做出贡献。对于基本贡献,您只需熟悉GitHub和Git即可。最佳的贡献方式是:
- 开发新的适配器
- 完善文档
为确保平等和积极的交流,我们遵循我们的行为准则。在开始与此仓库进行任何互动之前,请阅读并确保遵守。
在贡献之前,请查看我们的贡献指南和标记为"good first issue"的问题:
集成
OpenDataDiscovery平台提供全面的数据源支持,以满足您的需求。
## ODD数据模型
ODD操作以下几种高级实体类型:
- 数据集(数据集合:表格、主题、文件、特征组)
- 转换器(数据转换器:ETL或机器学习训练作业、实验)
- 数据消费者(数据消费者:机器学习模型或商业智能仪表板)
- 数据质量测试(用于数据集的数据质量测试)
- 数据输入(数据来源)
- 转换器运行(ETL或机器学习训练作业的执行)
- 质量测试运行(数据质量测试的执行)
欲了解更多信息,请查看**specification.md**。
社区支持
如果您需要帮助、想聊天或有任何其他问题,欢迎加入我们的社区:
联系方式
如果您有任何问题或想法,请随时联系我们中的任何一位。
团队成员 | GitHub | |
---|---|---|
German Osin | germanosin | |
Nikita Dementev | DementevNikita | |
Damir Abdullin | damirabdul | |
Alexey Kozyurov | Leshe4ka | |
Pavel Makarichev | vixtir | |
Roman Zabaluev | Haarolean |
许可证
ODD平台使用Apache 2.0许可证。