什么是Open Data Discovery Platform?
Open Data Discovery (ODD) Platform是一个开源的数据发现和可观测性平台,专为数据团队设计,旨在帮助企业高效地实现数据民主化、增强协作并减少数据发现时间。作为下一代数据治理解决方案,ODD Platform提供了从数据摄入到生产的全方位洞察,通过前所未有的可观测性和信任来释放大数据的力量。
核心优势
- 缩短数据发现阶段
- 透明展示数据的使用方式和使用者
- 通过持续合规和数据质量监控培养数据文化
- 加速获取数据洞察
- 了解仪表板和临时报告的数据来源
- 负责任地弃用过时对象,评估和缓解风险
ODD Platform是开放数据发现规范的参考实现。通过标准化的数据收集,它消除了传统数据目录的低效问题,提高了数据目录的兼容性,实现了端到端的数据血缘,并采用了先进的数据质量和数据可观测性实践。
主要功能
1. 数据发现与可观测性
- 在联邦数据目录中积累分散的数据洞察
- 通过端到端的数据对象血缘获得可观测性
- 利用先进的端到端微服务血缘功能,跟踪整个数据景观中的数据流
- 通过管道监控工具获得警告和警报
- 存储元数据
- 使用ODD原生的现代轻量级UI
2. 机器学习优先
- 通过自动记录参数保存ML实验结果
3. 数据安全与合规
- 管理标签以防止数据滥用
- 参考标签以符合数据安全标准
- 完全透明地了解数据的使用方式和使用者
4. 数据质量
- 利用高级数据质量仪表板,深入了解数据集的质量指标、趋势和问题,实现主动的数据质量管理
- 通过ODD与Great Expectations和DBT测试的兼容性简化DQ流程
- 与任何自定义DQ框架集成
5. 参考数据管理(查找表) - 主数据管理(MDM)的一部分
- 集中管理和存储参考数据,确保货币代码、国家名称和产品类别等关键数据元素的单一真实来源
- 轻松将查找表与数据管道和转换集成,增强数据丰富和验证流程
- 通过在所有数据资产中维护准确一致的参考数据,支持数据治理和合规工作
快速开始
ODD Platform提供了多种部署和运行选项:
- 作为独立容器运行
- 使用Docker Compose在本地运行
- 使用Helm Charts部署到Kubernetes
详细的安装和配置说明可以在GitHub页面找到。
集成
ODD Platform提供了广泛的数据源支持,包括:
- 数据库:PostgreSQL, MySQL, Oracle, MongoDB等
- 云服务:AWS S3, Athena, Glue, BigQuery等
- 数据处理:Airflow, Spark, DBT等
- BI工具:Tableau, PowerBI, Superset等
- ML工具:MLflow, Kubeflow等
完整的集成列表可在GitHub页面查看。
数据模型
ODD操作以下高级实体类型:
- 数据集(数据集合:表、主题、文件、特征组)
- 转换器(数据转换器:ETL或ML训练作业、实验)
- 数据消费者(数据消费者:ML模型或BI仪表板)
- 数据质量测试(数据集的数据质量测试)
- 数据输入(数据源)
- 转换器运行(ETL或ML训练作业的执行)
- 质量测试运行(数据质量测试的执行)
更多信息请参阅规范文档。
社区支持
如果您需要帮助、想聊天或有任何其他问题,欢迎加入ODD社区:
贡献
ODD Platform欢迎社区贡献。最佳的贡献方式包括:
- 开发新的适配器
- 完善文档
在开始任何互动之前,请阅读并遵守行为准则。贡献之前,请查看贡献指南和标记为"good first issue"的问题。
许可证
ODD Platform使用Apache 2.0许可证。
通过ODD Platform,企业可以建立一个现代化、高效的数据治理框架,实现数据的民主化和可信度提升。无论是数据科学家、数据工程师还是业务分析师,都能从这个开源平台中受益,加速数据洞察的获取,提高数据质量,并确保数据安全与合规。在当今数据驱动的商业环境中,ODD Platform无疑是一个强大的工具,助力企业充分发挥数据的价值。
