#元数据服务
marquez - 数据生态系统元数据的收集、聚合和可视化
Marquez元数据服务数据谱系开源项目OpenLineageGithub
Marquez是一个开源元数据服务项目,专注于数据生态系统的元数据处理。该项目提供数据集消费和生产的溯源、作业运行时间和数据集访问频率的可视化,以及数据集生命周期的集中管理。作为LF AI & Data Foundation的毕业项目,Marquez集成了OpenLineage,简化了数据集、作业和运行元数据的收集与查看过程,有助于探索数据依赖关系并优化元数据管理。
metaflow-service - Metaflow元数据服务实现 优化机器学习工作流管理
Metaflow元数据服务数据库迁移DockerPostgreSQLGithub开源项目
Metaflow-service为Metaflow提供元数据服务实现,通过轻量级数据库封装跟踪Flows、Runs、Steps等Metaflow实体的元数据。项目包含元数据服务和迁移服务,支持数据库迁移和版本兼容性管理。提供REST API接口,支持Docker容器部署,简化机器学习工作流的元数据管理流程。