marquez
Marquez是一个开源元数据服务项目,专注于数据生态系统的元数据处理。该项目提供数据集消费和生产的溯源、作业运行时间和数据集访问频率的可视化,以及数据集生命周期的集中管理。作为LF AI & Data Foundation的毕业项目,Marquez集成了OpenLineage,简化了数据集、作业和运行元数据的收集与查看过程,有助于探索数据依赖关系并优化元数据管理。