访问官网
Github
文档
English | 中文
概述
Qualitis 是一个数据质量管理平台,支持对各种数据源的质量验证、通知和管理。它用于解决数据处理过程中造成的各种数据质量问题。
Qualitis 基于 Spring Boot,将质量模型任务提交到 Linkis 平台。它提供数据质量模型构建、数据质量模型执行、数据质量验证、数据质量报告生成等功能。同时,Qualitis 提供了金融级别的资源隔离、管理和访问控制等企业级功能。它还能保证在高并发、高性能和高可用的场景下正常工作。
功能特性
-
定义数据质量模型
支持以下数据质量模型:
1.单表模型。
2.多表模型。
3.自定义模型。
同时,Qualitis 预设了多个数据质量验证模板,包括空值检查、空格检查、数值检查、枚举检查等常见检查,简化了数据质量模型的定义。 -
数据质量模型调度
支持数据质量模型的调度。 -
数据质量报告
支持生成数据质量报告。 -
日志管理 支持数据质量任务的管理。
-
异常数据管理
支持异常数据存储,便于快速定位问题。 -
工作流
支持工作流
工作流需要 DataSphereStudio。 -
管理员控制台
提供管理员控制台。支持人员管理、访问控制管理、权限控制管理、元数据管理等。
与同类系统的对比
文档
架构
路线图
1. 支持报告数据验证
- 在工作流中支持报告数据验证
2. 支持多存储验证
- 支持在 Hive、HDFS 和 MySQL 之间进行数据质量验证
- 支持在 Kafka 上进行数据质量验证
3. 支持生成数据质量报告
支持生成可选维度的数据质量报告。
4. 支持智能发现数据质量问题
如果您有任何需求,请向我们提出 issue,我们会及时回复您。
贡献
社区合作伙伴非常欢迎向我们贡献新的引擎和代码!
交流
如果需要即时响应,请您及时提出 issue 或扫描下方二维码通过微信和 QQ 加入我们的群组:
许可证
Qualitis 采用 Apache 2.0 许可证。详情请参见 LICENSE 文件。
