DataSphereStudio - 全流程数据应用开发管理门户

英文 | 中文

简介

DataSphere Studio (简称 DSS) 是由WeBank开发的一个一站式数据应用开发管理门户。

通过可插拔的集成框架设计以及Linkis计算中间件，DSS可以轻松集成各种上层数据应用系统,使数据开发变得简单易用。

DataSphere Studio定位为数据应用开发门户,闭环覆盖数据应用开发的整个流程。通过统一的UI,类工作流的图形化拖拽开发体验满足从数据导入、脱敏清洗、数据分析、数据挖掘、质量检查、可视化、调度到数据输出应用等数据应用开发全生命周期。

借助Linkis的连通、可重用和简化能力,DSS天生具备金融级别的高并发、高可用、多租户隔离和资源管理等能力。

UI预览

请耐心等待,加载 gif 需要一些时间。

DSS-V1.0 GIF

核心功能

1. 一站式、全流程的应用开发管理 UI

DSS高度集成。当前集成的组件包括（以下各组件与 DSS 版本的兼容性,请访问: 集成数据应用组件兼容列表）:

1. 数据开发 IDE 工具 - Scriptis

2. 数据可视化工具 - Visualis (基于信而富开源项目 Davinci 贡献)

3. 数据质量管理工具 - Qualitis

4. 工作流调度工具 - Schedulis

5. 数据交换工具 - Exchangis

6. 数据 Api 服务 - DataApiService

7. 流式应用开发管理工具 - Streamis

8. 一站式机器学习平台 - Prophecis

9. 工作流任务调度工具 - DolphinScheduler (代码合并中)

10. 使用文档和新手指南 - UserGuide (代码合并中)

11. 数据模型中心 - DataModelCenter (开发中)

以上各组件与 DSS 版本的兼容性,请访问: 集成数据应用组件兼容列表。

通过可插拔的框架架构设计,DSS允许用户快速集成新的数据应用工具,或替换DSS已集成的各种工具。例如,用Zeppelin替换Scriptis,用DolphinScheduler替换Schedulis...

DSS一站式视频

2. 基于 Linkis 的 AppConn,定义了独特的设计理念

AppConn 是使 DSS 能够轻松快速集成各种上层 Web 系统的核心概念。

AppConn,即应用连接器,定义了一套统一的前后端三级集成协议,使外部数据应用系统能够轻松快速成为 DSS 数据应用开发的一部分。

AppConn 的三级规范分别是:一级 SSO 规范、二级组织架构规范和三级开发流程规范。

DSS 将多个 AppConn 串联成流程,支持实时执行和定时执行。用户可以通过简单的拖拽操作完成整个数据应用的全流程开发。

由于 AppConn 与 Linkis 集成,外部数据应用系统共享了资源管理、并发限制和高性能等能力。AppConn 还允许跨系统级别共享上下文,因此使外部数据应用完全摆脱了应用孤岛。

            ### 3. 以工作空间作为管理单元

以工作空间作为管理单元,它对各种数据应用系统的业务应用进行组织和管理,为跨数据应用系统的工作空间协同开发制定了一套共同标准,并提供了用户角色管理功能。

4. 集成数据应用组件

DSS通过实施多个AppConns集成了各种上层数据应用系统,基本满足了用户的数据开发需求。

如有需要,也可以轻松集成新的数据应用系统,以替换或充实DSS的数据应用开发流程。 点击了解如何快速集成新的应用系统

组件	描述	DSS0.X兼容版本(推荐使用DSS0.9.1)	DSS1.0兼容版本(推荐使用DSS1.1.0)
Linkis	Apache Linkis计算中间件,通过提供REST/WebSocket/JDBC/SDK等标准接口,上层应用程序可以轻松连接和访问底层的MySQL/Spark/Hive/Presto/Flink等引擎。	推荐使用Linkis0.11.0(已发布)	>=Linkis1.1.1(已发布)
DataApiService	（DSS内置的第三方应用工具）数据API服务。可以快速将SQL脚本发布为Restful接口,为外部世界提供Rest访问能力。	不支持	推荐使用DSS1.1.0(已发布)
Scriptis	（DSS内置的第三方应用工具）支持在线编写SQL、Pyspark、HiveQL等脚本,并提交到Linkis数据分析Web工具。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
Schedulis	基于Azkaban二次开发的工作流任务调度系统,具有金融级的高性能、高可用和多租户资源隔离等特性。	推荐使用Schedulis0.6.1(已发布)	>=Schedulis0.7.0(已发布)
EventCheck	（DSS内置的第三方应用工具）提供跨业务、工程和工作流的信号通信能力。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
SendEmail	（DSS内置的第三方应用工具）提供发送数据的能力,可以通过电子邮件发送其他工作流节点的所有结果集。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
Qualitis	数据质量验证工具,提供数据完整性和正确性等数据验证能力。	推荐使用Qualitis0.8.0(已发布)	>=Qualitis0.9.2(已发布)
Streamis	流应用程序开发管理工具。它支持Flink Jar和Flink SQL的发布,并提供流应用程序的开发、调试和生产管理能力,如:启停、状态监控、检查点等。	不支持	>=Streamis0.2.0(已发布)
Prophecis	一个集成多种开源机器学习框架的一站式机器学习平台。Prophecis的MLFlow可通过AppConn连接到DSS工作流。	不支持	>=Prophecis 0.3.2(已发布)
Exchangis	一个数据交换平台,支持在结构化和非结构化异构数据源之间进行数据传输,即将到来的Exchangis1.0将与DSS工作流配合使用。	不支持	=Exchangis1.0.0(已发布)
Visualis	一个基于信用卡开源项目Davinci二次开发的数据可视化BI工具,在数据安全性方面为用户提供金融级的数据可视化能力。	推荐使用Visualis0.5.0	>=Visualis1.0.0(已发布)
DolphinScheduler	Apache DolphinScheduler,一个分布式且易于扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到DolphinScheduler。	不支持	DolphinScheduler1.3.X(已发布)
UserGuide	（DSS将内置的第三方应用工具）包含帮助文档、新手指南、黑暗模式皮肤等。	不支持	>=DSS1.1.0(已发布)
DataModelCenter	（DSS将要建立的第三方应用工具）主要提供数据仓库规划、数据模型开发和数据资产管理能力。数据仓库规划包括主题域、数据仓库层次、修饰语等;数据模型开发包括指标、维度、度量、基于向导的表构建等;数据资产与Apache Atlas对接提供数据血缘能力。	不支持	计划在DSS1.2.0中(正在开发)
UserManager	（DSS内置的第三方应用工具）自动初始化新DSS用户所需的所有用户环境,包括:创建Linux用户、各种用户路径、目录授权等。	推荐使用DSS0.9.1(已发布)	正在计划中
Airflow	支持将DSS工作流发布到Apache Airflow进行定期调度。	PR尚未合并	不支持