访问官网
Github
文档
论文Streamis
[English] | 中文
简介
Streamis是由WeBank、CtYun、Samoyed Financial Cloud和XianWeng Technology联合开发的流式应用开发和管理的项目。
基于DataSphere Studio的框架能力和底层对接Linkis的Flink引擎,让用户能以低成本完成流式应用的开发、调试、发布和生产管理。
未来还计划采用类工作流式的图形化拖拽开发体验,流式应用将基于Source节点、维度节点、Transform节点、Sink节点和Visualis节点串联形成流式工作流,让用户以更低的学习成本完成流式应用的开发、调试和发布。
核心功能
1. 基于DSS和DSS-Scriptis,打造领先的流式应用开发管理体系。
以Flink作为底层计算引擎,基于开发中心和生产中心隔离的架构设计模式,完全隔离开发权限和发布权限,隔离开发环境和生产环境,确保流式应用的高稳定性和高安全性。
应用开发层与DSS的数据应用开发全流程有机融合,提供更简单的用户体验。
应用执行层集成Linkis,提供金融级的流式应用管理能力,具有高并发、高可用、多租户隔离和资源管理等特点。
2. 强大的流式应用开发和调试能力。
基于DSS-Scriptis,提供流式应用开发和调试功能,支持FlinkSQL的实时调试和结果集展示。
3. 强大的流式应用生产中心能力。
支持流式任务的多版本管理、全生命周期管理、监控告警、checkpoint和savepoint管理能力。
运行信息页面:
配置页面：
更多功能请参考: 用户手册。
依赖生态
| 依赖组件 | 描述 | Streamis兼容性 |
|---|---|---|
| DataSphereStudio | 数据应用开发管理框架。提供统一的UI,满足数据导入、脱敏清洗、数据分析、数据挖掘、质量检查、可视化、调度到数据输出应用等数据应用开发全生命周期的类工作流式图形化拖拽开发体验。 | >= DSS1.1.2 (已发布) |
| Linkis | Apache Linkis,构建计算中间件层,通过Linkis提供的REST/WS/JDBC等标准接口,上层应用可以轻松访问MySQL/Spark/Hive/Presto/Flink等底层引擎。 | >= Linkis1.4.0 (已发布) |
演示试用环境
正在建设中,敬请期待!
下载
请前往Streamis Releases页面下载编译好的版本或源码包。
编译安装部署
请参考Streamis安装和部署文档进行Streamis的安装部署。
示例和使用指引
请访问用户文档,快速学习如何使用Streamis。
功能特性
| 功能模块 | 描述 | Streamis |
|---|---|---|
| 界面UI | 集成便捷的管理界面和监控窗口 | 已集成 |
| 安装部署 | 部署难度和第三方依赖 | 一键部署,依赖Linkis Flink引擎 |
| 开发中心 | FlinkSQL流式应用实时开发和调试 | 支持,需集成DSS |
| 生产中心 | 流式应用管理运维能力 | 支持 |
| 复用Linkis计算治理能力 | 支持 | |
| 支持FlinkSQL和FlinkJar包发布 | 支持 | |
| 多版本管理能力 | 支持 | |
| 配置和告警管理能力 | 支持 | |
| 服务高可用 | 多服务、状态快照容错,故障不影响使用 | 应用高可用 |
| 系统管理 | 节点和资源管理 | 支持 |
| 权限管理 | 任务操作权限控制 | 支持 |
架构
贡献
欢迎各种形式的贡献,我们需要更多的贡献者一起共建Streamis。无论是代码、文档还是其他有助于社区的支持都是非常欢迎的。
交流贡献
对于任何问题或建议,欢迎提交issue。
您可以扫描下方二维码加入我们的微信群和QQ群,获取更及时的响应。
许可
Streamis采用Apache 2.0开源协议。详见LICENSE文件。
