Project Icon

dataplane

高效灵活的开源数据管道构建平台

Dataplane是一款开源的高性能数据管道构建平台。该项目采用Golang开发,具有拖拽式界面、Python编辑器、权限管理等功能。它支持多时区调度、分布式计算和资源监控,适合不同规模的团队使用。Dataplane注重性能、可扩展性和安全性,能有效简化数据处理和自动化工作流程。

Github Actions: Go 测试 Docker 拉取次数 Discord 文档 配方

如果你喜欢 Dataplane,请给它一个星标 ⭐

Dataplane

⚡️ 使用 Golang 编写并编译为机器代码,实现极致性能,同时保持低内存和 CPU 占用。
🖐 拖放式数据管道构建器。
🧑‍💻 内置 Python 代码编辑器。
👮 团队协作的细粒度权限,实现分隔访问。
🐿 带日志编辑的秘密管理,允许团队成员使用安全资源而不泄露密码。
⏱ 支持多时区的调度器。
🌍 设置隔离环境,用于跨数据网格域进行开发、测试和部署。
📊 监控分析工作负载的实时资源使用情况。
⭐️ 使用工作组进行分布式计算。
🌳 添加更多副本以实现高可用性和扩展。
☁️ 云原生

管道运行屏幕录制 4K 预渲染 v2

Dataplane 社区

Discord 聊天 是与社区成员见面和互动的最快方式。

Github 讨论 更适合提出新想法和需要更多思考的长期讨论。

GitHub Issues 仅用于实际问题。

关于项目

Dataplane 的理念是为各种规模的企业和团队提供更快速、更简便的方式来构建稳健的数据管道和自动化工作流程。除了更加用户友好外,我们还特别强调可扩展性、弹性、性能和安全性。Dataplane 刚刚发布第一个版本,还处于早期阶段。我们非常希望听到您的想法,也欢迎您参与其中。

网站:https://dataplane.app/
文档:https://dataplane.app/docs/
演示:https://dataplane.app/demo
配方:https://dataplane.app/recipes/

使用 Docker 快速开始

需要安装 Docker 引擎 - https://docs.docker.com/engine/install/
下载快速启动 docker compose 文件

curl -LfO 'https://raw.githubusercontent.com/dataplane-app/dataplane/main/quick-start/docker-compose.yaml'

运行 docker compose

docker-compose up

首次设置,请按照以下地址的入门流程操作:http://localhost:9001/webapp/get-started

使用 Dataplane,请访问 http://localhost:9001/webapp/
Docker 发布版本:https://hub.docker.com/u/dataplane

开发 Dataplane 代码

我们为 VS Code 设置了一个容器化的开发环境。

要开始开发设置,请按照以下步骤操作:

  1. 在 VS Code 中安装 Remote Development - 扩展 ID:ms-vscode-remote.vscode-remote-extensionpack
  2. 点击 VS Code 左下角绿色部分的两个尖括号"打开远程窗口"
  3. 确保 Docker 正在运行
  4. 点击"在容器中重新打开"
  5. 要在容器外工作,再次点击绿色部分并选择"在本地重新打开文件夹"

许可证

本 git 仓库中发布的项目采用开源可用许可证 - 商业源代码许可证 1.1 (BSL)。选择此许可证是为了阻止云提供商将此项目作为数据平台服务提供。如果您想将 Dataplane 作为服务提供,我们欢迎讨论,请与我们联系。对于其他用户(99.999%)出于个人或业务需求使用本软件,这些限制将不适用,您可以自由使用。

感谢 Vectorized (https://vectorized.io/blog/open-source/)、CockroachDB 和 Mariadb 研究和开发商业源代码许可证。我们持相同观点,在使软件对社区开放的同时,防止不公平做法,即旨在商业受益而不回馈社区。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号