Project Icon

AGEIPort

阿里巴巴开源的高性能数据导入导出框架

AGEIPort是阿里巴巴开源的数据导入导出框架,采用事件驱动架构设计。它支持集群和单机执行模式,提供实时任务进度反馈,并针对toB业务场景提供灵活定制。该框架在阿里巴巴集团内部广泛应用,月处理数据量达300-400亿条。AGEIPort通过标准化流程和接口设计,提高了开发效率和代码可维护性,适用于各类数据处理需求。

batch-processing-gateway - 简化Spark在Kubernetes上的部署和管理
Batch Processing GatewayGithubKubernetesREST APIS3Spark开源项目
Batch Processing Gateway是一个开源项目,旨在简化Spark在Kubernetes环境中的运行。通过提供直观的API接口,用户可以轻松提交、检查和删除Spark应用,而无需深入了解底层细节。该项目支持多Spark集群配置,实现水平扩展,并提供基于队列和权重的智能路由机制。此外,它还具备应用日志管理和用户授权等功能,适用于构建和管理大规模Spark服务。
airflow - 可编程的工作流自动化平台
Apache AirflowDAGGithubPython工作流开源项目调度
Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。
BulkGPT - 批量AI工作流自动化和数据抓取的无代码解决方案
AI工作流AI工具BulkGPT内容创建批量处理数据抓取
BulkGPT是一个无代码批量AI工作流自动化和数据抓取平台。用户可创建自定义AI工作流,整合ChatGPT、搜索引擎和网页抓取功能,实现高速批量处理5000个任务。平台支持多种数据格式,适用于SEO内容创作、电商和营销等领域。通过并行和异步云端处理,BulkGPT提高了AI批量处理的效率。这个工具可帮助企业实现业务增长,提升盈利能力。
bento - 灵活高效的流处理工具 支持多源多目标数据连接
BentoGithub开源项目插件数据管道流处理器配置文件
Bento是一个高性能的流处理工具,可连接多种数据源和目标。它支持多种中介模式,能对数据进行处理和转换。Bento提供强大的映射语言,易于部署和监控。它可作为二进制文件、Docker镜像或无服务器函数使用,适配多种云服务和数据系统。Bento保证至少一次的数据传输,并提供健康检查、指标监控和分布式追踪功能。
great-open-source-project - GitHub和Gitee优质开源项目汇集平台
GitHubGithubJava前端技术开源项目编程语言
平台专注于收集GitHub和Gitee两大代码托管平台的优质开源项目,涵盖范围广泛,包括主流编程语言、开发框架、实用工具等。通过定期更新和系统整理,为开发者提供一站式的技术资源库,助力探索前沿技术和最佳实践。用户可直接在线浏览和体验这些精选项目。
feathr - 企业级统一数据和AI工程开源平台
AI模型FeathrGithub开源项目数据处理特征工程平台
Feathr是LinkedIn开源的数据和AI工程平台,经过多年生产环境验证。该平台支持数据转换的定义、注册和共享,尤其适合AI建模场景。Feathr采用原生云集成和可扩展架构,提供丰富的转换API,能够处理大规模数据,并在离线批处理、流处理和在线环境中保持统一的数据转换接口。
portr - 将本地服务安全暴露于公网的开源隧道工具
GithubPortr开发服务器开源项目远程端口转发隧道解决方案
Portr是一个开源的隧道解决方案,专为小型团队设计,用于将本地HTTP、TCP或WebSocket连接安全地暴露到公网。该工具采用SSH远程端口转发技术,提供管理界面和请求检查功能。Portr主要用于开发环境,不适用于生产服务器。目前处于测试阶段,功能可能存在变动。
AugerData - 智能数据处理平台助力高效清洗和分析
AI工具API集成AugerData数据处理数据清理自动化工具
AugerData是一个AI驱动的智能数据处理平台,专注于解决复杂的数据清洗问题。平台核心功能包括实体匹配、数据转换和机器学习支持的自动分类。AugerData通过可扩展的REST API满足开发者需求,同时为业务用户提供无代码解决方案。配备直观的审核界面,持续提升数据质量和自动化效果。采用灵活的按量付费模式,AugerData为各类数据处理需求提供高效解决方案,轻松应对混乱数据,构建智能数据处理系统。
dozer - 实时多源数据同步工具 支持CDC技术和多目标存储
CDCDozerGithub实时数据移动开源项目数据仓库数据转换
Dozer是一款实时数据同步工具,利用CDC技术从多种数据源同步到多个目标存储。该工具性能优于Debezium+Kafka组合,支持无状态转换。Dozer主要用于数据仓库同步,如Clickhouse,并可用于构建数据API和LLM集成。通过单一配置文件运行,Dozer支持Postgres、MySQL、Snowflake等多种数据源和目标存储,为数据同步提供灵活高效的解决方案。
age - 简洁高效的跨平台文件加密解决方案
GithubGoSSH密钥age安全开源项目文件加密
age是一款简单高效的文件加密工具和格式。它采用小型显式密钥设计,无需配置,支持UNIX风格组合使用。age提供多接收者加密、密码保护和SSH密钥兼容等功能,适用于多种操作系统平台。该项目由Benjojo12和FiloSottile设计开发,完整规范可在age-encryption.org查阅。作为开源项目,age为用户提供了一种现代化、安全可靠的文件加密方案。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号