#数据工作流
diffgram - AI数据存储与管理解决方案,涵盖多种数据类型与人类监督
DiffgramAI数据存储人类监督数据标签数据工作流Github开源项目
提供多种数据类型的人类监督功能和AI数据存储解决方案。支持图像、视频、文本和3D数据的高效管理和标注,用户可自行掌控本地数据。适用于从数据标签到AI应用工作流管理的多种商业和研究场景。
Kadoa - 智能化网页数据采集与转换的一站式解决方案
AI工具Kadoa网络数据提取自动化无代码数据工作流
Kadoa是一款先进的网页数据采集工具,专注于提供大规模、自动化的数据提取和转换服务。通过无代码设置和智能技术,Kadoa能够自动适应数据源变化,实现高精度、可扩展的数据采集。该平台支持金融分析、电商监控、职位发布追踪等多种应用场景,并提供API接口方便开发者集成。Kadoa简化了网页数据采集流程,提高效率,为用户提供了一种获取和利用网络非结构化数据的高效解决方案。
versatile-data-kit - 全面的数据工作流开发、部署和运维框架
Versatile Data Kit数据处理框架数据工作流PythonSQLGithub开源项目
Versatile Data Kit是一个综合性数据工作流框架,支持Python和SQL开发。它提供ETL/ELT模式和模块化扩展,简化了数据提取、转换和加载过程。该框架具备一键部署功能,并集成了运维监控工具。通过Control Service,可实现数据作业的便捷管理和调度。Versatile Data Kit致力于提高数据工程效率,适用于各类数据处理场景。
meltano - 代码优先的数据集成引擎 解锁多种API和数据库
Meltano数据集成API集成开源项目数据工作流Github
Meltano是一个代码优先的数据集成引擎,提供600多个API和数据库的访问。它帮助用户简化API集成的编写、维护和扩展过程,支持实现数据和机器学习驱动的产品创意。通过简化跨多个工具的数据工作流程,Meltano为构建理想的数据平台提供了强大支持。
machine - 高效灵活的Go语言数据工作流库
Machine数据工作流Go语言函数式编程OpenTelemetryGithub开源项目
Machine是Go语言开发的数据工作流库,支持构建简洁和复杂的工作流。该库提供转换、过滤、条件分支和分发等功能,可灵活处理各类数据。Machine集成OpenTelemetry,便于收集指标和跟踪。它适用于多种数据处理场景,支持循环、重试和自我修复机制。