#任务调度

crawlab - 多语言多框架的分布式爬虫管理系统
Crawlab分布式爬虫爬虫管理平台任务调度多语言支持Github开源项目
Crawlab是一个开源的分布式爬虫管理平台,支持多种主流编程语言和爬虫框架。系统提供完整的爬虫项目管理功能,包括任务调度、节点管理和爬虫部署等。其分布式架构确保了系统的可扩展性,适合管理各种规模的爬虫项目。通过主节点、工作节点、分布式文件系统和数据库构建,Crawlab为各类爬虫项目提供统一的管理与部署解决方案。
gocron - Go语言的多功能任务调度包
gocronGolang任务调度定时任务并发控制Github开源项目
gocron是一个功能全面的Go语言任务调度包,支持多种任务类型如定时、随机间隔和cron表达式等。它提供并发控制、分布式支持、事件监听和丰富配置选项。gocron还包含日志记录、性能监控和测试工具,适用于构建各类定时任务系统。
cardiologist - 基于Kotlin的定时任务调度库
Cardiologistkotlinx-datetimekotlinx-coroutines任务调度时间处理Github开源项目
Cardiologist是一个基于Kotlin的定时任务调度库,集成了kotlinx-datetime和kotlinx-coroutines。该库提供简洁API,支持基于Instant、LocalDateTime和LocalTime的任务设置,可实现重复间隔和类cron风格的调度,并提供多种任务执行模式。Cardiologist主要用于服务器或守护进程等长期运行进程中的作业调度,而非作为独立进程调度工具使用。
PowerJob - 开源分布式任务调度和计算框架
PowerJob分布式计算任务调度工作流灾难容错Github开源项目
PowerJob是一个开源分布式计算和任务调度框架,提供友好的UI界面、多样的定时策略和执行模式。支持工作流(DAG)、多语言处理器,具有容错能力和高可用性。适用于定时、广播、MapReduce和延迟任务等场景,支持水平扩展,是一个高性能、可靠的调度系统。
schedule - Python定时任务调度的轻量级解决方案
Python任务调度定期执行轻量级开源库Github开源项目
Schedule是一个轻量级的Python任务调度库,提供简洁的API接口。它支持在进程内周期性执行函数或可调用对象,无需额外进程。该库兼容Python 3.7至3.12版本,无外部依赖,且拥有全面的测试覆盖。Schedule适用于各类定时任务需求,从简单到复杂均可胜任。
Qualitis - 多数据源质量管理平台 支持高性能验证和监控
Qualitis数据质量管理模型构建任务调度报告生成Github开源项目
Qualitis是一个数据质量管理平台,支持多种数据源的质量验证和管理。该平台基于Spring Boot开发,利用Linkis提交质量模型任务,实现数据质量模型的构建、执行和验证。Qualitis具备企业级特性,包括资源隔离、管理和访问控制,适用于高并发和高可用性场景。平台支持单表、多表和自定义模型,并提供多种预设验证模板,简化了数据质量模型的定义过程。
Schedulis - 基于Azkaban的高性能工作流调度系统 支持多租户资源隔离
Schedulis工作流任务调度DataSphere StudioLinkisGithub开源项目
Schedulis是基于Azkaban开发的工作流调度系统,具备高性能、高可用和多租户资源隔离特性。支持大数据任务和数据检查任务,与DataSphere Studio和Linkis集成。提供告警机制、执行策略和简洁界面。在高可用性、资源管理和功能特色上优于其他调度系统。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号