#任务调度
crawlab
Crawlab是一个开源的分布式爬虫管理平台,支持多种主流编程语言和爬虫框架。系统提供完整的爬虫项目管理功能,包括任务调度、节点管理和爬虫部署等。其分布式架构确保了系统的可扩展性,适合管理各种规模的爬虫项目。通过主节点、工作节点、分布式文件系统和数据库构建,Crawlab为各类爬虫项目提供统一的管理与部署解决方案。
schedule
Schedule是一个轻量级的Python任务调度库,提供简洁的API接口。它支持在进程内周期性执行函数或可调用对象,无需额外进程。该库兼容Python 3.7至3.12版本,无外部依赖,且拥有全面的测试覆盖。Schedule适用于各类定时任务需求,从简单到复杂均可胜任。
gocron
gocron是一个功能全面的Go语言任务调度包,支持多种任务类型如定时、随机间隔和cron表达式等。它提供并发控制、分布式支持、事件监听和丰富配置选项。gocron还包含日志记录、性能监控和测试工具,适用于构建各类定时任务系统。
Qualitis
Qualitis是一个数据质量管理平台,支持多种数据源的质量验证和管理。该平台基于Spring Boot开发,利用Linkis提交质量模型任务,实现数据质量模型的构建、执行和验证。Qualitis具备企业级特性,包括资源隔离、管理和访问控制,适用于高并发和高可用性场景。平台支持单表、多表和自定义模型,并提供多种预设验证模板,简化了数据质量模型的定义过程。
cardiologist
Cardiologist是一个基于Kotlin的定时任务调度库,集成了kotlinx-datetime和kotlinx-coroutines。该库提供简洁API,支持基于Instant、LocalDateTime和LocalTime的任务设置,可实现重复间隔和类cron风格的调度,并提供多种任务执行模式。Cardiologist主要用于服务器或守护进程等长期运行进程中的作业调度,而非作为独立进程调度工具使用。
Schedulis
Schedulis是基于Azkaban开发的工作流调度系统,具备高性能、高可用和多租户资源隔离特性。支持大数据任务和数据检查任务,与DataSphere Studio和Linkis集成。提供告警机制、执行策略和简洁界面。在高可用性、资源管理和功能特色上优于其他调度系统。