#DAG

hamilton

Hamilton是一个Python库，用于构建数据转换的有向无环图(DAG)。它通过Python函数定义DAG，自动构建执行流程，具有良好的可移植性和表达能力。Hamilton支持多种执行环境，提供数据验证、实验跟踪等功能，并有UI界面用于可视化和监控。适用于ETL、机器学习、LLM应用等数据处理场景，有助于提高团队协作效率和代码可维护性。

airflow

Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。