redun

项目介绍：redun

redun 是一个以有效性和表达力为目标的工作流框架，基于广受欢迎的 Python 编程语言构建而成。redun 的创新在于，它认为直接编写数据流是过于限制性的，这导致许多现代高级语言中常见的抽象概念（如控制流、组合性、递归、高阶函数等）被剥夺了。redun 的关键在于，它能够将工作流表达为惰性表达式，并通过调度器评估这些表达式，实现自动并行化、缓存和数据谱系记录。

redun 的主要特性

• 惰性表达式定义工作流：redun 通过惰性表达式定义工作流，这些表达式在被评估时会生成动态有向无环图（DAG），从而能够实现复杂的数据流。
• 增量计算：对数据和代码变化具有反应性，能够自动更新计算结果。
• 多种计算后端支持：工作流任务可以在多种计算后端执行，如线程、进程、AWS 批量任务、Spark 任务等。
• 数据变更检测：通过文件哈希，在内存数值和外部数据源（如文件和对象存储）中检测数据变化。
• 代码变更检测：通过对 Python 函数进行哈希并与历史调用图进行比较，检测代码变化。
• 中央结果缓存：缓存过往的中间结果并在各个工作流中重用。
• 数据谱系记录与查询：过往调用图可以用作数据谱系记录，并可用于调试和审计。

redun 的应用场景

由于 redun 采用了通用的工作流定义方式，它非常适合用于实现多种应用场景下的工作流，例如：

• 生物信息学
• 化学信息学
• 网络或 API 数据提取
• 普通数据科学
• 及其他更多领域

使用示例

以下是一个使用 redun 编译 C 程序的小例子。示例中，每个任务中可以进行各种数据处理，比如读写 CSV、数据框、数据库和调用 API。

# make.py

import os
from typing import Dict, List

from redun import task, File

redun_namespace = "redun.examples.compile"

@task()
def compile(c_file: File) -> File:
    os.system(f"gcc -c {c_file.path}")
    return File(c_file.path.replace(".c", ".o"))

@task()
def link(prog_path: str, o_files: List[File]) -> File:
    o_files=" ".join(o_file.path for o_file in o_files)
    os.system(f"gcc -o {prog_path} {o_files}")
    return File(prog_path)

@task()
def make_prog(prog_path: str, c_files: List[File]) -> File:
    o_files = [compile(c_file) for c_file in c_files]
    prog_file = link(prog_path, o_files)
    return prog_file

files = {"prog": [File("prog.c"), File("lib.c")], "prog2": [File("prog2.c"), File("lib.c")]}

@task()
def make(files : Dict[str, List[File]] = files) -> List[File]:
    progs = [make_prog(prog_path, c_files) for prog_path, c_files in files.items()]
    return progs

在这个示例中，除了使用 @task 装饰器，这段代码与典型的 Python 程序并无不同。它是按照顺序执行的逻辑编写的。

数据谱系探索

所有工作流的执行记录都保存在一个数据库中，可通过 redun 的控制台进行查看和探索。这对于调试复杂的大型工作流以及了解如何复现和扩展过去的工作非常方便。

混合计算后端

在任务执行时，redun 允许每个任务在不同的后端执行，例如在自己的进程中、Docker 容器中或 AWS Batch 任务中，这样用户只需进行轻量化的配置即可实现不同的运行环境。

redun 的独特之处

redun 的特点在于构建并评估表达式图像来实现并行计算、缓存和数据谱系记录。这些功能使 redun 特别适合处理涉及多领域的科学计算管道。

redun 的设计是为了补充而不是替代其他工具。当一些问题超出 redun 的能力范围时，可以将 redun 与其他框架（如 pyspark、pytorch 等）结合使用，以实现各工具的最佳效能。

通过以上的介绍，希望能帮助你更好地理解 redun 及其应用优势。如需更详细的说明，redun 提供了丰富的文档和示例供学习和参考。