dbt原生数据可观察性

Elementary是什么？

这个dbt包是Elementary的一部分，Elementary是面向数据和分析工程师的dbt原生数据可观察性解决方案。几分钟内即可设置，立即获得可见性，检测数据问题，发送可执行的警报，并了解影响和根本原因。可作为自托管或带有高级功能的云服务使用。

快速入门 - dbt包

添加到你的packages.yml：

packages:
  - package: elementary-data/elementary
    version: 0.16.0
    ## 文档：https://docs.elementary-data.com

运行dbt deps
添加到你的dbt_project.yml：

models:
  ## elementary模型将在'<your_schema>_elementary'模式中创建
  ## 详情请参阅文档：https://docs.elementary-data.com/
  elementary:
    +schema: "elementary"

运行dbt run --select elementary

查看完整文档。

充分利用Elementary dbt包

Elementary提供三种产品：这个dbt包、Elementary社区版（开源）和Elementary（云服务）。

dbt包
- 对于基本的数据监控和dbt工件收集，Elementary提供了一个dbt包。该包为你的项目添加了日志记录、工件上传和Elementary测试（异常检测和模式）。
Elementary社区版
- 一个开源的CLI工具，你可以部署和编排它来发送警报并自托管Elementary报告。最适合需要基本可观察性功能的数据和分析工程师，或者无需供应商批准即可评估功能。如果需要，我们的社区可以在Slack上提供出色的支持。
Elementary云服务
- 适用于监控关键数据管道、需要保证正常运行时间和可靠性、快速实现价值、高级功能、协作和专业支持的团队。该解决方案在设计上是安全的，不需要从云端访问你的数据。要了解更多信息，预约演示或开始试用。

运行结果和dbt工件

该包自动将dbt工件和运行结果上传到数据仓库中的表：

运行结果表：

dbt_run_results
model_run_results
snapshot_run_results
dbt_invocations
elementary_test_results（所有dbt测试结果）

元数据表：

dbt_models
dbt_tests
dbt_sources
dbt_exposures
dbt_metrics
dbt_snapshots

你可以在这里找到关于这些表的更多详细信息。

作为dbt测试的数据异常检测

Elementary dbt测试随时间收集指标和元数据，如新鲜度、数量、模式变化、分布、基数等。作为任何其他dbt测试执行，Elementary测试会对异常和离群值发出警报。

Elementary测试在你的项目中像原生测试一样配置和执行！

properties.yml中Elementary测试配置的示例：

models:
  - name: your_model_name
    config:
      elementary:
        timestamp_column: updated_at
    tests:
      - elementary.table_anomalies
      - elementary.all_columns_anomalies

了解可用的Elementary测试和配置。