Merlion: 时间序列智能的机器学习框架

Merlion简介

Merlion是Salesforce开发的一个用于时间序列智能的Python机器学习库。它提供了一个端到端的机器学习框架,包括数据加载和转换、模型构建和训练、模型输出后处理以及模型性能评估等全流程功能。Merlion支持各种时间序列学习任务,包括预测、异常检测和变点检测,可用于单变量和多变量时间序列。

该库的目标是为工程师和研究人员提供一站式解决方案,使他们能够快速开发针对特定时间序列需求的模型,并在多个时间序列数据集上进行基准测试。Merlion的核心功能包括:

标准化且易于扩展的数据加载和基准测试功能,支持广泛的预测和异常检测数据集,并透明地支持自定义数据集。
多样化的模型库,涵盖异常检测、预测和变点检测等任务,所有模型都统一在共享接口下。模型包括经典统计方法、树集成和深度学习方法。高级用户可以根据需要完全配置每个模型。
抽象的DefaultDetector和DefaultForecaster模型,它们高效、稳健地实现良好性能,为新用户提供了一个起点。
用于自动超参数调优和模型选择的AutoML功能。
统一的API,用于使用各种模型进行带有外部回归变量的预测。
实用的、受行业启发的异常检测器后处理规则,使异常分数更易解释,同时减少误报数量。
易于使用的集成模型,结合多个模型的输出以实现更稳健的性能。
灵活的评估流程,模拟生产环境中模型的实时部署和重新训练,并评估预测和异常检测的性能。
原生支持可视化模型预测,包括可点击的可视化用户界面。
使用PySpark的分布式计算后端,可用于工业规模的时间序列应用。

Merlion的独特优势

与其他时间序列分析库相比,Merlion具有以下几个独特优势:

全面的功能覆盖:Merlion支持单变量和多变量的预测、异常检测和变点检测等多种时间序列任务,而大多数其他库通常只专注于其中一两个任务。
统一的接口:所有模型都遵循一致的API,使得切换和比较不同模型变得容易。
自动化工具:内置的AutoML功能可以自动进行超参数调优和模型选择,减少了手动调参的工作量。
生产就绪:Merlion提供了模拟生产环境的评估流程,以及使用PySpark的分布式计算后端,使其更适合实际应用场景。
可视化支持:内置的可视化工具和交互式仪表板使得结果分析和展示更加直观。
灵活性与可扩展性:Merlion支持自定义数据集和模型,可以根据具体需求进行扩展。

安装和使用

Merlion可以通过pip轻松安装:

pip install salesforce-merlion

如果需要额外的功能,可以安装可选依赖:

pip install salesforce-merlion[all]

这将安装所有可选依赖,包括用于GUI仪表板的dashboard、用于分布式计算后端的spark和所有深度学习模型的deep-learning。

需要注意的是,Merlion依赖一些外部库:

某些预测模型依赖于OpenMP。如果使用conda,请在安装Merlion之前运行conda install -c conda-forge lightgbm。
某些异常检测模型依赖于Java开发工具包(JDK)。对于Ubuntu,调用sudo apt-get install openjdk-11-jdk。对于Mac OS,安装Homebrew并调用brew tap adoptopenjdk/openjdk && brew install --cask adoptopenjdk11。

快速入门

Merlion提供了一个基于Web的GUI仪表板,这是快速开始使用Merlion的最简单方法。要使用它,请安装带有可选dashboard依赖项的Merlion,然后从命令行调用:

python -m merlion.dashboard

您可以在http://localhost:8050查看仪表板。

对于代码示例,以下是使用Merlion默认模型进行异常检测的简单示例:

from merlion.utils import TimeSeries
from ts_datasets.anomaly import NAB
from merlion.models.defaults import DefaultDetectorConfig, DefaultDetector

# 加载数据
time_series, metadata = NAB(subset="realKnownCause")[3]
train_data = TimeSeries.from_pd(time_series[metadata.trainval])
test_data = TimeSeries.from_pd(time_series[~metadata.trainval])
test_labels = TimeSeries.from_pd(metadata.anomaly[~metadata.trainval])

# 初始化并训练模型
model = DefaultDetector(DefaultDetectorConfig())
model.train(train_data=train_data)

# 获取测试集预测
test_pred = model.get_anomaly_label(time_series=test_data)

# 可视化结果
fig, ax = model.plot_anomaly(time_series=test_data)
plot_anoms(ax=ax, anomaly_labels=test_labels)
plt.show()

# 评估模型性能
p = TSADMetric.Precision.value(ground_truth=test_labels, predict=test_pred)
r = TSADMetric.Recall.value(ground_truth=test_labels, predict=test_pred)
f1 = TSADMetric.F1.value(ground_truth=test_labels, predict=test_pred)
mttd = TSADMetric.MeanTimeToDetect.value(ground_truth=test_labels, predict=test_pred)
print(f"Precision: {p:.4f}, Recall: {r:.4f}, F1: {f1:.4f}")
print(f"Mean Time To Detect: {mttd}")

类似地,以下是使用Merlion进行预测的简单示例:

from merlion.utils import TimeSeries
from ts_datasets.forecast import M4
from merlion.models.defaults import DefaultForecasterConfig, DefaultForecaster

# 加载数据
time_series, metadata = M4(subset="Hourly")[0]
train_data = TimeSeries.from_pd(time_series[metadata.trainval])
test_data = TimeSeries.from_pd(time_series[~metadata.trainval])

# 初始化并训练模型
model = DefaultForecaster(DefaultForecasterConfig())
model.train(train_data=train_data)

# 获取测试集预测
test_pred, test_err = model.forecast(time_stamps=test_data.time_stamps)

# 可视化结果
fig, ax = model.plot_forecast(time_series=test_data, plot_forecast_uncertainty=True)
plt.show()

# 评估模型性能
smape = ForecastMetric.sMAPE.value(ground_truth=test_data, predict=test_pred)
msis = ForecastMetric.MSIS.value(ground_truth=test_data, predict=test_pred,
                                 insample=train_data, lb=lb, ub=ub)
print(f"sMAPE: {smape:.4f}, MSIS: {msis:.4f}")

评估和基准测试

Merlion的一个关键特性是模拟模型在历史数据上实时部署的评估流程。这使您能够在相关数据集上比较模型,模拟它们在生产环境中可能遇到的条件。评估流程如下:

在最近的历史训练数据上训练初始模型。
以固定间隔(例如每天一次)在最新数据上重新训练整个模型。
获取模型对重新训练之间发生的时间序列值的预测(异常分数或预测值)。
将模型的预测与真实值进行比较,并报告定量评估指标。

Merlion提供了脚本,允许您使用此流程评估任意模型在任意数据集上的性能。例如:

python benchmark_anomaly.py --dataset NAB_realAWSCloudwatch --model IsolationForest --retrain_freq 1d

这将评估IsolationForest(每天重新训练一次)在NAB数据集的"realAWSCloudwatch"子集上的异常检测性能。

同样,对于预测任务:

python benchmark_forecast.py --dataset M4_Hourly --model ETS

这将评估ETS模型在M4数据集的"Hourly"子集上的批量预测性能(即没有重新训练)。

总结

Merlion是一个功能强大、灵活且易于使用的时间序列分析库。它提供了全面的工具集,涵盖了从数据加载到模型训练、评估和可视化的整个机器学习流程。无论是对于初学者还是高级用户,Merlion都提供了适合的起点和进阶选项。

通过统一的接口、自动化工具和生产就绪的功能,Merlion大大简化了时间序列分析的工作流程。它的可视化支持和交互式仪表板也使得结果分析和展示变得更加直观和便捷。

对于那些需要在工业规模上处理时间序列数据的用户,Merlion的分布式计算后端提供了强大的扩展能力。同时,其灵活的评估流程确保了模型在实际应用中的可靠性。

随着时间序列数据在各个领域变得越来越重要,Merlion这样的综合工具将在未来发挥越来越大的作用。无论是在金融预测、异常检测还是其他时间序列相关的应用中,Merlion都提供了一个强大而灵活的解决方案。

Merlion异常检测仪表板

Merlion预测仪表板

如果您正在处理时间序列数据,不妨尝试一下Merlion。它可能会成为您工具箱中的一个强大武器,帮助您更高效、更准确地分析和预测时间序列数据。🚀📊