Github
论文CEEMDAN_LSTM
GitHub: https://github.com/FateMurphy/CEEMDAN_LSTM 未来工作：CFS
背景
CEEMDAN_LSTM 是一个基于 EMD 方法和 LSTM 的分解-集成预测模型的 Python 模块。它旨在帮助初学者快速使用 CEEMDAN（带自适应噪声的完整集成经验模态分解）和 LSTM（长短期记忆循环神经网络）进行分解-集成预测。如果您使用或参考本模块的内容，请引用以下论文：（F. Zhou, Z. Huang, C. Zhang, 基于 CEEMDAN 和 LSTM 的碳价预测, Applied Energy, 2022, Volume 311, 118601, ISSN 0306-2619.）。
流程图
注意，由于它首先对整个序列进行分解，因此存在一些前瞻性偏差。
安装
(1) PyPi（推荐）
安装软件包最快的方法是通过 pip。
pip install CEEMDAN_LSTM
(2) 从软件包安装
通过点击 Code -> Download ZIP 下载 CEEMDAN_LSTM-1.2.tar.gz 软件包。解压后，将软件包移动到您喜欢的位置。
pip install .(您的文件路径)/CEEMDAN_LSTM-1.2.tar.gz
(3) 从源代码安装
如果您想修改代码，应该下载源代码并自行构建软件包。源代码公开可用，托管在 GitHub 上：https://github.com/FateMurphy/CEEMDAN_LSTM。要下载代码，您可以访问源代码页面并点击 Code -> Download ZIP，或使用 git 命令行。
修改代码后，可以使用命令行安装修改后的软件包：
python setup.py install
或者，您可以链接到路径以方便修改，例如 sys.path.append(.您的文件路径/)，然后导入。
导入并快速预测
import CEEMDAN_LSTM as cl
cl.quick_keras_predict(data=None) # 默认数据集：sse_index.csv
加载数据集
data = cl.load_dataset() # 一些内置数据集，如 sp500.csv hsi.csv ftse.csv nsdaq.csv n225.csv
# data = pd.read_csv(您的文件路径 + 文件名 + '.csv', header=0, index_col=['date'], parse_dates=['date'])
帮助和示例
您可以使用代码调用帮助。您可以从 cl.show_keras_example() 的输出中复制代码来运行预测并帮助您更好地了解代码。
cl.help()
cl.show_keras_example()
cl.show_keras_example_model()
cl.details_keras_predict(data=None)
开始预测
以 Class: keras_predictor() 为例。
简要总结和预测
data = cl.load_dataset()
series = data['close'] # 选择一个 DataFrame 列
cl.statis_tests(series)
kr = cl.keras_predictor()
df_result = kr.hybrid_keras_predict(data=series, show=True, plot=True, save=True)
0. 统计测试（非必需）
代码将输出 ADF 检验、Ljung-Box 检验和 Jarque-Bera 检验的结果，并绘制 ACF 和 PACF 图以评估平稳性、自相关性和正态性。
cl.statis_tests(series=None)
1. 声明参数
注意，在声明 PATH 时，将自动创建文件夹，包括图表和日志文件夹。
kr = cl.keras_predictor(PATH=None, FORECAST_HORIZONS=30, FORECAST_LENGTH=30, KERAS_MODEL='GRU',
DECOM_MODE='CEEMDAN', INTE_LIST='auto', REDECOM_LIST={'co-imf0':'ovmd'},
NEXT_DAY=False, DAY_AHEAD=1, NOR_METHOD='minmax', FIT_METHOD='add',
USE_TPU=False, **kwargs))
| 超参数 | 描述 |
|---|---|
| PATH | 图表和日志的保存路径，例如 'D:/CEEMDAN_LSTM/' |
| FORECAST_HORIZONS | 每个输入行的长度（x_train.shape），表示与今天相关的前几天数量，在一些论文中也称为时间步长、预测视野或滑动窗口长度 |
| FORECAST_LENGTH | 要预测的天数（测试集长度） |
| KERAS_MODEL | Keras 模型，例如 'GRU'、'LSTM'、'DNN'、'BPNN'、model = Sequential() 或 load_model |
| DECOM_MODE | 分解方法，例如 'EMD'、'EEMD'、'CEEMDAN'、'VMD'、'OVMD'、'SVMD' |
| INTE_LIST | 集成列表，例如 'auto'、pd.Dataframe、(int) 3、(str) '233'、(list) [0,0,1,1,1,2,2,2]... |
| REDECOM_LIST | 重新分解列表，例如 '{'co-imf0':'vmd', 'co-imf1':'emd'}'、pd.DataFrame |
| NEXT_DAY | 设置为 True 仅预测下一个样本外值 |
| DAY_AHEAD | 定义预测未来 n 天，例如 0、1、2（默认为整数 1） |
| NOR_METHOD | 归一化方法，例如 'minmax'-MinMaxScaler、'std'-StandardScaler，否则不进行归一化 |
| FIT_METHOD | 用于稳定预测结果的拟合方法（不一定有用），例如 'add'、'ensemble'（ensemble FIT_METHOD 有一些错误，请使用 add 方法作为默认值） |
| USE_TPU | 将 Keras 模型更改为 TPU 模型（适用于 Google Colab） |
| Keras 参数 | 描述（更多详情请参考 https://keras.io） |
|---|---|
| epochs | 训练轮数/迭代次数，例如 30-1000 |
| dropout | 3 个 dropout 层的丢弃率，例如 0.2-0.5 |
| units | 网络层的单元数，（3 层）将设置为 4units、2units、units，例如 4-32 |
| activation | 激活函数，所有层都相同，例如 'tanh'、'relu' |
| batch_size | 用于并行计算的训练批次大小，例如 4-128 |
| shuffle | 是否在训练过程中随机打乱训练集，例如 True、False |
| verbose | 训练过程的报告，例如 0 不显示、1 详细、2 粗略 |
| valid_split | 训练过程中验证集的比例，例如 0.1-0.2 |
| opt | 网络优化器，例如 'adam'、'sgd' |
| opt_lr | 优化器学习率，例如 0.001-0.1 |
| opt_loss | 优化器损失函数，例如 'mse'、'mae'、'mape'、'hinge'，参考 https://keras.io/zh/losses/ |
| opt_patience | 自适应学习率的优化器耐心值，例如 10-100 |
| stop_patience | 提前停止的耐心值，例如 10-100 |
2. 预测
你可以尝试以下预测方法。注意，kr.是在第1步中定义的类，代码中必须使用。
df_result = kr.single_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.ensemble_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.respective_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.hybrid_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.multiple_keras_predict(data, show=True, plot=True, save=True)
| 预测方法 | 描述 |
|---|---|
| 单一方法 | 使用Keras模型直接对向量输入进行预测 |
| 集成方法 | 使用分解-集成Keras模型直接对矩阵输入进行预测 |
| 分别预测方法 | 使用分解-集成Keras模型分别对每个IMF进行向量输入预测 |
| 混合方法 | 使用集成方法预测高频IMF，使用分别预测方法预测其他IMF |
| 多次方法 | 多次运行上述方法 |
| 滚动方法 | 滚动运行上述方法以避免前瞻偏差，但需要很长时间 |
3. 验证
(1) 绘制热力图
你需要先安装seaborn，输入应为2D数组。
cl.plot_heatmap(data, corr_method='pearson', fig_path=None)
(2) Diebold-Mariano检验（DM检验）
DM检验将输出DM检验统计量及其p值。你可以参考 https://github.com/johntwk/Diebold-Mariano-Test。
rt = cl.dm_test(actual_lst, pred1_lst, pred2_lst, h=1, crit="MSE", power=2)
4. 次日预测
设置 NEXT_DAY=True。
kr = cl.keras_predictor(NEXT_DAY=True)
df_result = kr.hybrid_keras_predict(data, show=True, plot=True, save=True)
# df_result = kr.rolling_keras_predict(data, predict_method='single')
Sklearn预测
你可以尝试以下预测方法。注意，sr.是定义的类，代码中必须使用。
# SKLEARN_MODEL = LASSO, SVM, 或 LGB(LightGBM); OPTIMIZER = Bayes, GS(GridSearch)
sr = cl.sklearn_predictor(PATH=path, FORECAST_HORIZONS=30, FORECAST_LENGTH=30,
SKLEARN_MODEL='LASSO', OPTIMIZER='Bayes',
DECOM_MODE='OVMD', INTE_LIST='auto')
df_result = sr.single_sklearn_predict(data, show=True, plot=True, save=True)
# df_result = sr.respective_sklearn_predict(data, show=True, plot=True, save=True)
# df_result = sr.multiple_sklearn_predict(series_close, run_times=10, predict_method='single')
讨论
1. 前瞻偏差
由于预测器会先对整个序列进行分解，然后再划分训练集和测试集，因此存在前瞻偏差。如何避免前瞻偏差仍是一个问题。
2. VMD分解
vmdpy模块只能分解偶数长度的时间序列。当预测奇数长度的序列时，该模块会删除最早的一个数据点。如何修改VMD分解仍是一个问题。此外，选择K参数对VMD方法很重要，因此我将添加一些方法来选择合适的K，比如OVMD、REI、SampEn等。
3. 滚动预测
滚动预测需要大量时间。例如，30步长的预测需要运行30次cl.hybrid_keras_predict()，所以我不确定它是否真的有效。
