SCAMP:可扩展矩阵剖面
目录
概述
文档
性能
Python模块
使用Docker运行
分布式操作
参考文献
概述
这是SCAMP算法的GPU/CPU实现。SCAMP接收一个时间序列作为输入,并计算特定窗口大小的矩阵剖面。您可以在矩阵剖面主页了解更多信息。 这是对GPU-STOMP的大幅改进,具有以下额外特性:
- 适用于大规模输入的分块处理
- 支持fp32、混合fp32/fp64或fp64计算(对大多数数据集建议使用双精度,单精度适用于部分数据集)
- fp32版本在GeForce卡上应该能获得良好性能
- AB连接(可以从两个不同的时间序列生成矩阵剖面)
- 可分布式(我们使用GCP,但其他云平台也可以工作),已验证可扩展至数十亿个数据点
- 更多类型的矩阵剖面!KNN、矩阵摘要、求和和无索引的1NN!请参阅文档!
- 极其高效的实现
- 可扩展以添加自定义连接操作的优化版本
- CPU支持(仅启用双精度;尚不支持KNN连接)
- 处理包含NaN的输入值。计算矩阵剖面时会排除任何包含NaN值的子序列
- Python模块:通过pyscamp在Python中使用SCAMP
- conda-forge集成:使用conda无缝安装pyscamp
- 广泛的集成测试:SCAMP对每个PR都进行了数千种输入配置的测试
- 自动基准测试:有助于确保未来更新不会降低性能
为什么使用SCAMP?
- 它比其他矩阵剖面库更快。例如,它比stumpy快20倍到100倍。
- 使用conda安装非常简单,依赖项很少。
- 它能处理真实数据:可处理非常大的输入、缺失值和平坦区域,几乎没有问题。
- 它可以计算各种其他类型的矩阵剖面,包括高效计算KNN矩阵剖面和矩阵摘要(即mplots)。并且可以扩展以高效计算其他类型的剖面。
文档
SCAMP的文档可在readthedocs上找到。
Python模块
pyscamp
可通过conda-forge获得:
# 在Linux和Windows上安装支持CPU/GPU的pyscamp。
conda install -c conda-forge pyscamp-gpu
# 在Windows、Linux或MacOS上安装仅支持CPU的pyscamp。
conda install -c conda-forge pyscamp-cpu
请注意,即使你没有GPU,也可以安装和使用pyscamp-gpu
,它会自动退回使用CPU。但是,如果你没有GPU,pyscamp-cpu
更为合适,因为它使用更新的编译器构建,并且不需要安装cudatoolkit
依赖。
如果使用pyscamp-gpu
时遇到GPU问题,请确保你的NVIDIA驱动程序是最新的。这是最常见的问题原因。
从源代码安装
如果你愿意,可以从源代码构建pyscamp,这将提高性能。pypi.org上提供了一个使用pybind11的Python3模块的源代码分发包,安装运行:
# 需要Python 3和C/C++编译器。
# 需要cmake(如果没有,可以通过pip install cmake安装)
pip install pyscamp
安装完成后,你可以在Python中如下使用SCAMP:
import pyscamp as mp
# 允许检查pyscamp是否使用CUDA构建并支持GPU。
has_gpu_support = mp.gpu_supported()
# 自连接
profile, index = mp.selfjoin(a, sublen)
# AB连接,使用4个线程,输出皮尔逊相关系数。
profile, index = mp.abjoin(a, b, sublen, pearson=True, threads=4)
有关pyscamp的更多信息和API文档可在readthedocs上找到。
使用Docker运行
你可以通过nvidia-docker使用dockerhub上预构建的镜像运行SCAMP。
为了暴露主机GPU,必须正确安装nvidia-docker。请按照nvidia-docker github页面上提供的说明进行操作。以下示例使用docker 19.03功能:
docker pull zpzim/scamp:latest
docker run --gpus all \
--volume /path/to/host/input/data/directory:/data \
--volume /path/to/host/output/directory:/output \
zpzim/scamp:latest /SCAMP/build/SCAMP \
--window=<window_size> --input_a_file_name=/data/<filename> \
--output_a_file_name=/output/<mp_filename> \
--output_a_index_file_name=/output/<mp_index_filename>
分布式操作
我们有一个使用grpc构建的客户端/服务器架构。在GKE上进行了测试,但也应该可以在Amazon EKS上运行。
有关如何使用scamp客户端和服务器的更多信息,请查看文档。
引用
如果你在工作中使用SCAMP,请引用以下论文:
Zimmerman, Zachary, et al. "Matrix Profile XIV: Scaling Time Series Motif Discovery with GPUs to Break a Quintillion Pairwise Comparisons a Day and Beyond." Proceedings of the ACM Symposium on Cloud Computing. 2019.