Cython-BLIS简介
Cython-BLIS是一个高性能线性代数运算库BLIS (BLAS-like Library Instantiation Software)的Python封装。它提供了快速的BLAS (Basic Linear Algebra Subprograms)类操作,无需系统依赖,是机器学习和数据科学中矩阵计算的理想选择。
作为一个独立的Python C扩展,Cython-BLIS将BLIS线性代数例程打包在一起,使Python开发者可以轻松地在自己的项目中使用高性能的矩阵运算。目前,Cython-BLIS主要支持单线程执行,这实际上最适合机器学习推理等工作负载。
主要特性
Cython-BLIS具有以下主要特性:
-
高性能: 基于优化的BLIS库,提供快速的矩阵乘法等线性代数操作。
-
易于安装: 作为独立的Python包,无需系统级BLAS依赖,可通过pip轻松安装。
-
跨平台: 支持多种操作系统和CPU架构,包括x86_64、ARM64等。
-
Python友好: 提供Pythonic的API,易于与NumPy等库集成。
-
Cython支持: 可在Cython代码中直接调用底层C函数,实现更高性能。
-
单线程优化: 专为机器学习推理等单线程场景优化。
安装
Cython-BLIS可以通过pip轻松安装:
pip install blis
对于特定的CPU架构,可以通过环境变量指定:
BLIS_ARCH=haswell pip install blis
Cython-BLIS也可以通过conda安装:
conda install -c conda-forge cython-blis
基准测试
以下是在Dell XPS 13 i7-7500U上运行的一个小型矩阵乘法基准测试结果:
Setting up data nO=384 nI=384 batch_size=2000. Running 1000 iterations
Blis...
Total: 11032014.6484
7.35 seconds
Numpy (Openblas)...
Total: 11032016.6016
16.81 seconds
Blis einsum ab,cb->ca
8.10 seconds
Numpy (openblas) einsum ab,cb->ca
Total: 5510596.19141
83.18 seconds
可以看到,在这种小矩阵乘法场景下,Cython-BLIS的性能明显优于OpenBLAS。
使用方法
Cython-BLIS提供了两种API:高级Python API和直接的Cython访问。
Python API
Python API的亮点是einsum函数,它的工作方式类似于NumPy的einsum,但有一些限制,允许直接映射到BLIS例程。以下是一些使用示例:
from blis.py import einsum
import numpy as np
# 矩阵乘法
a = np.random.rand(500, 128)
b = np.random.rand(128, 300)
c = einsum('ab,bc->ac', a, b)
# 改变输出维度顺序
c = einsum('ab,bc->ca', a, b)
# 矩阵向量乘法,转置输出
v = np.random.rand(128)
out = einsum('ab,b->ba', a, v)
Cython-BLIS的einsum函数比NumPy版本更快,但功能更加受限:
- 只支持两个输入张量
- 最多支持两个维度
- 维度必须标记为a、b和c
- 第一个参数的维度必须是'a'(对于1维输入)或'ab'(对于2维输入)
这些限制使得einsum可以直接映射到BLIS的底层函数,如gemm、gemv、ger和axpy等。
Cython API
Cython-BLIS还提供了底层BLIS线性代数库的Cython绑定,支持融合类型和nogil操作:
cimport blis.cy
cdef float* A = <float*>calloc(nN * nI, sizeof(float))
cdef float* B = <float*>calloc(nO * nI, sizeof(float))
cdef float* C = <float*>calloc(nr_b0 * nr_b1, sizeof(float))
blis.cy.gemm(blis.cy.NO_TRANSPOSE, blis.cy.NO_TRANSPOSE,
nO, nI, nN,
1.0, A, nI, 1, B, nO, 1,
1.0, C, nO, 1)
性能优化
Cython-BLIS针对不同的CPU架构进行了优化。在编译时,它会自动检测当前的CPU架构并选择最适合的优化版本。支持的架构包括:
- x86_64: 支持AVX2、AVX512等指令集
- ARM64: 针对不同的ARM核心进行优化
- POWER9: 针对IBM POWER9处理器优化
对于x86_64架构,Cython-BLIS会检测CPU是否支持AVX2和AVX512指令集,并选择最优的实现。这确保了在不同的x86_64 CPU上都能获得最佳性能。
与其他库的比较
与其他常见的BLAS实现相比,Cython-BLIS在某些场景下表现出色:
-
与OpenBLAS相比:在小矩阵乘法场景下,Cython-BLIS通常更快。
-
与MKL相比:MKL在某些场景下可能更快,但Cython-BLIS无需额外的许可证。
-
与纯Python实现相比:Cython-BLIS提供了数量级的性能提升。
-
与NumPy的默认后端相比:Cython-BLIS通常能提供更好的性能,特别是在einsum操作上。
应用场景
Cython-BLIS特别适合以下应用场景:
-
机器学习模型推理:单线程优化适合大多数推理场景。
-
自然语言处理:在词向量操作等任务中表现出色。
-
计算机视觉:可用于图像处理中的矩阵运算。
-
科学计算:为各种数值计算提供高效的线性代数支持。
-
数据分析:加速大规模数据的矩阵运算。
未来发展
Cython-BLIS项目正在积极开发中,未来的发展方向可能包括:
-
多线程支持:为大规模计算提供并行处理能力。
-
更多CPU架构支持:覆盖更广泛的硬件平台。
-
GPU支持:利用GPU加速大规模矩阵运算。
-
与深度学习框架的集成:为PyTorch、TensorFlow等提供高性能后端。
-
更多线性代数操作:扩展支持的BLAS函数集。
总结
Cython-BLIS为Python开发者提供了一个高性能、易用的线性代数库。它结合了BLIS的高效实现和Python的易用性,是机器学习、数据科学和科学计算领域的有力工具。通过消除对系统BLAS的依赖,Cython-BLIS简化了部署过程,同时在多种硬件平台上提供了出色的性能。无论是在生产环境中进行模型推理,还是在研究中进行原型开发,Cython-BLIS都是一个值得考虑的选择。
对于那些需要高性能矩阵计算的Python开发者来说,Cython-BLIS提供了一个强大而灵活的解决方案。它不仅简化了开发过程,还确保了跨平台的一致性能。随着项目的不断发展和社区的支持,Cython-BLIS有望在Python科学计算生态系统中发挥越来越重要的作用。
