Narayan, A, Berger, B, Cho, H, Assessing Single-Cell Transcriptomic Variability through Density-Preserving Data Visualization, Nature Biotechnology, 2021

安装

UMAP依赖于scikit-learn,因此也依赖scikit-learn的依赖项,如numpy和scipy。出于性能考虑,UMAP还需要numba。原始版本使用Cython,但Numba在代码清晰度、简洁性和性能方面的改进使得过渡成为必要。

要求:

Python 3.6或更高版本
numpy
scipy
scikit-learn
numba
tqdm
pynndescent <https://github.com/lmcinnes/pynndescent>_

推荐的包:

用于绘图
- matplotlib
- datashader
- holoviews
用于参数化UMAP
- tensorflow > 2.0.0

安装选项

通过conda-forge团队的出色工作,可以使用Conda安装:

.. code:: bash

conda install -c conda-forge umap-learn

conda-forge软件包适用于Linux、OS X和Windows 64位。

假设你已经安装了numba、sklearn及其所有要求(numpy和scipy),可以通过PyPI安装:

.. code:: bash

pip install umap-learn

如果你希望使用绘图功能,可以使用

.. code:: bash

pip install umap-learn[plot]

来安装所有绘图依赖项。

如果你希望使用参数化UMAP,你需要安装Tensorflow,可以使用https://www.tensorflow.org/install上的说明安装(推荐),或者使用

.. code:: bash

pip install umap-learn[parametric_umap]

安装仅CPU版本的Tensorflow。

如果你使用的是x86处理器,还可以选择安装tbb,这将提供额外的CPU优化:

.. code:: bash

pip install umap-learn[tbb]

如果pip在拉取依赖项时遇到困难,我们建议使用anaconda手动安装依赖项,然后从pip拉取umap:

.. code:: bash

conda install numpy scipy
conda install scikit-learn
conda install numba
pip install umap-learn

对于手动安装,获取此软件包:

.. code:: bash

wget https://github.com/lmcinnes/umap/archive/master.zip
unzip master.zip
rm master.zip
cd umap-master

可选地,通过Conda安装要求:

.. code:: bash

conda install scikit-learn numba

然后安装软件包

.. code:: bash

python -m pip install -e .

如何使用UMAP

umap包继承自sklearn类,因此可以与其他sklearn转换器无缝衔接,具有相同的调用API。

.. code:: python

import umap
from sklearn.datasets import load_digits

digits = load_digits()

embedding = umap.UMAP().fit_transform(digits.data)

UMAP类有许多可以设置的参数;主要参数如下:

n_neighbors: 这决定了用于局部近似流形结构的相邻点数。较大的值会导致保留更多的全局结构,但会损失详细的局部结构。通常,此参数应在5到50的范围内,10到15是一个合理的默认值。
min_dist: 这控制了嵌入允许将点压缩在一起的紧密程度。较大的值确保嵌入点分布更均匀,而较小的值允许算法针对局部结构更准确地优化。合理的值在0.001到0.5之间,0.1是一个合理的默认值。
metric: 这决定了用于测量输入空间中距离的度量选择。已经编码了多种度量,只要用numba进行了JIT编译,用户定义的函数也可以传递。

使用这些选项的示例:

.. code:: python

import umap
from sklearn.datasets import load_digits

digits = load_digits()

embedding = umap.UMAP(n_neighbors=5, min_dist=0.3, metric='correlation').fit_transform(digits.data)

UMAP还支持拟合稀疏矩阵数据。更多详细信息请参阅UMAP文档。

UMAP的优势

UMAP在当前版本中有几个显著的优势。

首先，UMAP速度很快。它可以轻松处理大型数据集和高维数据，规模超过大多数t-SNE包能够处理的范围。这包括非常高维的稀疏数据集。UMAP已成功直接用于处理超过百万维的数据。

其次，UMAP在嵌入维度方面具有良好的可扩展性——它不仅仅用于可视化！您可以将UMAP作为通用的降维技术，作为其他机器学习任务的预处理步骤。稍加注意，它可以与hdbscan聚类库很好地配合使用（有关更多详细信息，请参阅"使用UMAP进行聚类"）。

第三，UMAP在保留数据全局结构的某些方面通常比大多数t-SNE实现表现更好。这意味着它通常可以提供更好的数据"大局"视图，同时保留局部邻域关系。

第四，UMAP支持各种距离函数，包括非度量距离函数，如余弦距离和相关距离。您终于可以使用余弦距离正确嵌入词向量了！

第五，UMAP支持通过标准的sklearn transform方法将新点添加到现有嵌入中。这意味着UMAP可以在sklearn管道中用作预处理转换器。

第六，UMAP支持有监督和半监督降维。这意味着如果您有希望用作降维额外信息的标签信息（即使只是部分标签），您也可以使用它——只需在fit方法中将其作为y参数提供即可。

第七，UMAP支持各种其他实验性功能，包括：可以近似出会映射到给定嵌入空间位置的高维样本的"逆变换"；能够嵌入到非欧几里得空间，包括双曲嵌入和带有不确定性的嵌入；还初步支持嵌入数据框。

最后，UMAP在流形学习方面有坚实的理论基础（参见我们在ArXiv上的论文）。这既证明了该方法的合理性，又允许进行进一步的扩展，这些扩展将很快添加到库中。

性能和示例

UMAP在嵌入大型高维数据集方面非常高效。特别是它在输入维度和嵌入维度方面都具有良好的可扩展性。为了获得最佳性能，我们建议安装最近邻计算库pynndescent。UMAP无需它也能工作，但如果安装了它，运行速度会更快，特别是在多核机器上。

对于像MNIST数字数据集这样的784维、70000个数据样本的问题，UMAP可以在不到一分钟的时间内完成嵌入（相比之下，scikit-learn的t-SNE实现需要大约45分钟）。尽管运行时间效率如此之高，UMAP仍然产生高质量的嵌入。

必不可少的MNIST数字数据集，在42秒内嵌入完成（安装pynndescent并在numba jit预热后）使用3.1 GHz Intel Core i7处理器（n_neighbors=10，min_dist=0.001）：

[图片：UMAP嵌入的MNIST数字]

然而，MNIST数字数据集相对简单。更好的测试是最近的"Fashion MNIST"时尚物品图像数据集（同样是70000个数据样本，784维）。UMAP在49秒内生成了这个嵌入（n_neighbors=5，min_dist=0.1）：

[图片：UMAP嵌入的"Fashion MNIST"]

UCI shuttle数据集（43500个样本，8个维度）在相关距离下嵌入良好，用时44秒（注意相关距离计算所需的时间较长）：

[图片：UMAP嵌入UCI Shuttle数据集]

以下是基于相同参数（n_neighbors=10，min_dist=0.001）的MNIST数字数据集784个特征的densMAP可视化。densMAP揭示了对应于数字1的簇明显更密集，这表明与其他数字相比，数字1的图像自由度较少。

[图片：MNIST数据集的densMAP嵌入]

绘图

UMAP包含一个子包umap.plot用于绘制UMAP嵌入的结果。由于该包有额外的依赖项（matplotlib、datashader和holoviews），需要单独导入。它允许快速简单的绘图，并尝试做出明智的决策以避免过度绘制和其他陷阱。使用示例：

import umap import umap.plot from sklearn.datasets import load_digits

digits = load_digits()

mapper = umap.UMAP().fit(digits.data) umap.plot.points(mapper, labels=digits.target)

绘图包提供基本图表以及带有悬停工具的交互式图表和各种诊断绘图选项。有关更多详细信息，请参阅文档。

参数化UMAP

参数化UMAP支持训练神经网络以学习基于UMAP的数据转换。这可用于支持新的未见数据的更快推断、更稳健的逆变换、UMAP的自编码器版本和半监督分类（特别适用于UMAP良好分离的数据和非常有限的标记数据量）。有关更多信息，请参阅参数化UMAP文档或示例笔记本。

densMAP

densMAP算法对UMAP进行了增强，除了UMAP捕获的拓扑结构外，还保留了局部密度信息。通过设置densmap输入标志，可以轻松使用umap包运行densMAP：

embedding = umap.UMAP(densmap=True).fit_transform(data)

此功能基于densMAP开发者提供的实现，他们还为将densMAP集成到umap包中做出了贡献。

densMAP继承了UMAP的所有参数。以下是可以为densMAP设置的其他参数列表：

dens_frac：这决定了在优化目标中包含密度保持项的epochs比例（0到1之间的值）。此参数默认设置为0.3。请注意，densMAP在使用UMAP优化嵌入的初始阶段后才开始密度优化。
dens_lambda：这决定了密度保持目标的权重。较高的值优先考虑密度保持，较低的值（接近零）优先考虑UMAP目标。将此参数设置为零会将算法简化为UMAP。默认值为2.0。
dens_var_shift：为了数值稳定性，在嵌入中添加到局部密度方差的正则化项。我们建议将此参数设置为0.1，这在许多设置中都能一致地表现良好。
output_dens：当此标志为True时，fit_transform的调用除了返回嵌入外，还会返回原始数据集和嵌入的局部半径（局部密度的倒数，在densMAP论文中定义）。输出是一个元组(embedding, radii_original, radii_embedding)。请注意，半径是经过对数转换的。如果为False，则只返回嵌入。这个标志也可以用于UMAP来探索UMAP嵌入的局部密度。默认情况下，此标志为False。

对于densMAP，我们建议使用较大的n_neighbors值（如30）以可靠地估计局部密度。

以下是使用这些选项的示例（基于mnist_784数据集的子样本）：

.. code:: python

import umap
from sklearn.datasets import fetch_openml
from sklearn.utils import resample

digits = fetch_openml(name='mnist_784')
subsample, subsample_labels = resample(digits.data, digits.target, n_samples=7000,
                                       stratify=digits.target, random_state=1)

embedding, r_orig, r_emb = umap.UMAP(densmap=True, dens_lambda=2.0, n_neighbors=30,
                                     output_dens=True).fit_transform(subsample)

更多详情请参阅文档。

帮助和支持

文档位于Read the Docs。文档包含一个FAQ，可能回答你的问题。如果你仍有疑问，请提出问题，我会尽力提供帮助和指导。

引用

如果你在工作中使用了这个软件，我们将非常感谢你引用Open Source Software期刊的论文：

.. code:: bibtex

@article{mcinnes2018umap-software,
  title={UMAP: Uniform Manifold Approximation and Projection},
  author={McInnes, Leland and Healy, John and Saul, Nathaniel and Grossberger, Lukas},
  journal={The Journal of Open Source Software},
  volume={3},
  number={29},
  pages={861},
  year={2018}
}

如果你想在你的工作中引用这个算法，目前的参考文献是ArXiv论文：

.. code:: bibtex

@article{2018arXivUMAP, author = {{McInnes}, L. and {Healy}, J. and {Melville}, J.}, title = "{UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction}", journal = {ArXiv e-prints}, archivePrefix = "arXiv", eprint = {1802.03426}, primaryClass = "stat.ML", keywords = {Statistics - Machine Learning, Computer Science - Computational Geometry, Computer Science - Learning}, year = 2018, month = feb, }

此外，如果你在工作中使用了densMAP算法，请引用以下参考文献：

.. code:: bibtex

@article {NBC2020,
    author = {Narayan, Ashwin and Berger, Bonnie and Cho, Hyunghoon},
    title = {Assessing Single-Cell Transcriptomic Variability through Density-Preserving Data Visualization},
    journal = {Nature Biotechnology},
    year = {2021},
    doi = {10.1038/s41587-020-00801-7},
    publisher = {Springer Nature},
    URL = {https://doi.org/10.1038/s41587-020-00801-7},
    eprint = {https://www.biorxiv.org/content/early/2020/05/14/2020.05.12.077776.full.pdf},
}

如果你在工作中使用了参数化UMAP算法，请引用以下参考文献：

.. code:: bibtex

@article {SMG2020,
    author = {Sainburg, Tim and McInnes, Leland and Gentner, Timothy Q.},
    title = {Parametric UMAP: learning embeddings with deep neural networks for representation and semi-supervised learning},
    journal = {ArXiv e-prints},
    archivePrefix = "arXiv",
    eprint = {2009.12981},
    primaryClass = "stat.ML",
    keywords = {Statistics - Machine Learning,
                Computer Science - Computational Geometry,
                Computer Science - Learning},
    year = 2020,
    }

许可证

umap包使用3条款BSD许可。

我们想指出，umap包大量使用了NumFOCUS赞助的项目，没有他们对这些项目的支持，umap就不可能实现，所以请考虑为NumFOCUS做出贡献。

贡献

我们非常欢迎贡献！有很多潜在的项目机会，所以如果你想提供帮助，请联系我们。从代码到笔记本再到示例和文档，一切都同等重要，所以请不要觉得你不能贡献。要贡献，请fork项目，进行修改并提交拉取请求。我们会尽最大努力解决任何问题，并将你的代码合并到主分支中。