访问官网
Github
文档Mars 项目介绍
Mars 是一个基于张量的统一框架，专注于大规模数据计算。它扩展并支持了包括 Numpy、Pandas、Scikit-learn 在内的多个库的横向扩展能力。Mars 能够在数据处理的同时保持这些库熟悉的接口，提供了简单、强大且便于扩展的大数据处理解决方案。
安装说明
Mars 的安装过程非常简单。要安装 Mars，只需在终端中运行以下命令：
pip install pymars
开发者安装
如果您希望为 Mars 项目贡献代码，您可以通过以下步骤安装开发版本：
git clone https://github.com/mars-project/mars.git
cd mars
pip install -e ".[dev]"
详细的安装说明可以参阅 Mars 的官方文档。
架构概览
Mars 的架构设计支持在多核甚至分布式环境下高效运行，从而增强了运算的速度和计算能力。
入门指南
您可以通过以下方式在本地启动一个新的计算会话：
import mars
mars.new_session()
或者，连接到已经初始化的 Mars 集群：
import mars
mars.new_session('http://<web_ip>:<ui_port>')
Mars 张量
Mars 张量提供了类似于 Numpy 的接口。比较下列代码示例，左侧是 Numpy 的实现，右侧是 Mars 张量的实现：
import numpy as np
import mars.tensor as mt
N = 200_000_000
a = np.random.uniform(-1, 1, size=(N, 2))
print((np.linalg.norm(a, axis=1) < 1).sum() * 4 / N)
Mars 充分利用多核处理，即使在笔记本电脑上也能高效运行，并且在分布式设置下表现尤其出色。
Mars 数据帧
Mars 提供了类似于 Pandas 的数据帧接口。下列代码展示了 Pandas 和 Mars 数据帧的对比：
import numpy as np
import pandas as pd
import mars.tensor as mt
import mars.dataframe as md
df = pd.DataFrame(np.random.rand(100_000_000, 4), columns=list('abcd'))
print(df.sum())
df = md.DataFrame(mt.random.rand(100_000_000, 4), columns=list('abcd'))
print(df.sum().execute())
Mars 学习
Mars 学习部分提供了类似于 Scikit-learn 的接口，并且能够与许多机器学习框架集成，例如 TensorFlow、PyTorch、XGBoost、LightGBM 等。以下是与 Scikit-learn 的一个简单对比：
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
X, y = make_blobs(n_samples=100_000_000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]], cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)
pca = PCA(n_components=3)
pca.fit(X)
print(pca.explained_variance_ratio_)
from mars.learn.datasets import make_blobs
from mars.learn.decomposition import PCA
X, y = make_blobs(n_samples=100_000_000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]], cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)
pca = PCA(n_components=3)
pca.fit(X)
print(pca.explained_variance_ratio_)
Mars 远程
Mars 远程功能允许用户并行执行函数调用。相比传统的函数调用，它能够显著提高执行效率：
import numpy as np
import mars.remote as mr
def calc_chunk(n, i):
rs = np.random.RandomState(i)
a = rs.uniform(-1, 1, size=(n, 2))
return (np.linalg.norm(a, axis=1) < 1).sum()
N = 200_000_000
n = 10_000_000
fs = [mr.spawn(calc_chunk, args=(n, i)) for i in range(N // n)]
pi = mr.spawn(sum, args=(fs,))
print(pi.execute().fetch())
DASK on Mars
Mars 也支持在 DASK 框架上的集成，可以为在分布式数据分析场景中提供优秀的计算能力。
交互模式
Mars 支持交互模式，使其更加易于开发和调试。用户可以通过设置选项来启用交互模式：
from mars.config import options
options.eager_mode = True
与 Ray 的集成
Mars 深度集成了 Ray，可以在 Ray 上高效运行，并与基于 Ray 的机器学习和分布式系统生态无缝交互。
灵活的扩展能力
Mars 可以在单机上运行，也可以扩展至具有数千台机器的集群，使得在不同规模的环境下都能保持优良的性能和数据处理能力。
裸机部署
在裸机集群中，Mars 可以通过启动不同组件来实现集群的扩展。用户可以选择某个节点作为管理节点，其它节点为工作节点，通过启动命令自定义节点角色。
Kubernetes 和 Yarn 部署
Mars 支持通过 Kubernetes 和 Yarn 进行部署，适用于云原生和大数据处理环境。
如何参与
- 阅读开发指南，加入 Slack 工作群（Mars Computing）或邮件列表（发送邮件至 mars-dev@googlegroups.com）。
- 感兴趣的开发者可以通过提交 GitHub issue 或 pull requests 来贡献代码。
感谢您的关注与贡献！
