Logo
Project Icon

scikit-learn-ts

Node.js环境下的Python机器学习库集成方案

scikit-learn-ts机器学习PythonNode.jsTypeScriptGithub开源项目

scikit-learn-ts项目为Node.js开发者提供了使用Python scikit-learn机器学习库的便捷方式。该项目自动生成257个TypeScript类，涵盖KMeans、TSNE和PCA等算法，性能优于纯JavaScript实现。适用于本地开发环境，配有详细文档和示例，简化了Node.js中的机器学习应用。

访问官网访问官网GithubGithub文档文档论文论文
介绍相关项目
sklearn ts 标志

scikit-learn-ts

NPM 构建状态 MIT 许可证 Prettier 代码格式化

简介

本项目使 Node.js 开发者能够使用 Python 强大的 scikit-learn 机器学习库 - 无需了解任何 Python 知识。🤯

更多信息请查看完整文档。

注意 这个项目是新的且处于实验阶段。它非常适合本地开发，但我暂时不建议在生产环境中使用。你可以在 Twitter @transitive_bs 上关注项目进展。

特性

  • 所有 TS 类都是从官方 Python scikit-learn 文档自动生成的！
  • 支持全部 257 个类，并提供适当的 TS 类型和文档
    • KMeans
    • TSNE
    • PCA
    • LinearRegression
    • LogisticRegression
    • DecisionTreeClassifier
    • RandomForestClassifier
    • XGBClassifier
    • DBSCAN
    • StandardScaler
    • MinMaxScaler
    • ... 全部 💯
  • 通常比基于 JS 的替代方案更快速和稳健
    • （基准测试和比较即将推出）

前提条件

本项目面向 Node.js 用户，所以如果你不熟悉 Python，不用担心。这是唯一需要接触 Python 的步骤，应该相当简单。

确保你已安装 Node.js 和 Python 3，并且它们在你的 PATH 中。

  • node >= 14
  • python >= 3.7

在 Python 环境中，通过 pip 全局安装 numpy 和 scikit-learn，或使用你喜欢的虚拟环境管理器安装。运行 Node.js 程序的 shell 需要访问这些 Python 模块，所以如果你使用虚拟环境，请确保它已激活。

如果你不确定这意味着什么，没关系。首先安装 Python，这也会安装 Python 的包管理器 pip。然后运行：

pip install numpy scikit-learn

*恭喜！*你已经安全地导航到 Python 领域，从现在开始，我们将使用 Node.js / JS / TS。sklearn NPM 包将在底层使用你的 Python 安装。

安装

npm install sklearn

使用

更多信息请查看完整文档。

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2
})
await model.init(py)

const x = await model.fit_transform({ X: data })
console.log(x)

await model.dispose()
await py.disconnect()

由于 TS 类是从 Python 文档自动生成的，代码看起来几乎与 Python 版本相同，所以可以使用他们优秀的 API 文档 作为参考。

所有类名、方法名、属性（访问器）名称和类型都与官方 Python 版本相同。

主要区别是：

  • 在使用任何 sklearn 类之前，你需要调用 createPythonBridge()
    • 这会生成一个 Python 子进程并验证所有 Python 依赖项
    • 你可以通过 createPythonBridge({ python: '/path/to/your/python3' }) 传递自定义的 python 路径
  • 在使用类之前，你需要将这个桥接传递给类的异步 init 方法
    • 这会创建一个表示你的类实例的底层 Python 变量
  • 我们使用普通的 JavaScript 数组，而不是 numpy 或 pandas
    • 在 Python 版本中使用 numpy 数组作为输入或输出的地方，我们只使用 number[]、number[][] 等
    • 我们会在必要时自动处理与 numpy 数组的转换
  • 当你使用完一个实例后，调用 dispose() 来释放底层 Python 资源
  • 当你使用完 Python 桥接后，在桥接上调用 disconnect() 以干净地退出 Python 子进程

限制

  • 我们目前不支持位置参数；只支持基于关键字的参数：
// 这样可以（关键字参数）
const x = await model.fit_transform({ X: data })

// 这样还不行（位置参数）
const y = await model.fit_transform(data)
  • 我们目前不为 scikit-learn 的内置数据集生成 TS 代码
  • 我们目前不为 scikit-learn 的顶级函数导出生成 TS 代码（目前只有类）
  • 对于少数几个自动生成的 TS 类，有基本的单元测试，它们运行良好，但其他自动生成的类中可能存在边缘情况和 bug
    • 如果你遇到任何奇怪的行为，请在 GitHub 上创建一个 issue，并尽可能包含详细信息，包括代码片段

示例

这里有一些并排的示例，左边使用官方 Python scikit-learn 包，右边使用 TS sklearn 包。

StandardScaler

StandardScaler Python 文档

PythonTypeScript
import numpy as np
from sklearn.preprocessing import StandardScaler

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

s = StandardScaler()

x = s.fit_transform(data)

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const s = new sklearn.StandardScaler()
await s.init(py)

const x = await s.fit_transform({ X: data })

KMeans

KMeans Python 文档

PythonTypeScript
import numpy as np
from sklearn.cluster import KMeans

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = KMeans(
  n_clusters=2,
  random_state=42,
  n_init='auto'
)

x = model.fit_predict(data)

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.KMeans({
  n_clusters: 2,
  random_state: 42,
  n_init: 'auto'
})
await model.init(py)

const x = await model.fit_predict({ X: data })

TSNE

TSNE Python 文档

PythonTypeScript
import numpy as np
from sklearn.manifold import TSNE

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = TSNE(
  n_components=2,
  perplexity=2,
  learning_rate='auto',
  init='random'
)

x = model.fit_transform(data)

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2,
  learning_rate: 'auto',
  init: 'random'
})
await model.init(py)

const x = await model.fit_transform({ X: data })

查看完整文档以获取更多示例。

为什么？

Python机器学习生态系统通常比Node.js机器学习生态系统成熟得多。大多数机器学习研究都是在Python中进行的，而许多Python开发者认为理所当然的常见机器学习任务在Node.js中要困难得多。

例如，我最近在使用全栈TypeScript进行一个数据可视化项目时，需要对一些文本嵌入进行k-means和t-SNE处理。我测试了6个不同的t-SNE JS包和几个k-means包。这些t-SNE包都无法处理中等大小的输入，在许多情况下速度慢了1000倍，而且我在使用基于JS的版本时经常遇到NaN问题。

这就说明了问题所在；在JS/TS领域要与经过验证的Python机器学习库（如scikit-learn）的稳健性、速度和成熟度竞争是非常困难的。

因此，与其尝试从头开始构建基于Rust的版本或使用上述临时的NPM包，我决定进行一个实验，看看在Node.js中直接使用scikit-learn有多实用。

这就是scikit-learn-ts诞生的原因。

工作原理

这个项目使用了python-bridge的一个分支，它将Python解释器作为子进程启动，并通过标准Unix管道进行双向通信。IPC管道不会干扰stdout/stderr/stdin，因此您的Node.js代码和底层Python代码可以正常打印内容。

TS库是从Python scikit-learn的API文档自动生成的。通过使用官方Python文档作为真实来源，我们可以保证一定程度的兼容性和可升级性。

对于每个属于导出Python class或function的scikit-learn HTML页面，我们首先使用cheerio解析其元数据、参数、方法、属性等，然后将Python类型转换为等效的TypeScript类型。然后我们生成一个相应的TypeScript文件，该文件通过PythonBridge封装该Python声明的实例。

对于每个TypeScript包装器class或function，我们特别注意处理Node.js和Python之间的值的JSON序列化，包括在必要时在原始数组和numpy数组之间进行转换。所有的numpy数组转换应该都会自动为您处理，因为我们只支持通过PythonBridge序列化原始JSON类型。可能存在一些自动numpy推断失败的边缘情况，但我们有一个针对这些情况的回归测试套件，所以只要官方Python文档对给定类型是正确的，那么我们的隐式numpy转换逻辑应该就能"正常工作"。

致谢

本项目与官方Python scikit-learn项目无关。希望有朝一日能成为其中的一部分。😄

所有复杂的机器学习工作都是通过官方Python scikit-learn项目在底层完成的，我们对他们绝对令人惊叹的团队表示充分的感谢。这个项目只是一个小型开源实验，试图为Node.js社区利用现有的scikit-learn生态系统。

查看完整文档以获取更多信息。

许可证

官方Python scikit-learn项目采用BSD 3-Clause许可。

本项目采用MIT许可 © Travis Fischer。

如果您觉得这个项目有帮助，请考虑在推特上关注我twitter

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号