PostgresML:在数据库中实现机器学习的革命性方案

PostgresML简介

PostgresML是一个基于PostgreSQL数据库构建的完整机器学习平台。它的核心理念是将机器学习模型直接集成到数据库中,而不是将数据移动到模型所在的环境。这种"反向"的机器学习方法带来了许多实际的好处,彻底改变了我们对"数据库"概念的认知。

PostgresML的主要特点包括:

数据库内机器学习:它允许直接在PostgreSQL数据库内训练、部署和运行机器学习模型。这消除了在数据库和外部ML框架之间不断移动数据的需求,提高了效率并减少了每个步骤的延迟。
SQL API:如果你既喜欢SQL又喜欢机器学习,那么postgresml.org可能会成为你最喜欢的网站。该平台允许使用SQL SELECT语句来训练、微调和部署机器学习模型。对于没有广泛掌握多种机器学习框架知识的数据分析师和科学家来说,这个功能可能会彻底重新定义他们的日常工作流程。
预训练模型:PostgresML可以轻松集成HuggingFace,使其能够访问数百个预训练模型,如Llama、Falcon、Bert、Mistral等。
定制化和灵活性:PostgresML支持来自Scikit-learn、XGBoost、LGBM、PyTorch和TensorFlow的50多种算法。这使得你可以直接在数据库中训练和部署用于多种监督学习任务的ML模型。
与现有生态系统集成:由于PostgresML本质上是一个数据库,你可以在任何支持Postgres的环境中与之交互(基本上是任何地方)。该平台还为16种语言提供SDK,如果你觉得用SQL做ML太奇怪的话(JavaScript、Python和Rust支持最好)。

PostgresML架构

PostgresML的工作流程

让我们通过一个典型的机器学习工作流程来了解PostgresML的使用方法:

1. 数据加载

首先,我们需要将数据加载到PostgreSQL数据库中。这可以通过标准的SQL命令完成,例如:

CREATE TABLE IF NOT EXISTS diamonds (
   index SERIAL PRIMARY KEY,
   carat FLOAT,
   cut VARCHAR(255),
   color VARCHAR(255),
   clarity VARCHAR(255),
   depth FLOAT,
   table_ FLOAT,
   price INT,
   x FLOAT,
   y FLOAT,
   z FLOAT
);

INSERT INTO diamonds
   (carat, cut, color, clarity, depth, table_, price, x, y, z)
   FROM '/path/to/diamonds.csv'
   DELIMITER ','
   CSV HEADER;

2. 数据预处理

PostgresML提供了多种预处理选项,可以直接在SQL查询中指定:

SELECT pgml.train(
   project_name => 'Diamond prices prediction',
   task => 'regression',
   relation_name => 'diamonds',
   y_column_name => 'price',
   algorithm => 'random_forest',
   preprocess => '{
       "carat": {"scale": "standard"},
       "depth": {"scale": "standard"},
       "table_": {"scale": "standard"},
       "cut": {"encode": "target", "scale": "standard"},
       "color": {"encode": "target", "scale": "standard"},
       "clarity": {"encode": "target", "scale": "standard"}
   }'::JSONB
);

3. 模型训练

训练模型只需要一个简单的SQL命令:

SELECT * FROM pgml.train(
    'Diamond prices prediction',
    algorithm => 'xgboost',
    'regression',
    'diamonds',
    'price'
);

4. 超参数调优

PostgresML支持网格搜索等超参数调优方法:

SELECT pgml.train(
   'Diamond prices prediction',
   algorithm => 'xgboost',
   search => 'grid',
   search_params => '{
       "max_depth": [5, 7],
       "n_estimators": [1000, 1500],
       "eta": [0.1, 0.01, 0.001]
   }'::JSONB
);

5. 模型评估

可以使用pgml.predict函数进行预测:

SELECT pgml.predict(
   'Diamond prices prediction',
   ARRAY[0.7, 'Ideal', 'E', 'SI1', 61.5, 55.0, 3.95, 3.98, 2.43]
) AS predicted_price;

6. 模型部署

在PostgresML中,部署模型非常简单。系统会自动将表现最好的模型作为默认模型进行部署。如果需要更精细的控制,可以使用pgml.deploy函数:

SELECT * FROM pgml.deploy(
   project_name => 'Diamond prices prediction',
   strategy => 'best_score',
   algorithm => 'xgboost'
);

PostgresML的应用场景

PostgresML不仅限于传统的机器学习任务,它还支持多种自然语言处理(NLP)任务:

文本分类:包括情感分析、自然语言推理等。
零样本分类:可以预测模型在训练阶段没有见过的类别。
令牌分类:如命名实体识别(NER)和词性(PoS)标注。
翻译:支持多种语言之间的文本翻译。
文本摘要:可以生成文档的简洁摘要。
问答系统:能够从给定文本中检索问题的答案。
文本生成:可以完成不完整的句子或改写现有文本。

PostgresML支持的NLP任务

这些功能使PostgresML成为一个强大的工具,可以用于构建各种AI应用,如聊天机器人、内容分类系统、自动翻译服务等。

PostgresML的优势

性能:PostgresML声称其推理速度比基于HTTP的模型服务快8-40倍,每秒可处理数百万事务。
可扩展性:支持水平扩展,可以处理大规模数据和高并发请求。
简化的MLOps:由于模型直接在数据库中运行,减少了模型部署和管理的复杂性。
实时性:可以实现近乎实时的预测,因为不需要将数据移出数据库。
安全性:减少了数据移动,降低了数据泄露的风险。
成本效益:通过减少数据移动和简化架构,可以降低总体运营成本。

结论

PostgresML代表了机器学习和数据库技术融合的一个重要里程碑。它不仅简化了机器学习工作流程,还提高了性能和可扩展性。对于希望在现有数据基础设施中集成AI功能的组织来说,PostgresML提供了一个极具吸引力的解决方案。

随着AI和机器学习在各行各业的应用日益广泛,像PostgresML这样的创新技术将在推动AI民主化和简化AI应用开发方面发挥重要作用。它为数据科学家、分析师和开发人员提供了一个强大的工具,使他们能够更容易地将机器学习集成到他们的数据工作流程中。

虽然PostgresML仍在不断发展中,但它已经展示了巨大的潜力。随着更多组织开始探索和采用这种技术,我们可以期待看到更多创新的AI应用和用例的出现。PostgresML正在重新定义我们思考和实现数据库中的机器学习的方式,为AI的未来开辟了一条新的道路。