embetter

"只是一堆可以快速上手的实用嵌入。"

Embetter为计算机视觉和文本实现了兼容scikit-learn的嵌入。它应该可以让你非常容易地使用scikit-learn管道快速构建概念验证，特别是应该有助于批量标记。它也旨在与bulk和scikit-partial配合使用，但它也可以与你喜欢的ANN解决方案（如lancedb）一起使用。

安装

你可以通过pip安装。

python -m pip install embetter

许多嵌入是可选的，取决于你的用例，所以如果你想精挑细选，只下载你需要的工具：

python -m pip install "embetter[text]"
python -m pip install "embetter[spacy]"
python -m pip install "embetter[sense2vec]"
python -m pip install "embetter[gensim]"
python -m pip install "embetter[bpemb]"
python -m pip install "embetter[vision]"
python -m pip install "embetter[all]"

API设计

这是目前正在实现的内容。

# 从pandas列中获取文本或图像的辅助工具
from embetter.grab import ColumnGrabber

# 用于计算机视觉的表示/辅助工具
from embetter.vision import ImageLoader, TimmEncoder, ColorHistogramEncoder

# 用于文本的表示
from embetter.text import SentenceEncoder, MatryoshkaEncoder, Sense2VecEncoder, BytePairEncoder, spaCyEncoder, GensimEncoder

# 来自多模态模型的表示
from embetter.multi import ClipEncoder

# 微调组件
from embetter.finetune import FeedForwardTuner, ContrastiveTuner, ContrastiveLearner, SbertLearner

# 外部嵌入提供者，通常需要API密钥
from embetter.external import CohereEncoder, OpenAIEncoder

所有这些组件都与scikit-learn兼容，这意味着你可以像在scikit-learn管道中正常使用它们一样应用它们。只需注意这些组件是无状态的。它们不需要训练，因为这些都是预训练的工具。

文本示例

import pandas as pd
from sklearn.pipeline import make_pipeline 
from sklearn.linear_model import LogisticRegression

from embetter.grab import ColumnGrabber
from embetter.text import SentenceEncoder

# 这个管道从数据框中获取"text"列
# 然后将其输入到Sentence-Transformers的all-MiniLM-L6-v2中。
text_emb_pipeline = make_pipeline(
  ColumnGrabber("text"),
  SentenceEncoder('all-MiniLM-L6-v2')
)

# 这个管道也可以被训练来进行预测，使用
# 嵌入的特征。
text_clf_pipeline = make_pipeline(
  text_emb_pipeline,
  LogisticRegression()
)

dataf = pd.DataFrame({
  "text": ["positive sentiment", "super negative"],
  "label_col": ["pos", "neg"]
})
X = text_emb_pipeline.fit_transform(dataf, dataf['label_col'])
text_clf_pipeline.fit(dataf, dataf['label_col']).predict(dataf)

图像示例

API的目标是允许像这样的管道：

import pandas as pd
from sklearn.pipeline import make_pipeline 
from sklearn.linear_model import LogisticRegression

from embetter.grab import ColumnGrabber
from embetter.vision import ImageLoader
from embetter.multi import ClipEncoder

# 这个管道从数据框中获取"img_path"列
# 然后获取图像路径并将它们转换为`PIL.Image`对象
# 然后将它们输入到CLIP中，CLIP也可以处理图像。
image_emb_pipeline = make_pipeline(
  ColumnGrabber("img_path"),
  ImageLoader(convert="RGB"),
  ClipEncoder()
)

dataf = pd.DataFrame({
  "img_path": ["tests/data/thiscatdoesnotexist.jpeg"]
})
image_emb_pipeline.fit_transform(dataf)

批量学习

你在这里看到的所有编码工具也与scikit-learn中的partial_fit机制兼容。这意味着你可以利用scikit-partial来构建可以处理核外数据集的管道。