Huggingface
文档gte-small项目介绍
gte-small项目是一个基于ONNX权重的模型，旨在与Transformers.js库兼容。这个项目的核心目的是将机器学习模型嵌入到网页中，从而使开发者能够在JavaScript环境中利用强大的自然语言处理功能。
项目背景
gte-small是一个小型的、经过优化的模型，提供类似于更大型号的功能，但具有较低的计算需求。这使得它特别适合需要在浏览器中进行实时处理的应用场景。
使用方法
gte-small的使用非常简单，只需通过NPM安装Transformers.js JavaScript库即可。Transformers.js库为开发者提供了一个强大的工具，使机器学习模型能够在浏览器中运行，这在构建响应迅速的应用程序时尤为重要。
安装Transformers.js
要开始使用这个模型，首先需要从NPM安装Transformers.js库：
npm i @xenova/transformers
计算句子嵌入
安装完成后，开发者可以创建一个特征提取管道，用来计算句子的嵌入向量。以下是一个示例代码：
import { pipeline } from '@xenova/transformers';
// 创建一个特征提取管道
const extractor = await pipeline('feature-extraction', 'Xenova/gte-small');
// 计算句子嵌入
const sentences = ['That is a happy person', 'That is a very happy person'];
const output = await extractor(sentences, { pooling: 'mean', normalize: true });
console.log(output);
这个特征提取器会返回句子嵌入，允许开发者对文本数据进行深层次分析。
计算余弦相似度
基于生成的嵌入，进一步可以计算两个句子之间的余弦相似度，例如：
import { cos_sim } from '@xenova/transformers';
console.log(cos_sim(output[0].data, output[1].data))
余弦相似度的结果有助于评估文本间的相似程度。
模型转化和精度选项
默认情况下，gte-small模型使用的是8位量化模型，这可以显著减少内存使用和提高推理速度。不过，如果对模型的精度有更高的要求，可以选择使用全精度版本（fp32），只需在创建管道时加入参数{ quantized: false }。
const extractor = await pipeline('feature-extraction', 'Xenova/gte-small', { quantized: false });
量化版本与非量化版本的选择提供了灵活性，以平衡性能和精度之间的需要。
ONNX权重和未来展望
项目目前使用了单独的ONNX权重库，并注重提供一个临时解决方案，以待WebML更加成熟。如果开发者希望让自己的模型适用于网页，建议使用🤗 Optimum工具将模型转换为ONNX格式，并按照本项目的结构进行构建。这将确保模型在未来的Web开发中保持高效和兼容。
总而言之，gte-small项目为开发人员提供了一种高效而简单的方法，将自然语言处理模型集成到JavaScript应用中，从而推动更智能的Web应用程序的发展。
