NLLB Serve

该项目提供了一个网页界面和REST API，用于使用Meta的No Language Left Behind（NLLB）模型进行200种语言之间的翻译。

安装

# 选项1：以只读方式安装；建议按原样使用
pip install git+https://github.com/thammegowda/nllb-serve

# 选项2：以可编辑模式安装；如果您想修改代码，建议使用此选项
git clone https://github.com/thammegowda/nllb-serve
cd nllb-serve
pip install -e .

# 入口点：以下任一选项都应该可以使用
nllb-serve -h
python -m nllb_serve -h

启动服务器

# 以下任一选项都应该可以使用
nllb-serve
# 或
python -m nllb_serve

# 使用CPU，即使存在GPU也忽略
CUDA_VISIBLE_DEVICES= nllb-serve

# 使用GPU设备0
CUDA_VISIBLE_DEVICES=0 nllb-serve

默认情况下，这将在http://localhost:6060启动服务。

Cuda和Torch兼容性问题

# 检查1：
$ python -c 'import torch; print(torch.cuda.is_available())'
True

# 检查2：将安装的cudatoolkit版本与编译torch二进制文件的版本匹配
# 如果无法完全匹配版本，请尝试使版本尽可能接近
$ python -c 'import torch; print(torch.version.cuda)'
11.7
$ nvidia-smi | grep -o 'CUDA.*'
CUDA Version: 12.0

命令行选项：

$ nllb-serve -h
用法：nllb-serve [-h] [-d] [-p PORT] [-ho HOST] [-b BASE] [-mi MODEL_ID] [-msl MAX_SRC_LEN]

将NLLB模型部署到RESTful服务器

可选参数：
  -h, --help            显示此帮助信息并退出
  -d, --debug           以调试模式运行Flask服务器（默认：False）
  -p PORT, --port PORT  服务器运行的端口（默认：6060）
  -ho HOST, --host HOST 要绑定的主机地址。（默认：0.0.0.0）
  -b BASE, --base BASE  所有URL的基本前缀路径。例如，/v1（默认：无）
  -mi MODEL_ID, --model_id MODEL_ID
                        模型ID；参见https://huggingface.co/models?other=nllb（默认：facebook/nllb-200-distilled-600M）
  -msl MAX_SRC_LEN, --max-src-len MAX_SRC_LEN
                        最大源长度；较长的序列将被截断（默认：250）

REST API

/translate端点接受带有以下参数的GET和POST请求：
- source -- 源文本。可以是单个字符串或批量（即字符串列表）
- src_lang -- 源语言ID，例如eng_Latn
- tgt_lang -- 目标语言ID，例如eng_Latn HTTP客户端可以通过以下三种方式发送这些参数:

查询参数(GET) 例如:
- http://0.0.0.0:6060/translate?source=I%20am%20testing&src_lang=eng_Latn&tgt_lang=fra_Latn
- http://0.0.0.0:6060/translate?source=I%20am%20testing&src_lang=eng_Latn&tgt_lang=fra_Latn&source=another%20sentence
URL编码表单(POST)

 curl --data "source=Comment allez-vous?" --data "source=Bonne journée" \
 --data "src_lang=fra_Latn" --data "tgt_lang=eng_Latn" \
  http://localhost:6060/translate

JSON主体(POST)

$ curl -H "Content-Type: application/json" -X POST \
    http://localhost:6060/translate \
   --data '{"source": ["Comment allez-vous?"], "src_lang": "fra_Latn", "tgt_lang": "kan_Knda"}'

语言代码列表: https://huggingface.co/facebook/nllb-200-distilled-600M/blob/main/special_tokens_map.json

NLLB-Batch

这个命令行工具用于解码批量数据。虽然REST API针对一次翻译单个句子进行了优化，但nllb-batch针对解码大型文件进行了优化。

$ nllb-batch  --help
INFO:root:torch device=cuda
用法: nllb-batch [-h] [-mi MODEL_ID] -sl SRC_LANG -tl TGT_LANG [-i INP] [-o OUT] [-msl MAX_SRC_CHARS] [-b BATCH_SIZE]

通过命令行提供NLLB模型服务

选项:
  -h, --help            显示此帮助信息并退出
  -mi MODEL_ID, --model-id MODEL_ID
                        模型ID; 参见 https://huggingface.co/models?other=nllb (默认值: facebook/nllb-200-distilled-600M)
  -sl SRC_LANG, --src-lang SRC_LANG
                        源语言标识符; 例如: eng_Latn (默认值: None)
  -tl TGT_LANG, --tgt-lang TGT_LANG
                        目标语言标识符; 例如: eng_Latn (默认值: None)
  -i INP, --inp INP     输入文件 (默认值: <_io.TextIOWrapper name='<stdin>' mode='r' encoding='utf-8'>)
  -o OUT, --out OUT     输出文件 (默认值: <_io.TextIOWrapper name='<stdout>' mode='w' encoding='utf-8'>)
  -msl MAX_SRC_CHARS, --max-src-chars MAX_SRC_CHARS
                        最大源字符长度; 更长的序列将被截断 (默认值: 512)
  -b BATCH_SIZE, --batch-size BATCH_SIZE
                        批量大小; 句子数量 (默认值: 10)

许可证

代码和模型权重采用不同的许可证。此存储库中的代码通过 Apache License 2.0 分发。但模型权重是从Huggingface Hub访问的，原始模型权重的许可证仍然适用。在撰写本文时，NLLB模型的作者通过CC-BY-NC-4.0许可证分发权重。更多信息请参阅 LICENSE.model.md 和 Creative Commons License

nllb-serve

NLLB Serve

安装

启动服务器

REST API

NLLB-Batch

许可证

参考资料