Logo
Project Icon

Easy-Translate

高效多语言文本翻译工具支持多种模型

Easy-Translate机器翻译多语言翻译大规模语言模型自然语言处理Github开源项目

Easy-Translate是一款适合各级用户的文本翻译工具，支持M2M100、NLLB200和SeamlessM4T等多种翻译模型。该工具可在不同硬件环境下运行，具备自动调整批处理大小、多种解码策略和加载大型模型等功能。此外，Easy-Translate还提供了翻译质量评估功能，可计算多种评估指标。

GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目



Twitter License Transformers Accelerate Author

Easy-Translate是一个用于通过💥单一命令💥翻译大型文本文件的脚本。Easy-Translate旨在为初学者尽可能简单，同时为高级用户提供无缝和可定制的体验。 我们支持几乎所有模型，包括M2M100、 NLLB200、SeamlessM4T、 LLaMA、 Bloom等🥳。 我们还提供了一个脚本用于轻松评估您的翻译结果📋

Easy-Translate基于🤗HuggingFace的Transformers和🤗HuggingFace的Accelerate库构建。

我们目前支持：

  • CPU / 多CPU / GPU / 多GPU / TPU加速
  • BF16 / FP16 / FP32 / 8位 / 4位精度
  • 自动批量大小查找器：忘记CUDA OOM错误。设置初始批量大小，如果不适合，我们将自动调整
  • 多种解码策略：贪婪搜索、束搜索、Top-K采样、Top-p（核）采样等。更多信息请参见解码策略
  • 在单个GPU上加载大型模型，支持8位/4位量化以及在GPU和CPU之间拆分模型。更多信息请参见加载大型模型
  • 支持LoRA模型
  • 支持HuggingFace's Hub上的任何Seq2SeqLM或CausalLM模型
  • 支持提示！更多信息请参见提示
  • :new: 新增对SeamlessM4T的支持！

在此处测试🔌在线演示：https://huggingface.co/spaces/Iker/Translate-100-languages

支持的模型

💥 EasyTranslate现在支持来自🤗 Hugging Face's Hub的任何Seq2SeqLM（m2m100、nllb200、SeamlessM4T、small100、mbart、MarianMT、T5、FlanT5等）和任何CausalLM（GPT2、LLaMA、Vicuna、Falcon等）模型！！ 我们仍然建议您使用M2M100、NLLB200或SeamlessM4T以获得最佳结果，但您可以尝试任何其他MT模型，以及提示LLM生成翻译（更多详情请参见提示部分）。 您还可以查看示例文件夹，了解如何使用不同模型的EasyTranslate示例。

M2M100

M2M100是一个多语言编码器-解码器（序列到序列）模型，用于多对多多语言翻译，在这篇论文中介绍，并首次在这个仓库中发布。

M2M100可以直接在100种语言的9,900个方向之间进行翻译。

NLLB200

**No Language Left Behind (NLLB)**开源了能够直接在200多种语言之间提供高质量翻译的模型——包括阿斯图里亚斯语、卢干达语、乌尔都语等低资源语言。它旨在帮助人们与任何人、任何地方进行交流，无论他们的语言偏好如何。它在这篇论文中介绍，并首次在这个仓库中发布。

NLLB可以直接在200多种语言的40,000多个方向之间进行翻译。

SeamlessM4T

SeamlessM4T是一系列旨在提供高质量翻译的模型，使不同语言社区的人们能够通过语音和文本轻松交流。它在这篇论文中被介绍，并首次在这个仓库中发布。

SeamlessM4T可以直接在196种语言之间进行文本输入/输出的翻译。

支持的其他机器翻译模型

我们支持🤗 Hugging Face's Hub中的所有机器翻译模型。如果您发现某个模型不工作，请为我们开一个issue以修复它，或者提交一个带有修复的PR。这包括但不限于以下模型：

查看支持的语言表以了解支持的语言及其ID。

引用

如果您使用此软件，请引用

@inproceedings{garcia-ferrero-etal-2022-model,
    title = "Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings",
    author = "Garc{\'\i}a-Ferrero, Iker  and
      Agerri, Rodrigo  and
      Rigau, German",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2022",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, United Arab Emirates",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.findings-emnlp.478",
    pages = "6403--6416",
}

要求

Pytorch >= 1.10.0 
参见：https://pytorch.org/get-started/locally/

Accelerate >= 0.12.0
pip install accelerate

HuggingFace Transformers 
如果您计划使用NLLB200，请使用 >= 4.28.0，因为在此版本中修复了一个重要的bug。
如果您计划使用SeamlessM4T，请使用 >= 4.35.0。
pip install --upgrade transformers

BitsAndBytes（可选，8位/4位量化需要）
pip install bitsandbytes

PEFT（可选，加载LoRA模型需要）
pip install peft

翻译文件

运行python translate.py -h以获取更多信息。 查看examples文件夹以了解如何运行不同模型的示例。

使用单个CPU/GPU

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.m2m100_1.2B.txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

如果您想翻译目录中的所有文件，请使用--sentences_dir标志而不是--sentences_path。

# 我们使用--files_extension txt来仅翻译具有此扩展名的文件。
# 使用空字符串来翻译目录中的所有文件

python3 translate.py \
--sentences_dir sample_text/ \
--output_path sample_text/translations \
--files_extension txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

多GPU

有关更多信息（多节点、TPU、分片模型等），请参见Accelerate文档：https://huggingface.co/docs/accelerate/index
您可以使用Accelerate CLI来配置Accelerate环境（在终端中运行accelerate config），而不是使用--multi_gpu和--num_processes标志。

# 使用2个GPU
accelerate launch --multi_gpu --num_processes 2 --num_machines 1 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.m2m100_1.2B.txt \
--source_lang en \
--target_lang es \
--model_name facebook/m2m100_1.2B

自动批处理大小查找器

我们将自动找到适合您GPU内存的批处理大小。默认的初始批处理大小为128（您可以使用--starting_batch_size 128标志设置）。如果我们发现内存不足错误，我们将自动减小批处理大小，直到找到一个可行的大小。

加载巨大模型

像LLaMA 65B或nllb-moe-54b这样的巨大模型可以在单个GPU上以8位和4位量化加载，性能下降最小。 参见BitsAndBytes。使用--precision标志将精度设置为8或4。

pip install bitsandbytes

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.translation.nllb200-moe-54B.txt \
--source_lang eng_Latn \
--target_lang spa_Latn \
--model_name facebook/nllb-moe-54b \
--precision 8 \
--force_auto_device_map \
--starting_batch_size 8

如果即使是量化后的模型也不适合您的GPU内存，您可以设置--force_auto_device_map标志。 模型将在GPU和CPU之间分割以适应内存。CPU卸载速度较慢，但可以让您运行不适合GPU内存的巨大模型。

提示

你可以使用LLaMA、Vicuna、GPT2、FlanT5等LLM模型,而不是使用专门的翻译模型。这些模型需要一个提示来定义任务。你可以在输入文件中已经包含提示(每个句子都包含提示),或者使用--prompt标志为每个句子添加提示。在这种情况下,你需要在提示中包含%%SENTENCE%%标记。这个标记将被替换为要翻译的句子。在这种情况下,你不需要指定--source_lang和--target_lang标志。

python3 translate.py \
--sentences_path sample_text/en.txt \
--output_path sample_text/en2es.FlanT5.translation.txt \
--model_name google/flan-t5-large \
--prompt "将英语翻译成西班牙语: %%SENTENCE%%"

解码/采样策略

你可以选择使用的解码/采样策略,以及为每个输入句子输出的候选翻译数量。默认情况下,我们将使用波束搜索,num_beams设置为5,并输出最可能的候选翻译。这应该是大多数用例的最佳配置。你可以使用以下标志更改此行为:

--num_beams: 用于波束搜索解码的波束数(默认:5)
--do_sample: 是否使用采样而不是波束搜索解码(默认:False)
--temperature: 采样温度(默认:0.8)
--top_k: Top k采样(默认:100)
--top_p: Top p采样(默认:0.75)
--repetition_penalty: 重复惩罚(默认:1.0)
--keep_special_tokens: 是否保留特殊标记(默认:False)
--keep_tokenization_spaces: 是否保留分词空格(默认:False)
--num_return_sequences: 为每个输入句子输出的候选翻译数量(默认:1)

请注意,在使用--do_sample时,如果--num_beams > 1并且使用8位或4位量化,可能会出现数值不稳定并产生错误。

评估翻译

要运行评估脚本,你需要安装bert_score: pip install bert_score和🤗HuggingFace的Evaluate模型: pip install evaluate。

评估脚本将计算以下指标:

运行以下命令来评估翻译:

python3 eval.py \
--pred_path sample_text/en2es.translation.m2m100_1.2B.txt \
--gold_path sample_text/es.txt

如果你想将结果保存到文件中,请使用--output_path标志。

查看sample_text/en2es.m2m100_1.2B.json以获取示例输出。

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号