Huggingface
论文Hebrew-Gemma-11B-V2项目介绍
项目概述
Hebrew-Gemma-11B-V2是一个基于Hebrew-Gemma-11B模型的更新版。原模型Hebrew-Gemma-11B是一个大型语言模型（LLM），拥有110亿个参数，专为希伯来语和英语的文本生成和理解任务而设计。这个模型是基于谷歌的Gemma-7B架构，经过延长的预训练和错误修正，使得模型能够在处理自然语言处理任务时表现出更强大的能力，尤其是在希伯来语言的理解和生成方面。
基础模型
- 07.03.2024: Hebrew-Gemma-11B
- 16.03.2024: Hebrew-Gemma-11B-V2
指令模型
- 07.03.2024: Hebrew-Gemma-11B-Instruct
使用条款
Hebrew-Gemma-11B-V2模型作为Gemma-7B的扩展，依照Google的原始许可协议和使用条款进行分发和使用。有关详细条款，请参阅Terms。
使用方法
以下是如何快速上手运行此模型的一些代码示例。
在CPU上运行
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))
在GPU上运行
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", device_map="auto")
input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))
以4位精度运行
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
tokenizer = AutoTokenizer.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2")
model = AutoModelForCausalLM.from_pretrained("yam-peleg/Hebrew-Gemma-11B-V2", quantization_config = BitsAndBytesConfig(load_in_4bit=True))
input_text = "שלום! מה שלומך היום?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))
注意事项
需要注意的是，Hebrew-Gemma-11B-V2是一个预训练的基础模型，因此不具备内容审核机制。
项目作者
- 该模型由Yam Peleg训练。
- 与Jonathan Rouach和Arjeo公司共同合作。
