Defne-llama3.1-8B - Defne-llama3.1-8B多语言微调的文本生成模型

项目介绍：Defne-llama3.1-8B

项目背景

Defne-llama3.1-8B 是一个基于多语言的大型语言模型，该模型经过精细调优，为不同语言的用户提供自然友好的文本生成服务。这个模型是在meta-llama/Meta-Llama-3.1-8B-Instruct的基础上进行调整，主要使用了土耳其语数据集（大约400万字词）进行训练。之后，它与VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct模型相结合，增强了其在不同语言环境下的适应能力。

支持语言

这个模型支持多种语言，包括英语、土耳其语、德语、法语、意大利语和西班牙语，为更多语言使用者提供服务。无论你是哪个语言的使用者，Defne都旨在为你提供准确而友好的交流体验。

使用说明

Defne-llama3.1-8B可以通过Python脚本使用。下面是如何使用该模型的一个简单示例：

环境准备 - 首先需要安装相应的Python库：

!pip install -qU transformers bitsandbytes accelerate

加载模型 - 使用transformers库创建文本生成管道，并指定模型ID为Eurdem/Defne-llama3.1-8B：

import transformers
import torch

pipeline = transformers.pipeline(
                                "text-generation",
                                model=model_id,
                                model_kwargs={"torch_dtype": torch.bfloat16, "load_in_8bit": True},
                                device_map="auto",
                                )

生成文本 - 通过设置messages数组制定聊天风格并生成对应的回答。可以根据使用的语言选择相应的消息内容。

举个英文对话示例：

messages = [{"role": "system", "content": "You are a helpful chatbot, named Defne, who always responds friendly."},
            {"role": "user", "content": "Answer the questions: 1) Who are you? 2) f(x)=3x^2+4x+12 so what is f(3)?"},
]

outputs = pipeline(
                  messages,
                  max_new_tokens=1024,
                  do_sample=True,
                  temperature=0.5,
                  top_p=0.5,
                  top_k=100,
                )

输出示例

英语输出：

Hello there! I'm Defne, a friendly chatbot here to help you with any questions or tasks you might have.

1. I am Defne, a helpful chatbot designed to provide friendly and informative responses to your queries.
   I'm always happy to assist you with anything you need help with!

2. f(3) = 3(9) + 12 + 12 = 51

土耳其语输出：

1) Ben Defne, Türkçe konuşan bir chatbotum. İnsanlarla sohbet etmek ve onlara yardımcı olmak için tasarlanmış bir yapay zekâ uygulamasıyım.

2) f(x) = 3x^2 + 4x + 12 formülüne x = 3 değerini koyarsak:
   f(3) = 3(9) + 12 + 12 = 51

结束语

Defne-llama3.1-8B 的设计目标是成为一个多语言、多功能的文本生成工具，在沟通交流中提高效率和用户满意度。通过不断调整和优化，该项目力求在自然语言处理领域提供更出色的解决方案。无论是在帮助用户解决复杂问题还是提供简单的日常问答，Defne始终以友好的方式与用户互动。