项目介绍:tamil-llama-7b-instruct-v0.1
tamil-llama-7b-instruct-v0.1 是一款面向泰米尔语的先进语言模型,它的发布标志着在泰米尔语言长语言模型(LLM)发展中迈出了重要的一步。该模型不仅适合立即推理使用,还可以经过进一步微调,以满足特定的自然语言处理(NLP)任务需求。
模型描述
tamil-llama-7b-instruct-v0.1 是基于 LLaMA-2 构建的,特别为泰米尔语进行了增强和定制,拥有超过 16,000 的泰米尔词汇。它是一款 GPT 风格的模型,拥有 70 亿参数,经过 Tamil-Alpaca-Orca 的微调。这个数据集是泰米尔语翻译版的 Stanford-Alpaca 和 OpenOrca 的子集的一部分。
- 支持语言: 泰米尔语和英语
- 许可证: GNU 通用公共许可证 v3.0
- 微调来源模型: abhinand/tamil-llama-7b-base-v0.1
- 训练精度:
float16
- 代码: 可在 GitHub 上查看
输入格式
不带输入的提示模板
{system_prompt}
### Instruction:
{instruction or query}
### Response:
{response}
带输入的提示模板
{system_prompt}
### Instruction:
{instruction or query}
### Input:
{input}
### Response:
{response}
相关模型
模型 | 类型 | 数据量 | 基础模型 | 参数数量 | 下载链接 |
---|---|---|---|---|---|
Tamil LLaMA 7B Base | 基础模型 | 12GB | LLaMA 7B | 7B | HF Hub |
Tamil LLaMA 13B Base | 基础模型 | 4GB | LLaMA 13B | 13B | HF Hub |
Tamil LLaMA 7B Instruct | 指令跟随型模型 | 145k 指令 | Tamil LLaMA 7B Base | 7B | HF Hub |
Tamil LLaMA 13B Instruct | 指令跟随型模型 | 145k 指令 | Tamil LLaMA 13B Base | 13B | HF Hub |
使用注意事项
需要注意的是,该模型尚未进行去毒化处理。因此,在其出色的语言能力之下,可能会生成被认为有害或冒犯性的内容。我们建议用户在公共或敏感应用中谨慎使用,并密切监督模型输出。
开发人员介绍
了解这款创新模型背后的团队,并关注他们在该领域的贡献:
引用
如果您在研究中使用了此模型或任何 Tamil-Llama 数据集,请进行引用:
@misc{balachandran2023tamilllama,
title={Tamil-Llama: A New Tamil Language Model Based on Llama 2},
author={Abhinand Balachandran},
year={2023},
eprint={2311.05845},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
性能评估
该模型在多项任务上的表现评估如下:
任务 | 准确率 | 备注 |
---|---|---|
AI2 Reasoning Challenge (25-Shot) | 48.04 | 标准化准确率 |
HellaSwag (10-Shot) | 70.97 | 标准化准确率 |
MMLU (5-Shot) | 39.95 | 准确率 |
TruthfulQA (0-shot) | 41.70 | 多选回应准确度 |
Winogrande (5-shot) | 70.64 | 准确率 |
GSM8k (5-shot) | 1.82 | 准确率 |
我们希望这款模型能够在您的NLP工具包中发挥重要作用,同时期待它能够促进泰米尔语言的理解和生成的进步。