访问官网
Huggingface项目介绍：Ghost 7B Alpha
介绍
Ghost 7B Alpha 是一个大型语言模型，拥有 70 亿个参数，从 Mistral 7B 模型进行微调开发而成。其主要目标是优化推理能力、多任务知识以及工具使用支持。Ghost 7B Alpha 在英语和越南语这两种语言上表现出色，并经过精心训练和优化。
总体来说，Ghost 7B Alpha 非常适合作为预训练模型，用户可以在此基础上继续开发所需的任务，包括虚拟助手、编码、翻译、解答问题、创建文档等功能。这个开源模型效率高、速度快且成本低廉。
规格
- 名称: Ghost 7B Alpha
- 模型大小: 70 亿参数
- 上下文长度: 8K（8192）
- 支持语言: 英语、越南语
- 主要任务: 推理、多任务知识与功能工具支持
- 许可证: Ghost 7B LICENSE AGREEMENT
- 基础模型: Mistral 7B
- 分发版本: 标准版 (BF16)、GGUF、AWQ
- 开发者: Ghost X 和 Hieu Lam
链接
- 模型卡片: 🤗 HuggingFace
- 官方网站: Ghost 7B Alpha
- 演示: 与 Ghost 7B Alpha 的 Playground
分发版本
我们提供多种分发版本，以便用户根据需求选择最佳访问选项。在选择分发版本时，请确保了解所需版本及其对操作的具体帮助。
| 版本 | 模型卡 |
|---|---|
| BF16 | 🤗 HuggingFace |
| GGUF | 🤗 HuggingFace |
| AWQ | 🤗 HuggingFace |
标准版 (BF16)
标准分发版本用于评估，发现其在文本生成质量上表现最佳。
GGUF
GGUF 是由 llama.cpp 团队于 2023 年 8 月 21 日推出的新格式，取代了不再受支持的 GGML。
AWQ
AWQ 算法适用于 4 位量化，实现推理速度加倍。
提示 / 聊天模板
角色
Ghost 7B Alpha 支持的角色包括：system、plugins、user、assistant、execute、response。
- system: 类似于 OpenAI GPT-4，用于声明上下文或指定模型的特征和专长。
- user: 用户输入，可以是问题或指令。
- assistant: 模型根据 user 的输入进行回应。
- plugins: 声明模型允许使用的工具信息。
- execute: 执行时模型返回的数据类型，包括要使用的工具和参数。
- response: 工具执行后的结果，供模型根据用户输入给出合适回答。
可以查看实际代码这里。
技巧
- 将系统提示设定在正确的上下文和特征中，能够显著提升模型性能。
- 可以通过设定系统提示来防止不必要的事情发生。
- 在大多数情况下，如果没有特别想法，可以将系统提示留空，此时性能对一般情况最优化。
默认聊天
在标准情况下，不使用功能工具时，角色顺序为 system、user 和 assistant，以此类推。
- (1) system
- (2) user
- (3) assistant
重复 (2) 和 (3) 在整个对话过程中。
使用工具的聊天
在使用工具的情况下，角色顺序为：
-
(1) system
-
(2) plugins
-
(3) user
-
A. 当模型发现不适合使用工具时:
- (4) assistant 如果模型能回答或不适合使用工具，模型即回答用户问题。
-
B. 当模型选择使用工具时：
- (4) execute 返回执行指定工具所需的参数。
- (5) response 返回应用工具获得的结果。
- (6) assistant 模型回答用户问题。
重复 (3) 和 (A) 或 (B) 在整个对话过程中。
展示案例
英语
这里是一些通过 Ghost 7B Alpha 进行的实际展示示例，包括解决问题的能力（如：日程安排、动物辨识、伦理决策等）以及一些代码实现示例（如：Node.js 应用程序部署、图像分类神经网络构建等）。
越南语
本节展示了对名言态度的响应，以了解模型的回答是否自然流畅。
