Phantom-0.5B - 快速运行模型的两步指南

Phantom-0.5B项目介绍

Phantom-0.5B是一个机器学习项目，主要用于图像和文本的处理与分析。该项目的目标是通过简化模型使用步骤，使用户更方便地进行复杂的模型运行。本文将详细介绍如何使用Phantom-0.5B项目。

项目基本信息

Phantom-0.5B项目在GitHub上进行托管，许可协议为MIT，用户可以自由使用和修改代码。该项目还提供了一篇学术论文，用户可以访问arxiv平台获取更多的理论支持。

使用步骤

Phantom-0.5B的使用步骤非常简洁明了，仅需以下两个步骤即可完成。

第一步：下载代码并安装所需包

下载项目代码：使用Git命令克隆Phantom项目。
```
git clone https://github.com/ByungKwanLee/Phantom
```
创建虚拟环境：使用Conda创建一个名为trol的虚拟环境，并安装Python 3.11。
```
conda create -n trol python=3.11 -y
conda activate trol
```
安装PyTorch及相关库：通过pip安装torch和torchvision。
```
pip3 install torch torchvision
```
安装项目依赖：通过pip安装项目所需的其他库。
```
pip install -r requirements.txt
```
安装快速注意力模块：安装flash-attn以加速注意力机制的计算。
```
pip install flash-attn --no-build-isolation
```
清理缓存：清除Conda和pip的缓存以节省空间。
```
conda clean -a && pip cache purge
```

第二步：编辑并运行demo.py

模型选择：根据需求选择模型大小。Phantom提供了多种版本，包括0.5b、1.8b、3.8b和7b。
```
size = '0.5b'
```

设置用户输入类型：选择用户输入是仅文本还是图文结合。

prompt_type="with_image"
img_path='figures/demo.png'
question="Describe the image in detail"

加载模型和处理输入：根据所选的输入类型，加载对应的图片和问题。

if prompt_type == 'with_image':
    image = pil_to_tensor(Image.open(img_path).convert("RGB"))
    inputs = [{'image': image, 'question': question}]
elif prompt_type=='text_only':
    inputs = [{'question': question}]

模型运行与生成：将模型从CPU转移至GPU，并执行推理，最后输出结果。

with torch.inference_mode():
    _inputs = model.eval_process(inputs=inputs, data='demo', tokenizer=tokenizer, device='cuda:0')
    generate_ids = model.generate(**_inputs, do_sample=False, max_new_tokens=256)
answer = tokenizer.batch_decode(generate_ids, skip_special_tokens=True)[0]
print(answer)

结语

利用以上步骤，Phantom-0.5B项目的用户能够快速上手并进行各种复杂任务的处理。通过简化的操作步骤和灵活的配置选项，Phantom一直致力于让高性能计算更易于访问和使用。欢呼Phantom，让我们运用这项技术的威力！