AnomalyGPT - 突破性工业异常检测方法

准备数据:

克隆代码仓库:

git clone https://github.com/CASIA-IVA-Lab/AnomalyGPT.git

安装所需的包:
```
pip install -r requirements.txt
```
下载ImageBind预训练模型:
- 从此链接下载ImageBind预训练模型
- 将下载的文件(imagebind_huge.pth)放在[./pretrained_ckpt/imagebind_ckpt/]目录中。
准备Vicuna检查点:
- 请按照此处提供的说明准备预训练的Vicuna模型。
准备PandaGPT权重:
- 您可以在下表中获取使用不同策略训练的PandaGPT权重。在我们的实验和在线演示中,由于计算资源的限制,我们使用了Vicuna-7B和openllmplayground/pandagpt_7b_max_len_1024。如果切换到Vicuna-13B,预计会有更好的结果。
- 请将下载的7B/13B delta权重文件(pytorch_model.pt)放在./pretrained_ckpt/pandagpt_ckpt/7b/或./pretrained_ckpt/pandagpt_ckpt/13b/目录中。
- 然后,您可以从下表下载AnomalyGPT权重,并将其放在./code/ckpt/目录中。

3.2 Training Configurations:

有关如何配置训练设置的详细信息,请参阅./code/config.py中的注释。主要配置包括数据集路径、训练参数、模型设置等。

3.3 Training AnomalyGPT:

要训练您自己的AnomalyGPT,请运行以下命令:

cd ./code/
python train.py

训练过程包括数据准备、模型训练和评估等步骤。训练完成后,模型权重将保存在[./code/ckpt/]目录中。

你可以根据需要调整训练配置,并参考[./code/config.py]中的注释进行设置。如有任何疑问,欢迎随时与我们联系。你可以从[此链接]下载MVTec-AD数据集, 并从[此链接]下载VisA。你也可以从[此处]下载PandaGPT的预训练数据。下载后,请将数据放置在[./data]目录下。

[./data]目录应该如下所示:

data
|---pandagpt4_visual_instruction_data.json
|---images
|-----|-- ...
|---mvtec_anomaly_detection
|-----|-- bottle
|-----|-----|----- ground_truth
|-----|-----|----- test
|-----|-----|----- train
|-----|-- capsule
|-----|-- ...
|----VisA
|-----|-- split_csv
|-----|-----|--- 1cls.csv
|-----|-----|--- ...
|-----|-- candle
|-----|-----|--- Data
|-----|-----|-----|----- Images
|-----|-----|-----|--------|------ Anomaly 
|-----|-----|-----|--------|------ Normal 
|-----|-----|-----|----- Masks
|-----|-----|-----|--------|------ Anomaly 
|-----|-----|--- image_anno.csv
|-----|-- capsules
|-----|-----|----- ...