Kaggle PANDA前列腺癌分级评估竞赛冠军解决方案详解

Kaggle PANDA竞赛简介

PANDA(Prostate cANcer graDe Assessment)是Kaggle平台上的一项重要医学影像竞赛,旨在利用人工智能技术对前列腺癌组织病理切片进行自动分级。该竞赛吸引了来自全球的3,000多支队伍参与,对推动前列腺癌诊断技术的发展具有重要意义。

本文将详细介绍该竞赛的冠军解决方案,这一方案由Team PND的@yukkyo和@kentaroy47共同开发。他们的模型和代码以CC-BY-NC 4.0许可开源,为整个医学AI社区提供了宝贵的参考。

环境配置

冠军团队提供了两种环境配置方式:

不使用Docker(未经测试):
- Ubuntu 18.04
- Python 3.7.2
- CUDA 10.2
- NVIDIA/apex == 1.0

使用Docker(推荐):

# 构建
$ sh docker/build.sh

# 运行
$ sh docker/run.sh

# 执行
$ sh docker/exec.sh

使用Docker可以确保环境的一致性,是复现结果的首选方式。

数据准备

数据准备是整个解决方案的基础,主要包括以下步骤:

获取数据:仅下载train_images和train_masks。
图像哈希分组:使用图像哈希技术检测重复图像并进行分组。输出文件为input/duplicate_imgids_imghash_thres_090.csv。
K折交叉验证划分:
```
$ cd src
$ python data_process/s00_make_k_fold.py
```
输出文件为input/train-5kfold.csv。

制作训练用的图像块:

$ cd src
$ python data_process/s07_simple_tile.py --mode 0
$ python data_process/s07_simple_tile.py --mode 2
$ python data_process/a00_save_tiles.py

这些步骤为后续的模型训练奠定了坚实的数据基础。

基础模型训练

基础模型的训练是为了去除数据中的噪声,这一步骤至关重要:

$ cd src
$ python train.py --config configs/final_1.yaml --kfold 1
$ python train.py --config configs/final_1.yaml --kfold 2
$ python train.py --config configs/final_1.yaml --kfold 3
$ python train.py --config configs/final_1.yaml --kfold 4
$ python train.py --config configs/final_1.yaml --kfold 5

每个fold大约需要18小时,输出将保存在output/model/final_1目录下。

模型训练流程

本地验证预测

训练完成后,需要对本地验证集进行预测,以便后续的去噪处理:

$ cd src
$ python kernel.py --kfold 1
$ python kernel.py --kfold 2
$ python kernel.py --kfold 3
$ python kernel.py --kfold 4
$ python kernel.py --kfold 5

每个fold大约需要1小时,预测结果将保存为output/model/final_1/local_preds~~~.csv。

去除噪声

去噪是提高模型性能的关键步骤:

$ cd src
$ python data_process/s12_remove_noise_by_local_preds.py

这一步骤会生成多个重要的CSV文件:

local_preds_final_1_efficientnet-b1.csv: 用于清理标签的预测结果。
local_preds_final_1_efficientnet-b1_removed_noise_thresh_16.csv: 用于训练Model 1的基础标签清理结果。
local_preds_final_1_efficientnet-b1_removed_noise_thresh_rad_13_08_ka_15_10.csv: 用于训练Model 2的标签,移除了20%的Radboud标签。

重新训练去噪后的模型

在去除噪声后,需要重新训练模型以获得更好的性能:

训练Model 2(fam_taro模型):

$ cd src
$ python train.py --config configs/final_2.yaml --kfold 1
$ python train.py --config configs/final_2.yaml --kfold 4
$ python train.py --config configs/final_2.yaml --kfold 5