项目介绍:daigram_detr_r50_finetuned
项目概述
daigram_detr_r50_finetuned
是一个经过微调的模型版本。此模型基于 kacper-cierzniewski/daigram_detr_r50_albumentations,并应用在 bpmn-shapes
数据集上。在评估集中,该模型取得了 0.9817 的损失(Loss)值。
模型说明
该模型使用 DETR
(Detection Transformer)架构,适用于图形识别任务。通过在 bpmn-shapes
数据集上的微调,该模型可以更好地识别和处理与业务流程建模和符号相关的图形。
使用目的与限制
虽然还需要更多的信息来更详细地描述模型的使用场景,但此模型主要用于图形识别任务,尤其是在处理复杂的符号或图形表示方面。用户需要注意模型可能在某些特定场景下的局限性,例如未提及的数据集或用例。
训练和评估数据
模型是在 bpmn-shapes
数据集上进行微调的。这是一个专门用于包含业务流程图形的形状数据集,具体的训练和评估数据细节还有待进一步补充。
训练过程
训练超参数
在训练过程中,使用了以下超参数:
- 学习率 (learning_rate):1e-05
- 训练批次大小 (train_batch_size):48
- 评估批次大小 (eval_batch_size):48
- 随机种子 (seed):42
- 优化器 (optimizer):Adam (参数:betas=(0.9,0.999),epsilon=1e-08)
- 学习率调度类型 (lr_scheduler_type):线性 (linear)
- 训练轮数 (num_epochs):500
- 混合精度训练 (mixed_precision_training):Native AMP
训练结果
以下是训练过程中记录的损失情况:
训练损失值 | 轮数 | 步数 | 验证损失值 |
---|---|---|---|
0.9457 | 12.5 | 50 | 1.0238 |
0.9717 | 25.0 | 100 | 1.0411 |
0.9823 | 37.5 | 150 | 1.0269 |
... | ... | ... | ... |
0.8836 | 500.0 | 2000 | 0.9817 |
经过500次迭代,模型的验证损失不断优化,显示出稳定的学习能力和良好的泛化性能。
框架版本
模型训练过程中使用的框架及其版本如下:
- Transformers 4.35.2
- Pytorch 2.1.0+cu121
- Datasets 2.16.1
- Tokenizers 0.15.0
这个项目展示了如何通过微调预训练模型来解决特定领域中的挑战,特别是在复杂图形和符号识别方面。这种技术能够极大地提高模型在特定任务中的性能,有助于更高效地执行基于视觉的自动化任务。