//
Search
🔨

[1_2_1.2] MMOCR 에서 제공하는 recognition 모델(w/pretrained weight)의 성능을 평가하고 ICDAR 2015 테스트 데이터셋으로 전이학습한 이후의 성능과 비교한다.

상태
Done
담당
마감일
2022/11/16
요약
from the scratch / pretrained / transfered 모델 각각을 평가해서 비교하면 끝
선행 태스크 상태
Done
후행 태스크
관련 마일스톤
2 more properties
ICDAR 2015 test score
from the scratch (ICDAR 2015 train)
pretrained (no transfer learned)
transfer learned (ICDAR 2015 train)
char precision
0.2925
0.9115
0.91+
char recall
0.2767
0.9180
0.91+
word acc
0.0520
0.6548
0.70+
from the scratch
pretrained
11/16 12:58:32 - mmengine - INFO - Epoch(test) [1039/1039] IC15/recog/word_acc: 0.6548 IC15/recog/word_acc_ignore_case: 0.7381 IC15/recog/word_acc_ignore_case_symbol: 0.7607 IC15/recog/char_recall: 0.9180 IC15/recog/char_precision: 0.9115
Bash
복사
transfer learned
•
다음과 같이 pretrained weight 를 추가할 수 있다.
sar_resnet31_parallel-decoder_500e_icdar2015.py
_base_ = [ '_base_sar_resnet31_parallel-decoder.py', '../_base_/datasets/icdar2015.py', '../_base_/default_runtime.py', '../_base_/schedules/schedule_adam_step_500e.py', ] load_from = './pretrained/sar_resnet31_parallel-decoder_5e_st-sub_mj-sub_sa_real_20220915_171910-04eb4e75.pth' # dataset settings train_list = [_base_.ic15_rec_train] test_list = [_base_.ic15_rec_test]
Bash
복사
•
결과
11/16 14:14:39 - mmengine - INFO - Epoch(val) [39][1039/1039] IC15/recog/word_acc: 0.7102 IC15/recog/word_acc_ignore_case: 0.7366 IC15/recog/word_acc_ignore_case_symbol: 0.7511 IC15/recog/char_recall: 0.9128 IC15/recog/char_precision: 0.9113
Bash
복사