Search
🔵

2_1_3_2_1.1____2.1. title: 인공지능 모델 관련 논문을 읽을 때에는 데이터를 바라보는 능력을 기른다고 생각하라. 프로덕션에서 모델을 구현하거나, 고도화할 때에는 모델에게 데이터를 바라보는 방법을 알려준다고 생각하라.

생성
🚀 prev note
🚀 next note
14 more properties
논문을 무작정 읽어대서는 별 도움이 안 될지도 모른다. 이것은 단순히 논문을 읽는 스킬을 길러야 한다는 것이 아니다. 그보다는 이 논문을 바라보는 관점이 중요하다(from1:이 내용에 관점까지 모두 포함되어 있다). 모델보다 데이터가 훨씬 중요하다(from3)는 것은 다들 알고 있을테다. 우리는 우리 태스크에 딱 맞는 모델을 발굴해내는 사람이 아니다(참고1). 인공지능 모델 관련 논문을 읽을 때는 데이터를 다루는 방법을 배운다고 생각해야 한다(참고2). 마찬가지로, 인공지능 모델을 구현할 때에도(from2) 모델이 데이터를 더 잘 바라볼 수 있게 도와주는 연산들을 추가하기 위해 노력한다는 관점으로 바라보아야 한다(from5:그것이 데이터과학의 본질이다). 성능을 높일 때(from4)도 마찬가지이다. 그런데 이때 이들을 적용하려면 수식은 모르더라도 그 수식에 담긴 의미들을 온전히 이해하고 있어야 한다.
sigmoid 를 왜 쓸까? 그냥 단순히 모델 코드를 본다고 해서 뭐가 달라지지 않는다. 코드를 볼 때 뭔가 파라미터를 변경하려면 왜 이런 것들을 사용했는지 컨셉은 알아야 뭔가를 바꾸어 볼 것 같다. backbone 은 신체를 범용적으로 강화시키는 헬스라고 생각해 보자. 그럼 neck 은 상대방을 탐색하는 과정이고, head 는 실제 권투 대회에 나가서 상대와 싸우는 기술이다. 이때 neck 의 마지막 레이어에 relu 가 아니라 sigmoid 를 쓰는 것은, 더이상 head 로 정보를 보낼 때 버릴 피처들이 없다고 생각하기 때문이다.(참고3,참고5)
21:10, 왜 이것이 좋은 아이디어인가? 좋은 질문이다. 우리가 원하는 것은 segmentation 을 수행할 때 우리의 prediction 이 특히 경계 부분에서 작은 디테일도 살릴 수 있을 만큼 완벽했으면 좋겠다는 것이다. 하지만 max pooling 을 이용하면 receptive field 내부의 어디에서 왔는지를 모르기 때문에, 한편으로는 공간적인 정보를 잃어버리는 것이 된다. 그래서 이렇게 정보를 반영해 주는 것이 손실된 공간 정보 중 일부를 보존하는 데 도움이 될 수 있다고 생각할 수 있다.(참고4)
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
Text Detection 의 경우 BackBone Model을통해 Feature Extraction에서 얻는 정보량 보다 Neck, Head Operation 에서 얻는 정보량이 중요하다. 따라서 Backbone Model로 연산량이 많은 Transformer (E.g, Swin Transformer, Vision in Transformer) 과 연산량이 적은 ResNet50을 비교하는 경우 성능의 차이가 없다. 따라서 Backbone Model 은 ResNet50을 선택했다. 문자영역을 찾고 Resolution, Orientation을 기존의 Object Detection 에 강건한 Segmentation 기반의 모델인 FAST 를 사용했다. 특히 FAST 는 기존 Text Detector 의 성능과 추론속도 문제를 해결하기 위해 CPU 기반의 Hand Craft Post Processing 과 Neural Architecture Search 기법을 도입하여 보다 빠르고 강건하게 문자영역을 추출 할 수 있다. 추출된 문자영역은 Transformer 를 활용하여 문자인식을 수행했다.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
•
앞의 글에서는 학술논문 전반을 읽는 방법에 대해서 이야기했다. 이 글은 그중에서도 특히 인공지능 논문을 읽을 때 가져야 하는 태도를 이야기한다.
4.
5.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
참고 : 레퍼런스
1.
태스크가 떨어지면 그때부터 이제 시작을 하는거죠. (제 경우에는) 이건 mask-RCNN 을 이용해서 이렇게 하고 저렇게 하고… one stage 를 쓰고 two stage 를 쓰고 이게 아니라, 이 문제를 해결하기 위해서는 어떻게 해야 하는가. 데이터를 보니까, 식판 영역 자체에는 변형이 없는건가? 비빔밥과 잔반의 차이는 뭐지? 식판이 겹쳐져 있으면 어떻게 하지? 이런 생각을 합니다. … 너도(장후) 컴퓨터 비전 문제를 풀어봤을 것 아니야. 우리는 문제를 해결하는 사람이지, 모델을 찾는 사람이 아니잖아요. Cascade 그때 잘 됐는데? 이거 쓰자. 완전 X. 문제를 풀 자세가 안 돼 있는거에요 (증오). 모델로 문제를 푼다고 생각하면 안 돼요. 우리는 그들이 보지 못했던 작은 차이를 보는거에요. 이 문제도 다른 곳들 돌다가 우리한테 왔다고 했잖아요.
5.