테슬라의 비전팀 리드 안드레 (Andrej) 가 2021 년 Ai-Day 에서 언급한 내용이다.
안드레는 "도로의 경계를 찾아야 하는데, 이 경계를 다른 차량이 가리고 있으면 알 수가 없다." 며 하나의 카메라만 가지고서 2D 이미지를 입력받았을 때 문제가 되는 상황의 예시 (참고1) 를 들었다.
이렇게 차량이 가려져 있어도 해당 부분을 '추론' 할 수 있도록 만들기 위해서는, 도로의 경계가 포착된 다른 카메라로부터의 정보를 얻어 네트워크가 이를 바탕으로 생각할 수 있어야 한다고 강조했다 (참고2). 테슬라는 이렇게 정보를 섞어 줄 방법으로, Transformer 의 MSA(multihead self attention) 컨셉을 활용한다 (참고3).
이런 내용을 찾아본건 디어 비전시스템에 대해서 어떻게 발전시켜야 하는가(참고4) 에 대한 고민에서부터였다. 어떻게 해야 하는지에 대한 레퍼런스 하나 찾을 수 없어서 답답해했는데 개인적으로 이 내용을 복습하고 복습하면서 테슬라만큼은 '진짜' 자율주행(참고5:Autonomy2.0) 을 가장 빨리 만드는 기업이 되겠다 싶었다.
참고
4.
5.