항구에 가면 이제는 너무나도 당연히 볼 수 있는 "컨테이너"가 원래 형편없는 발명품이었다는 사실을 알고 있는가? 항구에 있는 모든 컨테이너는 다 똑같은 크기로서 존재한다. 큰 물건이든 작은 물건이든 유도리 없게 동일한 크기의 상자 안에 집어넣어야 하는 컨테이너라는 컨셉은 처음에는 정말 바보같은 생각으로 여겨졌다고 한다. 하지만 오늘날 커다란 항구 중에 컨테이너를 사용하지 않는 항구는 찾아볼 수 없다.
컨테이너가 주는 교훈은 완전히 새롭고 단순한 체계를 받아들이지 않고 일부분만 고치려고 해서는 새로운 체계에 잠재되어 있는 장점을 온전히 끌어낼 수 없다는 것이다. 책 제텔카스텐(참고11)은 이 논리를 글쓰기 체계(참고2)에 적용할 수 있다고 본다. 컨테이너같이 메모를 작성해 모으고, 거대한 글은 메모에서 출발하도록 사고 체계를 바꾸라는 것이다. 경제학에서 립시와 랭커스터는 어떤 완벽한 상태란 1000 개 조건이 참인 것이라고 정의할 때 998 개의 조건이 참인 상황이 999 개의 조건이 참인 상황보다 더 나쁘다고 단언할 수 없다고 했다(참고18). 머신러닝 모델의 성능을 평가할 때에는 비슷한 문제를 local minimum / global mimimum 문제라고 부른다.
2018년에 한 기술기업 발표회에 참여했던 기억이 떠오른다. 자율주행 벤처의 대표가 ‘자신들은 딥러닝을 사용하지 않는다’고 했다. 나는 기존 영상처리 방식들이 영상의 특징을(당시에는 특징이라는 표현도 몰랐지만) 사람의 경험에 기반하여 정의해야 한다는 점에 굉장히 회의적인 생각을 가지고 있었기 때문에 "왜 딥러닝을 쓰지 않는 것인가?" 라는 질문을 던졌는데, 이에 대한 대표님의 답변은 이러했다.
"일부 시스템을 뉴럴넷으로 교체해 보았는데, 디버깅이 어렵고 영상처리에 비해서 안정성을 보장해 줄 수 없더라. 그래서 우리는 당분간 더 이(고전적 영상처리 기반의) 시스템을 사용할 것이다."
맞는 말이다. 실제로 딥러닝은 디버깅이 어렵고, 블랙박스적 특성은 XAI(Explainable AI)의 발전에도 불구하고 어떤 요소를 개선해야 할지 모르게 만든다. 하지만 나는 이 문제가 전체 효율을 위해 희생이 필요한 컨테이너 문제와 같다고 생각한다. 논문 <왜 자율주행은 수십년째 5년 뒤에 개발 완료될 것이라고만 할까?>(참고4)는 비슷한 문제를 지적(참고5,참고6)하며 해결책으로 "처음부터 끝까지(end to end) 뉴럴 네트워크에 기반한” 자율주행을 제시하고 있다는 점은 주목할 만하다(참고7).
에이 말도 안 돼, 자율주행같이 안전과 직결된 도메인에거 도대체 누가 블랙박스 도입에 대한 리스크를 감수할 수 있을까? 수많은 자율주행 엔지니어들의 의견을 약 2년간 더 추적해 보았지만 이 생각에 동의하는 사람은 찾기 드물었다. 내가 뭘 뮬라서 그런가보다, 논문은 논문일 뿐인가보다 여기던 중, 이 방향성으로 개발되는 자율주행 시스템으로 전세계를 선도하겠다는 비전을 가진 대표적인 기업은 테슬라이고, 테슬라 오토파일럿 비전팀 리드로 있는 안드레 캐퍼시(Andrej Karpathy) 는 무려 10년도 전부터(참고8:실제로 2012년 안드레가 하소연하며 쓴 글이다.) 더 일반적인 인지 시스템의 필요성을 절실히 느끼며 우울해했다는 사실을 알게 되었다. 그랬던 안드레는 실제로 논문에서 언급하는 세 가지 필수요소(참고7)를 모두 포함시킨 자율주행의 미래형을 해당 논문이 출판된 해와 같은 해인 2021년에 Tesla AI Day(참고9:비전,인식시스템 전체가 딥러닝 기반이다. 해당 이벤트를 쭉 더 보면 경로생성-주행-데이터수집-학습도 모두 자동화시켰다는 것도 알 수 있다.)에서 발표했다. 안드레가 2017년에 테슬라 비전팀에 영입되었을 때의 상태는 다른 자율주행 기업들과 별반 다를 것 없이 메인 영상처리만 인공지능으로 바꾸어 두었던 상태(참고10)였다는 것을 상기해보자. 딱 3~4년만에 블랙박스라는 이유로 실차 도입을 주저하던 전세계 수많은 자동차 기업들과 어마어마한 초격차가 벌어져 버린 것이다. 우리나라 최고의 완성차업체 현대자동차는 이제 각 단위 태스크에서 딥러닝으로의 전환 검증을 하고 있다고 2021년 HMG 컨퍼런스에서 밝혔다(참고19:현대자동차는 라이다를 사용한다). 모든 태스크를 이미 하나로 엮어버리는 데 성공하여 당당히 발표하는 테슬라와 대조적이다.
2000년대 초반 많은 엔지니어들과 연구자들은 자율주행 시스템을 조향문제(longitudinal control)와 가감속(lateral control)문제로 나누어 보았었다(참고16). 엔지니어들은 차량에 붙어있는 카메라들로 사진을 찍어서 이것저것 처리해본 뒤, 핸들을 얼마나 돌릴지 정하고 브레이크와 엑셀을 얼마나 밟을지 정하면 자율주행문제를 풀 수 있을 것이라고 생각했다는 것이다. 딱 10년이 흘러 2010년대에는 자율주행 시스템을 perception - path planning - control 로 나누어 보기 시작했다. 문제를 다르게 바라보게 되었으나, perception - path planning - control은 별도의 신경망 또는 별도의 작업 덩어리로 여겨지고 있다(참고12). perception - path planning - control은 upstream인 perception 성능에 크게 의존하며 유일한 해답처럼 보이는 전국가적 HD Map 이 구축되지 않은 시점(@12/15/2021)에서 발전 속도가 저조해 보인다.
ADAS는 있지만 자율주행 기술은 없는 국내외 대부분의 완성차 회사들과 테슬라 사이에는 초격차가 벌어졌다고 본다. 왜 이런 격차가 생겨났을까? 컨테이너라는 아이디어의 단점을 보고 회의감을 가진 뒤 다시 돌아가 컨테이너라는 컨셉은 머릿속에서 싹 지우고 원래 사용하던 시스템을 조금씩 고쳐서 써먹을 방법을 고민하는 사람과, 컨테이너에 맞게 모든 시스템을 바꾸어 버렸을 때의 잠재력을 상상하고 이에 매달린 사람의 차이와 비슷하다고 느꼈다. 한땀 한땀, 사람의 직관에 의해 패턴을 처리하는 고전 패턴인식, 고전 경로계획, 제어 등(참고15)의 자율주행을 해보겠다는 시도들, 최고정밀 GNSS 등과 퓨전이 필요하다는 주장들은 - local minimum 일지도 모르는 - 지금 당장 눈앞의 문제를 푸는 데 더 빠르다고 느껴지기 쉬우며, 딥러닝 발전에도 유용한 기술이긴 하겠지만(참고14) 아무리 최적화시켜도 local minimum일 뿐인 방법일지도 모른다. N개 조건을 모두 충족시켜야 global minimum 인 시스템에서, N-2개에서 N-1개로 개선한다고 하더라도 이게 그 전보다 더 좋은 것이라고 말할 수 없을뿐더러 마지막 1개가 영원히 해결되지 않을 문제라면 이에 들어간 모든 노력들이 수포로 돌아갈지도 모른다. 시스템 전체에 대한 새로운 관점이 아닌, 현상을 유지한 점진적 개선만으로는 영원히 최적 상태에 도달하기 어려울지도 모른다.
2021년이 왔다. 다양한 논의에서 볼 수 있었듯 기존 시스템을 그대로 두고 조금씩 개선하는 것은 어차피 파레토 최적 상태에 도달하지 못할 가능성이 높다. 우리 디어의 자율주행팀과 자율주행 시스템은 '차선의 문제'를 찾아야 할지도 모른다(참고17). 딥러닝 인지시스템만 적당히 붙이는 것으로는 한계가 명확하다. 그딴 식으로 해결될 문제였으면 자율주행 문제는 2020년이 되기 전에 풀렸을테다. 획기적으로 더 나은 시스템은 케이스 마킹이나 부분적 전환이 아니라 아예 문제의 본질부터 다시 생각하여 전체를 갈아엎는 대공사를 통해서만 만들어질 때도 있는 셈이고, 지금이 바로 그 순간이다.
이렇게 생각하다 보니, 지금 하는 모든 행위와 노력이 나의 삽질일지도 모른다는 불안감에 휩싸이고 새로운 패러다임과 다가오는 미래를 받아들이지 못하는 나를 마주하게 될까 두렵기도 하지만, 한편으론 한정된 시장에서 열린 마인드의 신생기업과 스타트업이 싹틔우고 살아날 수 있는 틈새가 여기에 있지 않을까 싶어 희망이 보이기도 한다. 디지털 트랜스포메이션에 적응하지 못해 도태되는 기업도 이와 관련이 있을 듯하고, 지식의 반감기가 말하듯(참고13) 기존 패러다임을 고수하는 개인의 성격이 위험한 이유도 여기에 있을 것이다.
모든 값싼 기수(flag-man)들이 사라지고, 모든 교차로에 비싼 신호등을 설치하는 것이 지금은 당연한 것처럼(sup1)! 춘추전국시대 법가사상이 유가, 도가, 묵가와 달리 ‘인간은 이기적이다’ 라는 생각에 맞추어 모든 이론을 전개해 나갔고 춘추전국시대를 통일한 사상이 될 수 있었던 것처럼(sup2)!
supplementary
2.
참고
14.
20.
None