항구에 가면 이제는 너무나도 당연히 볼 수 있는 "컨테이너" 가 원래 형편없는 발명품이었다는 사실을 알고 있는가? 항구에 있는 모든 컨테이너는 다 똑같은 크기로서 존재한다. 큰 물건이든 작은 물건이든 유도리 없게 동일한 크기의 상자 안에 집어넣어야 하는 컨테이너라는 컨셉은 처음에는 정말 바보같은 생각으로 여겨졌다고 한다. 하지만 오늘날 커다란 항구 중에 컨테이너를 사용하지 않는 항구는 찾아볼 수 없다.
컨테이너가 주는 교훈은 완전히 새롭고 단순한 체계를 받아들이지 않고 일부분만 고치려고 해서는 새로운 체계에 잠재되어 있는 장점을 온전히 끌어낼 수 없다는 것이다. 책 제텔카스텐(참고11) 에서는 이 논리를 글쓰기 체계(참고2) 에 적용했다. 어차피 다시 읽지도 않을 메모를 쓰지도 말고, 애초에 생각의 흐름이 메모에서 출발되도록 바꾸라는 것이다. 경제학사에서도 비슷한 경우를 찾아볼 수 있는데, 파레토 개선 논의가 바로 그것이다. 립시와 랭커스터는 어떤 완벽한 상태란 1000 개 조건이 참인 것이라고 정의할 때 998 개의 조건이 참인 상황이 999 개의 조건이 참인 상황보다 더 나쁘다고 단언할 수 없다고 했다(참고18). 이 문제를 머신러닝 문제에는 local minimum / global mimimum 논의로 본다. 산 정상에서 한발짝씩 경사를 내려가는 방향으로 내려오는 장님이 지팡이를 짚으며 걸어가다 평평한 땅을 밟았을 때, 그 순간 잠깐 작은 계곡을 밟고 있는건지, 진짜 고도가 0인 평지에 도착한 것인지(global minimum)를 알 수 없다는 것이다.
나는 자율주행기술에 대해서 짧은 관심을 가져 왔는데, 컨테이너의 이야기와도 닮은 점이 있는 것 같아서 서술해 본다. 2018년에 한 기업의 아카데미에서 주최했던 오픈세미나에 참여했던 경험이 떠오른다. 한 자율주행 국내 벤처의 대표가 자신들은 딥러닝을 사용하지 않는다고 했다. 나는 그 당시 영상처리도 딥러닝도 잘 몰랐지만, 너무 궁금했다. 나는 기존 영상처리 방식들이 영상의 특징을 (당시에는 특징이라는 표현도 몰랐지만) 사람의 경험에 기반하여 정의해야 한다는 점에 굉장히 회의적인 생각을 가지고 있었기 때문에 "왜 딥러닝을 쓰지 않는 것인가?" 라는 질문을 했었다. 이에 대한 대표님의 답변도 들을 수 있었다.
"일부 시스템을 뉴럴넷으로 교체해 보았는데, 디버깅이 어렵고 영상처리에 비해서 안정성을 보장해 줄 수 없더라. 그래서 우리는 당분간 더 이(고전적 영상처리 기반의) 시스템을 사용할 것이다."
맞는 말이다. 실제로 딥러닝은 디버깅이 어렵고, 블랙박스적 특성은 XAI (Explainable AI) 의 발전에도 불구하고 어떤 요소를 개선해야 할지 모르게 만든다. 하지만 나는 이것을 문제라고만 바라보기는 어렵다고 생각한다. 논문 <왜 자율주행은 수십년째 5년 뒤에 개발 완료될 것이라고만 할까?>(참고4)를 보아도 똑같은 문제를 지적(참고5,참고6) 하는데, 그 해결책으로 오히려 "처음부터 끝까지 뉴럴 네트워크" 을 제시하고 있다는 점은 주목할 만하다 (참고7). 에이 말도 안 돼, 이걸 도대체 누가 할 수 있을까? 논문은 논문일 뿐이라고 여기던 찰나, 이를 이미 실천하고 있으며 전세계를 선도할 수 있는 대표적인 기업들 중 하나는 테슬라이고, 테슬라 오토파일럿 비전팀 리드로 있는 안드레 캐퍼시(Andrej Karpathy) 는 무려 2012년부터 이 문제에 대해서 골머리를 싸매(참고8:실제로 2012년 안드레가 하소연하며 쓴 글이다.) 더 추상화된 지능적 인지시스템의 필요성에 대해서 절실히 느끼며 우울해했다는 사실을 알게 되었다. 그랬던 안드레는 실제로 논문에서 언급하는 세 가지 필수요소(참고7)를 모두 포함시킨 자율주행의 미래형을 해당 논문이 출판된 해와 같은 해인 2021년에, Tesla AI Day(참고9:비전,인식시스템 전체가 딥러닝 기반이다. 해당 이벤트를 쭉 더 보면 경로생성-주행-데이터수집-학습도 모두 자동화시켰다는 것도 알 수 있다.)에서 선보였다. 안드레가 2017년에 테슬라 비전팀에 영입되었을 때의 상태는 다른 자율주행 기업들과 별반 다를 것 없이 메인 영상처리만 인공지능으로 바꾸어 두었던 상태(참고10)였다는 것을 상기해보자. 딱 3~4년만에 블랙박스라는 이유로 실차 도입을 주저하던 전세계 수많은 자동차 기업들과 어마어마한 초격차가 벌어져 버린 것이다. 우리나라 최고의 완성차업체 현대자동차는 이제 각 단위 태스크에서 딥러닝으로의 전환 검증을 하고 있다고 2021년 HMG 컨퍼런스에서 밝혔다(참고19:현대자동차는 라이다를 사용한다). 모든 태스크를 이미 하나로 엮어버리는 데 성공하여 당당히 발표하는 테슬라와 대조적이다.
이 초격차는 왜 벌어졌을까? 컨테이너라는 아이디어의 단점을 보고 회의감을 가진 뒤 다시 돌아가 컨테이너라는 컨셉은 머릿속에서 싹 지우고 원래 사용하던 시스템을 조금씩 고쳐서 써먹을 방법을 고민하는 사람과, 컨테이너에 맞게 모든 시스템을 바꾸어 버렸을 때의 잠재력을 상상하고 이에 매달린 사람의 차이와 비슷하다고 느꼈다. 한땀 한땀, 사람의 직관에 의해 패턴을 처리하는 고전 패턴인식, 고전 경로계획, 제어 등(참고15) 의 자율주행을 해보겠다는 시도들, 최고정밀 GNSS 신호가 필요하다는 주장들은 - local minimum 일지도 모르는 - 지금 당장 눈앞의 문제를 푸는 데 더 빠르다고 느껴지기도 하며, 아무리 딥러닝이 발전하더라도 요긴하게 사용되긴 하겠지만(참고14:heuristic) 아무리 최적화시켜도 local minimum 일 뿐인 방법일지도 모른다. N 개 조건을 모두 충족시켜야 global minimum 인 시스템에서, N-2 개에서 N-1 개로 개선한다고 하더라도 이게 그 전보다 더 좋은 것이라고 말할 수 없을뿐더러 마지막 1개가 영원히 해결되지 않을 문제라면 이에 들어간 모든 노력들이 수포로 돌아갈지도 모른다. 린(Lean)함만을 추구하는 정신으로는 영원히 답을 찾기 어려울지도 모른다. 이렇게 생각하다 보니, 지금 하는 모든 행위와 노력이 나의 삽질일지도 모른다는 불안감에 휩싸이고 새로운 패러다임과 다가오는 미래를 받아들이지 못하는 나를 마주하게 될까 두렵기도 하다.
누군가 내게 다가와서 "Closed Loop 딥러닝 기반의 end-to-end 자율주행과 handcrafted feature 로 한땀한땀 케이스 마킹을 해 나가는 영상처리 기반의 자율주행이 있다면, 둘 중 무엇이 global minimum 일까요?" 라고 묻는다면 그 사람을 꼬셔서 같이 한강을 질주하는 자율주행 양탄자를 만들어 보는 것이 어떠냐고 ... 가 아니라 당연히 시스템 전체를 딥러닝 기반 네트워크로 연결하고 데이터로부터 시스템 전체를 재학습시킬 수 있는 자율주행차량 개발방향성이 자율주행시대의 미래인 global minimum 에 더 가깝다고 대답할 것이다.
2000년대 초반 많은 엔지니어들과 연구자들은 자율주행 시스템을 조향과 (longitudinal control) 과 가속감속 (lateral control) 로 나누어 보았었다(참고16). 엔지니어들은 차량에 붙어있는 카메라들로 사진을 찍어서 이것저것 처리해본 뒤, 핸들을 얼마나 돌릴지 정하고 브레이크와 엑셀을 얼마나 밟을지 정하면 자율주행문제를 풀 수 있을 것이라고 생각했다는 것이다. 딱 10년이 흘러 2010년대에는 자율주행 시스템을 perception - path planning - control 로 나누어 보기 시작했다. 패러다임이 바뀌는 듯 했지만, 완벽한 perception 이 더 나은 path planning 과 control 을 만들어낼 수 있을 것이라고 생각한다는 점은 변치 않았다 (참고12). 아직 전국가적 HD Map 이 구축되지 않은 시점(@12/15/2021, 3:12:00 AM)에서, perception 에 높은 의존도로 의존하는 시스템도 그만 한계가 드러나고 말았다.
2021년이 왔다. 다양한 논의에서 볼 수 있었듯 기존 시스템을 그대로 두고 조금씩 개선하는 것은 어차피 파레토 최적 상태에 도달하지 못할 가능성이 높다. 디어의 자율주행팀과 자율주행 시스템은 '차선의 문제' 를 찾아야 할지도 모른다(참고17). 딥러닝으로 인지시스템만 대체해 붙이자는 것이 아니다. 그딴 식으로 해결될 문제였으면 자율주행문제는 2020년이 되기 전에 풀렸을테다. 획기적으로 더 나은 시스템은 케이스 마킹이나 부분적 전환이 아니라 아예 문제의 본질부터 다시 생각하여 전체를 갈아엎는 대공사를 통해서만 만들어질 때도 있는 셈이다.
한정된 시장에서 열린 마인드의 신생기업과 스타트업이 싹틔우고 살아날 수 있는 부분이 여기에 있지 않을까 싶다. 디지털 트랜스포메이션에 적응하지 못해 도태되는 기업도 이와 관련이 있을 듯하고, 지식의 반감기가 말하듯(참고13) 기존 패러다임을 고수하는 개인의 성격이 위험한 이유도 여기에 있을 것이다.
모든 값싼 기수(flag-man)들이 사라지고, 모든 교차로에 비싼 신호등을 설치하는 것이 지금은 당연한 것처럼(sup1)! 춘추전국시대 법가사상이 유가, 도가, 묵가와 달리 ‘인간은 이기적이다’ 라는 생각에 맞추어 모든 이론을 전개해 나갔고 춘추전국시대를 통일한 사상이 될 수 있었던 것처럼(sup2)!
supplementary
2.
참고
14.
20.
None