By MATT SIMON, WIRED US

아무리 가장 바람직한 결과를 얻더라도 인간인 아기가 갓 태어난 시점에 시속 9마일(약 14.5km)로 달릴 수 없을 것이다. 아기가 기어 다니기 시작하고 안정적으로 걷기까지 몇 년이 걸릴 것이다. 이 시기에 엄마는 아기의 다리가 이상한 모습을 보일 것을 걱정할 필요는 없다. 그러나 로봇의 걷기 능력 학습 시간은 인간처럼 충분하지 않다. 따라서 로봇이 더 많은 시행착오를 통해 배우도록 개발했다. 로봇이 겪는 시행착오는 전체적으로 아기의 걸음마 과정과 같지만, 훨씬 더 빠른 속도로 학습한다.

최근, MIT 연구팀이 공개한 영상 속 사족보행 로봇은 지금까지 등장한 모든 로봇 중 움직임이 가장 뛰어나지 않다. 그러나 연구팀은 연구 플랫폼에서 사족보행 로봇 ‘미니 치타(Mini Cheetah)’가 초당 약 13피트, 혹은 시속 9마일이라는 가장 빠른 이동 속도를 기록했다고 발표했다. 연구팀은 매우 꼼꼼하게 미니 치타의 움직임 배열마다 직접 코드 작성 작업을 하지 않았다. 대신, 디지털 로봇이 시뮬레이션으로 구현한 세계를 통해 학습하도록 지원한다. 시스템에 등장한 요소는 이전과 다르다. 다만, 연구팀은 가상 로봇이 실제 기계에서 학습하는 바를 다양한 표면에서 얼굴 등 여러 신체 부위가 부딪힐 일이 없도록 강력하게 움직이도록 제작했다.

이와 같은 학습 기법은 강화학습이라고 알려졌다. 아기의 눈앞에 장난감을 두고 기어 다니도록 유도하는 것과 같다고 생각할 수 있다. 이에, 연구팀은 4,000가지 버전의 로봇을 시뮬레이션하면서 처음 걷는 법을 학습하도록 한 뒤 다양한 방향으로 나아가도록 했다. 디지털 미니 치타는 시뮬레이션으로 제작된 표면에서 시험 삼아 달리기도 했다. 이때, 등장한 시뮬레이션 표면은 마찰 정도와 부드러움 등 여러 표면 특성을 특정 수준으로 제작했다. 시뮬레이션 환경은 가상 로봇이 잔디와 포장도로, 빙판길, 자갈 등 현실 세계에서 마주하게 될 다양한 바닥 표면의 문제를 극복하도록 대비하는 데 도움이 된다.

시뮬레이션 로봇 수천 개는 모두 다른 방식으로 관절을 움직이려 한다. 결과적으로 이동 속도를 높이면 적절한 보상을 받으며, 반대로 부정적인 결과를 얻을 때는 해당 시뮬레이션은 폐기된다. 시간이 지나면서 가상 로봇은 인간처럼 시행착오 과정을 통해 학습한다. 그러나 모든 학습 과정이 디지털로 진행되므로 로봇은 인간보다 더 빨리 학습할 수 있다. 시뮬레이션 환경에서 단 3시간 동안 학습할 때, 현실 세계에서 100시간 학습한 것과 같은 효과를 누릴 수 있다.

이후 연구팀은 디지털 로봇이 여러 표면 조건에서 달리면서 학습한 바를 현실 세계의 미니 치타에 전송한다. 로봇에는 카메라가 없어, 주변 환경을 보고 움직임을 변경할 수 없다. 대신, 균형을 계산하면서 모든 발걸음이 앞으로 나아가는 방법을 계속 추적한다. 예를 들어, 잔디밭을 걸어 다닐 때는 마찰 정도와 표면의 부드러움 모두 현실 세계의 잔디밭과 똑같이 구현된 디지털 훈련 결과를 참고한다. 미니 치타의 시뮬레이션 시스템을 공동 개발한 MIT AI 연구원인 가브리엘 마고리스(Gabriel Margolis) 박사는 “인간이 로봇의 보행 모습을 정확히 조언하는 대신 로봇이 시뮬레이터를 통해 직접 학습하고 경험하면서 본질적으로 앞, 뒤로 향하도록 매우 빠른 속도로 달릴 수 있는 능력을 갖추도록 한다”라고 말했다.
 
미니 치타가 결과적으로 선보인 보행 모습은 그리 멋지지 않지만, 안정적이면서 빠른 속도로 움직인다. 게다가 로봇이 자체적으로 보행 모습을 선보인다. 미니 치타는 잔디밭에서 자갈 바닥으로 바뀌자 천천히 언덕을 오르고, 빙판길에서도 균형을 유지한다. 보행 중 넘어질 때 다시 균형을 잡을 수 있다. 심지어 네 다리 중 한쪽을 제대로 움직일 수 없을 때도 앞으로 나아가도록 적응할 수도 있다.

분명히 말하자면, 로봇이 달리기 실력을 갖추도록 할 가장 안정적이거나 에너지 효율성이 우수한 방법이라고 단언할 수 없다. 연구팀은 단순히 속도 향상 최적화에만 초점을 두었다. 그러나 다른 로봇이 신중하게 움직여야 하는 방식에서 과감히 벗어났다. 미니 치타의 시뮬레이션 시스템을 공동 개발한 MIT AI 연구원인 풀킷 아그라왈(Pulkit Agrawal)은 “대다수 로봇은 매우 느리다. 로봇은 보행 속도가 그리 빠르지 않거나 아예 달릴 수 없다. 혹은 보행 중일 때도 바로 앞으로 향하도록 걷기만 한다. 빠른 속도로 회전하는 등 민첩한 행동을 할 수는 없다”라고 설명했다.

미니 치타에 적용한 것과 같은 강화학습 기법은 로봇 공학에서 갈수록 인기를 얻는 기법이다. 빙판길에서의 미끄러움이나 절벽에서의 넘어짐, 특정한 형태의 바위 위를 걷는 등 로봇이 실제 마주할 수 있는 모든 상황에 적합한 행동을 찾도록 엔지니어가 수동으로 코드를 작성할 수는 없다. 미니 치타 연구에 참여하지 않은 오슬로 메트로폴리탄대학교 소속 사족보행 로봇 연구원인 톤스 니가드(Tønnes Nygaard)는 “사족보행 로봇의 보행 훈련에 강화학습 기법을 적용한 사례에서 머신러닝의 훌륭한 기능을 찾아볼 수 있다. 바로 주어진 특정 문제를 해결한다는 점이다. 미니 치타 개발 과정에서는 머신러닝 알고리즘은 로봇의 움직임이 불안정해 보여도 가장 빠른 속도로 달릴 방법을 찾는다”라고 말했다.

로봇 전문가는 자연에서 확실한 단서를 찾는다. 진화 과정 자체는 이미 생명체가 미니 치타의 시뮬레이션과 같은 시행착오 과정을 겪도록 했기 때문이다. 실제 사족보행을 하는 생물의 생존과 번식을 도운 요소는 여러 세대에 걸쳐 이루어지면서 환경에 따라 계속 개선됐다. 그러나 로봇은 동물과 완벽히 똑같은 방식으로 움직이지 않는다. 미니 치타는 실제 치타와 똑같이 다리가 4개로 구성되었으나 근육과 힘줄 대신 모터가 있다. 치타와 다른 고양잇과 동물의 뇌는 네 발을 간단하게 움직이도록 수백 년간 진화했다. 반면, 미니 치타 로봇의 소프트웨어는 특정 생리학에 따라 더 빨리 움직임을 제어하도록 진화할 수 있다.
 
더 빠른 학습 능력은 강화학습 기법의 강점이다. 또, 강화학습은 로봇이 더 모호한 환경에서 이동하면서 갈수록 중요성이 더 커진다. 자동차 조립 시설에 배치된 로봇 팔은 특정 영역에 고정돼, 예상하지 못한 지형을 예측하도록 설계되지 않는다. 반면, 미니 치타는 복잡하면서 혼란스럽고, 미끄러운 표면과 보행자를 직면할 수 있는 외부 세계를 탐험한다. 시뮬레이션 과정에서 접한 비슷한 환경에서의 과거 경험을 최대한 활용할 필요가 있다.
 
미니 치타는 복잡한 센서를 활용해 세계를 파악하지 않는다는 측면에서 시작부터 매력적인 모습을 선보였다고 말하기 어렵다. 아그라왈 박사는 미니 치타 개발 다음 단계가 로봇 비전 개발이라고 밝혔다. 로봇 비전 개발 단계에서는 장애물 피하기와 같이 더 복잡한 여러 행동을 할 수 있는 능력을 갖출 것이다. 또한, 연구팀은 새로 공개한 영상으로 보여준 연구 과정을 설명하는 논문을 게재할 예정이다.

반면, 니가드 연구원은 미니 치타 실험이 로봇이 제대로 움직일 수 있는 능력을 갖추기 위해 무조건 아름다운 움직임을 선보일 필요가 없다는 사실을 입증했다고 주장한다. 그는 “인간 연구원과 엔지니어는 훌륭한 보행 방식이라는 개념에만 국한되었다. 오래된 설계 기법 의존 여부를 떠나 다른 여러 연구팀이 진행한 비슷한 로봇이나 자연에서 얻은 영감, 잠재적인 대칭 혹은 아름다움 선호 추세는 종종 학계의 로봇 개발 접근 방식에 제한을 주어, 궁극적으로 바람직하지 않은 해결책을 제시했다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
This Cheetah Robot Taught Itself How to Sprint in a Weird Way