By MATT SIMON, WIRED US

열심히 공부한다면 나중에 전문 로봇 파이터가 될 수 있을 것이다. 불과 몇 년 전, 보스턴 다이나믹스(Boston Dynamics)는 사람이 하키 스틱을 휘두르며 사족 보행 로봇 스팟(Spot)이 문을 열도록 하면서 로봇 분야의 표준을 설립했다. 2015년, 독특한 연방 연구 기관인 고등연구계획국(DARPA)은 어딘가 어색한 휴머노이드 로봇이 기계 리그 외의 장애물을 통과하는 과정에서 서로를 당황스럽게 만든 대회를 주최했다. (필자는 이전에 독자 여러분에게 불완전한 휴머노이드 로봇을 보고 비웃지 말 것을 당부했으나 이후 필자의 생각이 바뀌었다) 그리고 현재, 다음의 사실을 관측했다. 로봇 강아지 ‘주잉(Jueying)’의 개발자가 발로 차거나 막대기로 밀어내는 인간의 적대적인 행위로부터 로봇이 스스로 보호할 방법을 가르쳤다.

주잉 하드웨어가 개발된 중국 저장대학교와 에딘버러대학교 연구팀은 주잉에게 공격 이후 회복하는 법을 따로 가르치지 않았다. 따라서 공격 이후의 활동 상당수를 주잉이 스스로 찾아내는 것이다. 보스턴 다이나믹스와 같은 하드웨어 개발 기업이 수십 년간 인간이 데이터 변경이 어렵도록 한 줄씩 꼼꼼히 기록한 경험을 사용해 로봇의 움직임을 가르친 작업에서 크게 벗어나 인간의 발에서 가해진 행동에 대응한다.

그러나 더 나은 방법이 있다. 축구팀이 있다고 상상해보자. 미드필더와 공격수, 골키퍼 모두 달리고 공을 차는 등 일반적으로 축구와 같은 행동을 하지만, 각각의 포지션마다 독특하게 만들어주는 특별한 능력이 있다. 예를 들어, 골키퍼는 경기장에서 유일하게 경고를 받지 않고 손으로 공을 잡을 수 있는 유일한 포지션이다.

기존의 로봇 훈련 방법에서는 모든 특수 행동에 대해 매우 면밀하게 코드를 작성해야 한다. 예를 들어, 실행자(로봇의 관절을 움직이는 모터)가 협력해 기계가 경기장을 뛰는 미드필더처럼 움직이게 만드는 방법은 무엇일까? 에딘버러대학교 로봇 박사이자 최근 사이언스 로보틱스(Science Robotics)에 로봇 훈련 시스템을 설명하는 논문을 게재한 리 지빈(Zhibin Li) 박사는 “실제로 로봇에 다양한 작업과 미션을 수행하도록 야생에 보내려면 다른 기술이 필요하지 않은가?”라고 언급했다.

리 박사 연구팀은 가상 버전의 로봇 강아지를 안내할 수 있는 소프트웨어를 훈련했다. 로봇 강아지가 복잡한 행동을 수행하도록 도움을 주고자 8가지 전문 알고리즘과 함께 학습 구조를 개발했다. 이 과정에서 딥 뉴럴 네트워크로 로봇 강아지의 컴퓨터 모델을 훈련해 빨리 걷거나 뒤로 넘어지려는 것을 느낄 때 스스로 균형을 바로잡는 등 특정 기술을 얻도록 훈련했다. 가상의 로봇 강아지가 목표에 가까운 행동을 했을 때, 디지털에서 보상했다. 반대로 부적절한 행동을 할 때는 그에 따른 벌을 주었다. 바로 강화 학습이라고 알려진 활동이다. 수많은 시행착오 끝에 시뮬레이션 과정을 거친 로봇 강아지는 훌륭한 능력을 갖추었다.
 
이를 기존의 한 줄씩 꼼꼼히 로봇 코딩을 통해 로봇에 계단 오르기 등 간단한 행동을 시킬 때, 구동기의 회전 방향도 명령하는 것과 비교해보자. 리 박사는 “인공지능(AI) 접근 방식은 로봇이 수십만 번, 심지어 수백만 번 시도한 경험을 포착한다는 점에서 매우 다르다. 따라서 시뮬레이션 환경에서 가능한 모든 시나리오를 만들 수 있다. 다른 환경이나 다른 구성을 만들 수도 있다. 예를 들어, 로봇은 바닥에 누워있거나 서 있거나 혹은 넘어진 상태 등 다양한 자세에서부터 행동을 시작한다”라고 말했다.

전문 알고리즘 8개가 훈련을 거친 뒤, 팀을 구성해 함께 움직이는 것을 배운다. 따라서 연구진은 알고리즘을 일종의 코치나 팀의 주장 역할을 할 수 있는 매우 중요한 네트워크로 결합한다. 주잉의 인공 뇌가 달리는 법과 회전하는 법, 스스로 균형을 잡는 법 등 각각의 전문 알고리즘에 접근할 수 있다. 리 박사는 “코치나 팀의 주장이 특정 행동을 수행할 대상을 지정한다. 혹은 함께 움직여야 할 대상과 시점을 정해준다. 따라서 모든 전문 알고리즘이 함께 하나의 팀으로 협력하고, 이는 능력을 수행할 수 있는 역량을 크게 발전시킨다”라고 설명했다. 예를 들어, 로봇이 떨어져서 회복해야 할 때, 시스템이 움직임을 감지한 뒤 균형을 관리하는 전문 알고리즘을 촉진시킨다.

가상 로봇 강아지를 훈련할 때, 8가지 전문 알고리즘의 반응을 막대그래프의 움직임으로 확인할 수 있다. 가상 로봇 강아지가 시뮬레이션 환경을 따라 움직이며 가상 화면에 떠다니는 초록색 공을 잡는 놀이를 한다. 또, 네트워크는 특정 상황에서 필요한 능력에 따라 각각의 전문 알고리즘의 특수 행위 수행 정도 변화의 영향력을 보여준다.

사족 보행 로봇 연구를 했지만, 리 박사 연구팀의 실험에는 참여하지 않은 서던캘리포니아대학교 생체 의학 공학 박사 알리 마르자니네자드(Ali Marjaninejad)는 “가상 환경을 이용한 훈련은 로봇이 마주한 상황에서 각각의 작업을 수행하도록 훈련할 수 있는 유용한 대안이다”라고 평가했다. 마르자니네자드 박사는 실질적으로 적용하고자 작업 처리 과정의 효율성을 향상하기 위한 로봇의 시뮬레이션 훈련에 필요한 계산 작업의 수가 줄어들면서 어려움도 감소할 것이라고 덧붙여 전했다. 

주잉 개발팀 연구진은 이후 디지털 로봇이 시뮬레이션 과정에서 학습한 것을 실제 세계의 로봇에게 이관한다. 로봇 강아지의 뇌에서 코치 역할을 하는 알고리즘은 AI와 협력해 로봇 강아지가 돌 위를 걸어 다닐 때, 움직임을 유지하도록 도움을 준다. 전문 로봇 파이터가 주잉을 밀 때, 주잉은 스스로 다시 일어날 수 있다. 사족 보행 로봇은 어떤 환경에서도 조금이라고 거두지 못한 성과이다. 사족 보행 로봇의 암벽 등반 성과는 두말할 것도 없다. (인간이 발목을 돌리는 것이 얼마나 쉬운지 상상해보아라)

로봇 강아지의 능력에 만족하지 않았다면, 인간은 로봇 강아지의 머리에 장착된 핸들을 잡고 얼굴이 바닥을 향해 떨어지도록 할 수 있다. 억지로 밀어 넘어뜨릴 때마다 용감한 로봇 강아지는 매번 스스로 발 위로 일어선다. 연구진이 특정한 종류의 공격에 대응하도록 코드를 작성해서 가능한 일이 아니다. 주잉이 AI와 이동 기술에 대해 논의하고 있어 가능한 일이다. 연구진이 로봇 강아지가 자갈 대신 미끄러운 표면이나 유리 위를 걷도록 했을 때도 변화한 환경에 적응했다. 기본적으로 예상하지 못한 상황에 더욱 강해졌다.

이번 연구의 일반적인 아이디어는 로봇이 걸음마를 배우는 아이들과 비슷한 방식으로 움직이는 것을 배우는 것이다. 코딩으로 로봇을 움직이게 하는 기존의 방식은 (단단한 목재와 카펫 위에서 다르게 발을 고정하는 등) 실제 세계에서의 로봇 작동 방식 추측을 기계에 로딩하고 각각의 움직임을 지시한다. 그러나 걸음마를 배우는 아기에게 “계단을 올라가라. 팔과 다리를 움직여야 한다”라고 말한다고 생각해보아라. 아기가 지시를 따르지 않을 것이다. (가끔 고통이 동반되는) 시행착오를 통해 움직이는 법을 배운다. 어떤 표면이 미끄럽고 울퉁불퉁한지 경험을 통해 배운다. 그리고, 움직임을 적절히 조절하는 방법도 경험을 통해 배운다.

리 박사는 아기가 걷는 법을 배우는 것과 마찬가지로 로봇도 단순히 지시만 따르면서 환경에 쉽게 적응할 수 없다고 말한다. 실제 세계의 힘과 표면은 예측할 수 없으며, 매우 복잡하기 때문이다. 로봇 전문가가 로봇이 실제 세계의 혼란을 이해하도록 완벽히 특징을 지을 수는 없다. 따라서 주잉이 사람과 같은 방식으로 걷는 법을 배우게 하는 것이 해결책이다. 오래된 시행착오라는 훌륭한 과정 덕분에 가능한 해결책이다. 리 박사는 “대대적인 예상 혹은 그림은 유연함과 적응력을 결합할 수 있는 더 많은 지능형 기계를 재빨리 갖추어 이전에는 하지 못했던 다양한 작업을 수행하도록 하는 것이다”라고 밝혔다.

로봇 파이터가 되고자 하는 이들은 이에 주목하라.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Watch a Robot Dog Learn How to Deftly Fend Off a Human