본문 바로가기 주메뉴 바로가기 검색 바로가기
로봇의 걸음마 떼기, 가상 장벽 훈련으로 해결한다!
상태바
로봇의 걸음마 떼기, 가상 장벽 훈련으로 해결한다!
연구팀이 특수 칩과 시뮬레이션 소프트웨어를 이용해 사족보행 로봇이 계단과 장애물을 마주해도 무사히 길을 찾도록 했다.
By WILL KNIGHT, WIRED US

무리를 지어 행진하는 4,000여 개의 개와 같은 모습을 한 로봇 무리는 시뮬레이션이 펼쳐질 때도 위협을 제대로 보지 못한다. 그러나 새로운 장애물을 학습하도록 기계에 특정 영역을 가리킬 수 있을 것이다.

앞서 언급한 로봇 무리의 정체는 스위스 취리히 연방 공과대학 연구팀과 칩 제조사 엔비디아가 손을 잡고 제작한 가상 로봇 무리이다. 합동 연구팀은 여러 곳을 돌아다니는 봇을 이용해 실제 세계를 움직이는 로봇 다리를 제어하는 데 사용할 알고리즘을 훈련한다.

애니멀(ANYmal)이라는 이름으로 알려진 로봇은 시뮬레이션 과정에서 가상 풍경으로 펼쳐지는 경사로와 계단, 가파른 길 등을 통과하는 어려움을 직면한다. 매번 장애물을 통과할 때마다 로봇은 장애물 앞에서 길을 찾는 법을 배우며, 연구팀은 갈수록 더 어려운 장애물을 보여주면서 알고리즘이 서서히 더 첨단화된 방식으로 알고리즘을 제어하도록 한다.

원격으로 로봇을 관찰하는 결과 화면은 개미 떼가 드넓은 영역 전체를 한 방향으로 움직이는 것과 같은 모습을 보여준다. 알고리즘 훈련 도중 로봇은 계단을 쉽게 오르고 내리는 방법을 학습한다. 계단보다 더 복잡한 장애물을 무사히 통과하도록 훈련하는 데는 더 오랜 시간이 걸린다. 일부 가상 로봇은 경사로를 내려가는 법을 학습했으나 경사로를 무사히 통과하는 것은 특히 더 어려운 것으로 입증됐다.

결과 알고리즘을 머리 부분의 센서와 탈부착 가능한 로봇 팔을 지닌 대형견 크기의 사족 보행 로봇인 현실 세계의 애니멀로 전달한다. 이후 애니멀은 계단과 각종 장애물을 무사히 통과한다. 하지만, 더 빨리 장애물을 통과하는 데는 어려움이 있다. 연구팀은 센서의 시뮬레이션 상황 대비 현실 세계 인식 부정확성 탓이라고 말한다.

이와 비슷한 로봇 학습은 기계가 제품 포장부터 의상 바느질, 작물 수확 등 모든 유용한 작업을 학습하는 데 도움을 줄 수 있다. 연구팀의 애니멀 훈련 프로젝트는 응용 인공지능(AI)에서 미래 발전을 위한 시뮬레이션과 맞춤형 컴퓨터 칩의 중요성을 반영한다.
 
[사진=Anybotics 홈페이지]
[사진=Anybotics 홈페이지]

캘리포니아대학교 버클리캠퍼스 교수이자 AI와 시뮬레이션을 이용한 운송 기업용 제품 포장용 로봇 팔을 훈련하는 기업인 코배리언트(Covariant)의 공동 창립자인 피터 아벨(Pieter Abbeel)은 “높은 수준으로 매우 빠른 시뮬레이션을 할 수 있다면 매우 훌륭한 일이다”라고 말했다. 이어, 연구팀의 애니멀이 어느 정도 훌륭한 시뮬레이션 속도 향상을 달성했다고 평가했다.

그동안 AI는 소프트웨어로 쉽게 작성할 수 없거나 어느 정도 변형이 필요한 현실 세계의 작업을 하는 로봇을 훈련한다는 약속을 했다. 기이하거나 미끄럽거나 낯선 장애물을 이해하는 능력은 코드 몇 줄을 작성한다고 해서 해결할 수 있는 문제가 아니다.

시뮬레이션 과정을 거친 로봇 4,000여 개는 긍정적, 부정적 피드백을 통한 동물 훈련 방법에 따라 고안한 AI 기법인 강화학습으로 훈련받았다. 로봇이 다리를 움직일 때, 알고리즘은 걷기 능력이 미치는 영향을 판단하고는 제어 알고리즘을 판단 결과에 따라 변경한다.

시뮬레이션은 컴퓨터와 서버에 사용하는 일반 칩이 아닌 엔비디아가 제작한 특수 AI 칩을 이용한다. 결과적으로 연구팀은 훈련 시간을 일반 훈련 방법 대비 1/100 수준으로 줄일 수 있었다.

특수 칩을 사용하는 데도 어려움이 있었다. 엔비디아의 칩은 그래픽 생성과 신경망 운영에 중요한 계산 능력이 뛰어나지만, 등산과 미끄러지기 등 물리적 특성 시뮬레이션에는 적합하지 않다. 엔비디아 시뮬레이션 기술 부사장 레브 레바레디안(Rev Lebaredian)은 연구팀이 몇 가지 영리한 소프트웨어의 제2의 해결책을 고안해내야 했다고 말한다. 레바레디안 부사장은 “정확한 해결책을 제시하는 데 오랜 시간이 걸렸다”라고 밝혔다.

시뮬레이션과 AI, 특수 칩 모두 로봇 지능을 고도로 발전시킬 수 있는 잠재력을 지녔다. 엔비디아는 자사 칩을 이용해 더 쉬운 산업용 로봇 시뮬레이션과 제어가 가능한 소프트웨어 툴을 개발했다. 엔비디아는 시애틀에 로봇 연구소를 설립하기도 했다. 그리고, 자율주행차에 장착할 칩과 소프트웨어를 판매한다.
 

3D 비디오 게임 제작 소프트웨어 개발사인 유니티 테크놀로지스(Unity Technologies)도 로봇에 사용하기 적합한 소프트웨어 개발 지사도 두었다. 유니티 테크놀로지스 AI 전무인 대니 랜지(Danny Lange)는 자사의 소프트웨어를 시뮬레이션에 이용하는 연구팀이 많다는 사실에 주목하고, 더 현실적이면서도 다른 로봇과 호환 능력이 우수하도록 소프트웨어를 제작했다고 밝혔다. 현재 유니티 테크놀로지스는 강화학습과 시뮬레이션으로 산림 로봇이 벌목하도록 훈련하도록 강화학습과 시뮬레이션이 가능한지 실험하는 스웨덴 기업인 알고릭스(Algoryx)와 협동 작업을 진행 중이다.

강화학습은 지난 수십 년간 존재했으나 최근 들어서야 몇 가지 주목할 만한 AI의 전환을 이루었다. 다른 기술이 발전한 덕분이다. 2015년, 강화학습을 기반으로 컴퓨터가 인간을 뛰어넘는 수준으로 매우 섬세하면서 본능적으로 이루어지는 보드게임의 일종인 바둑 경기를 하도록 학습이 이루어졌다. 비교적 최근에는 경험과 판단이 필요한 칩 설계를 자동화하는 과정을 포함한 실질적인 작업에 활용되었다. 그러나 문제점이 있다면, 강화학습 기반 알고리즘 훈련에는 막대한 시간과 다량의 데이터가 필요하다는 점이다.

일례로 오픈AI(OpenAI)는 로봇 팔이 강화학습을 통해 루빅 큐브를 조작하고 수많은 CPU를 함께 실행하도록 훈련하는 데 14일 넘게 소요됐다. 로봇 훈련에 2주 이상 소요한 사실은 기업의 강화학습 기반 로봇 사용을 장려하지 못하는 요소이다.

강화학습을 이용한 로봇 훈련 초기 노력은 현실 세계의 일부 로봇 전체의 작업 과정을 나누었다. 물리적 시뮬레이션이 향상한 덕분에 가상 환경에서의 학습 속도를 높일 수 있었다.

시뮬레이션 기법을 이용한 로봇의 새로운 신체 설계를 고안한 MIT 학생인 앤드류 스필버스(Andrew Spielberg)는 강화학습을 이용한 로봇의 작업 분리를 통한 학습 속도 향상이 최종 사용자에게 매우 흥미로운 일이라고 말한다. 이어, 스필버그는 구글 연구팀이 관련 작업을 하면서 구글의 맞춤형 칩인 텐서 프로세서 유닛(Tensor Processing Unit) 칩 개발 작업 전체를 분업한 덕분에 로봇의 학습 속도가 향상된 사실에 주목했다.

오픈 로봇 재단(Open Robotics Foundation)의 오픈소스 로봇 운영 시스템(Robot Operating System)의 대대적인 사용을 관리하는 툴리 푸트(Tully Foote)는 상업적 목적으로 로봇을 사용하는 이들에게 시뮬레이션이 갈수록 중요해진다고 말한다. 푸트는 “현실적인 시나리오로 소프트웨어를 검증한 뒤 하드웨어를 배치한다면, 시간과 비용 모두 크게 절감할 수 있다. 현실 세계보다 더 빠르게 실행하면서 로봇 손상 문제가 전혀 발생하지 않고, 오류가 발생할 때는 자동으로 즉시 초기화할 수 있다”라고 설명했다.

그러나 로봇 학습을 현실 세계로 전환하는 과정 자체도 많은 어려움이 있다고 덧붙였다. 푸트는 “현실 세계에는 불확실한 요소가 무수히 많다. 먼지와 빛, 날씨, 균일하지 않은 하드웨어, 손상 등 모든 문제를 추적해야 한다”라고 말했다.

레바레디안 부사장은 보행 로봇 훈련에 사용하는 시뮬레이션이 결과적으로 로봇의 움직임 관련 알고리즘 설계에도 영향을 미칠 것이라고 주장한다. 그는 “가상 세계는 모두에게 가치가 있다. 그러나 가장 중요한 부분 중 하나는 제작하고자 하는 AI를 둘 수 있는 넓은 공간이나 훈련 공간을 만드는 것이다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
These Virtual Obstacle Courses Help Real Robots Learn to Walk
이 기사를 공유합니다
RECOMMENDED