By JULIAN CHOKKATTU, WIRED US

레고 블록을 테이블에 잔뜩 쏟는 것을 상상해보아라. 그리고 이제 상상 속 AR 글래스를 착용하면서 상상력을 높여보자. AR 글래스의 카메라가 즉시 눈앞의 블록을 모양부터 색상까지 각종 다른 특징을 기준으로 분류하여 보유한 블록 종류에 따라 조립할 수 있는 모형을 제시한다. 그런데, 문 앞에 누군가가 있다. 문 앞에 있는 이를 확인하고 다시 돌아올 수 있다. 다행히 AR 글래스가 블록을 모두 다시 스캔할 필요가 없다. AR은 잠시 자리를 비운 테이블 위에 블록이 있다는 사실을 알고 있다.

이미 스캔한 현실 세계의 사물을 계속 기억하는 능력은 신귤로스 리서치(Singulous Research)가 새로 개발한 AR 소프트웨어 플랫폼 퍼셉투스(Perceptus)의 주요 홍보 요소이다. 퍼셉투스는 카메라가 현실 세계 사물이 있는 장면을 직접 보지 않더라도 해당 사물을 계속 기억한다. 사용자가 문밖의 호출에 응답하려 이동해도 퍼셉투스는 테이블 위의 블록으로 조립할 수 있는 것을 계속 계산한다. 단순히 사용자의 시선이 전환됐다는 이유로 계산을 중단하지 않는다.

신귤러스 리서치 CEO인 브래드 퀸톤(Brad Quinton)은 "AR 공간에 접속했을 때, 즉시 공간 전체를 보지 않는다. 공간 일부분을 보게 된다. 인간은 시선을 돌리는 순간 시야에서 벗어난 사물의 존재를 얼마든지 인지할 수 있다. 이전에도 사물을 보았으며, 이를 기억하기 때문이다. 주변 사물을 이해하는 AR이 등장한다면, 기술이 영리해지면서 적극적으로 사용자에게 도움이 되는 활동을 할 것이다"라고 말했다.

퀸톤이 설명한 것이 최소한의 생각이다. 퍼셉투스는 애플 AR키트(ARKit)나 구글 AR코어(ARCore) 등 개발자가 AR 앱 개발 시 사용하는 기존 AR 기술 위에 레이어를 적용한다. 그러나 스마트폰이나 태블릿으로 이를 구현하기 전 수많은 작업이 이루어져야 한다.
 
앱 개발자는 퍼셉투스가 감지하도록 하고자 하는 레고 블록 3D 모델이나 사물을 신귤로스 리서치에 제공한다. 이후 플랫폼은 현실 세계의 사물을 감지할 수 있을 법한 다양한 방식으로 연구할 머신러닝 처리 유형을 활용한다. 이 과정에는 다른 조명 상태와 다양한 표면 등 여러 조건을 적용한다. 퍼셉투스는 개발자 앱에 레이어를 적용해 새로운 사물을 이해하는 데 적용할 수 있다. 이는 앱이 사용자가 사물로 다양한 활동을 하도록 한다. 그 예시로 상상 속 레고 앱이 확인한 블록을 사용해 제작할 수 있는 모형을 제시하는 것을 언급할 수 있다.

사물 스캔과 확인 과정은 지금도 주로 수동적인 절차를 통해 이루어진다. 퍼셉투스 플랫폼 사용 권한을 얻은 개발자는 처음부터 기억하고자 하는 사물의 컴퓨터 보조 디자인 모델을 제공해야 한다. 그러나 캐드(CAD) 모델을 신귤로스 라이브러리에 추가해야 하며, 추후 개발자는 디지털 스택을 신중하게 찾아 필요한 사물을 더 빨리 감지하도록 할 수 있다. 퀸톤은 퍼셉투스가 조만간 각종 보편적인 사물을 식별하리라 기대한다. 비디오 게임 제조사가 개발한 다량의 정확한 3D 모델을 사용할 수 있기 때문이다.

플랫폼이 사물을 제대로 식별하도록 훈련한 뒤 이를 활용할 AR 앱을 출시하므로 분석을 위해 클라우드 서버로 이미지 데이터를 전송할 필요가 없다. 퍼셉투스는 기기 내부에서 실행되며, 기존 모바일 프로세서로 원활하게 실행할 수 있다. 퍼셉투스의 사물 인식 기능을 지켜보는 것은 매우 멋진 일이다. 퀸톤은 필자에게 아이패드가 레고 블록으로 가득한 테이블과 더 가까워지도록 이동하는 것을 보여주었다. 이때, 카메라가  모양과 색상을 기준으로 모든 블록을 실시간 분석하는 것을 볼 수 있었다. 식별 도중 블록 몇 개를 놓쳐 100% 완벽한 식별 능력을 보여준 것은 아니지만, 100% 가까운 정확한 식별 능력을 보여주었다.
 
더 인상적이었던 부분은 신큘로스 리서치가 개발한 체스 데모이다. 필자는 체스 데모를 이용해 퀸톤과 가상 체스 게임을 했다. 퀸톤은 아이패드 카메라가 흰색 말만 올려둔 체스판을 향하도록 했다. 퀸톤이 현실 세계의 말을 옮기자 기기 화면의 브라우저 실행과 함께 가상 제작된 체스판에서 말이 이동했다. 또, 필자가 말을 움직이자 아이패드 디스플레이로 볼 수 있는 가상 체스판 위의 가상 말도 같은 방향으로 이동했다. 아이패드 화면을 보면서 체스 게임을 이어가는 것이 다소 이상했지만, AR 글래스를 착용하며 체스를 즐기는 미래를 구상할 때는 매우 합리적인 생각이라고 할 수 있다.

퀸톤은 AR 글래스 착용 시 가상 세계의 사물과 현실 세계의 사물이 같은 방향으로 이동하도록 하는 것이 퍼셉투스의 장기적인 목표라고 말했다. 이어, 애플 기기와 퀄컴 스냅래곤 칩, 구글 텐서(Tensor)와 같이 앞으로 여러 기업이 선보일 AR 기기의 성능을 지원할 신경망 가속기를 적용한 칩이 탑재된 모바일 기기에서 퍼셉투스 플랫폼이 실행되는 방식을 설명했다. 다른 AR 하드웨어로 쉽게 변형할 수 있어야 한다.

퀸톤은 "퍼셉투스를 활용할 가장 훌륭한 방법은 가상 세계와 현실 세계 간의 상호작용이다"라며, "메타버스와 같이 현실이 아닌 공간을 생각했다. 현실이 아닌 곳에는 체스판이 없다. 그러나 현실 세계의 체스판을 인식하여 가상 체스판을 제작했다. 바로 옆에 체스판을 두고, 앱으로 체스를 즐기는 것을 생각할 수 있다. 그리고 가상 세계이면서도 현실 세계이기도 하지만, 실제 어디에도 존재하지 않는 중첩된 물리적 현실을 개발했다"라고 설명했다.

시카고 소재 도요타 기술 연구소(Toyota Technological Institute) 소속 컴퓨터 비전 연구원인 매튜 터크(Matthew Turk)는 퍼셉투스의 접근방식을 활용할 장점이 있다고 말한다. 사물의 사진을 다량으로 촬영하거나 인터넷에서 사진 수천 장을 찾아 머신러닝 알고리즘에 투입할 필요가 없다. 터크는 물리적 요소가 필요한 AR 앱에 적용할 훌륭한 솔루션이지만, 일반용 AR 앱에는 활용 수준이 제한적이라고 평가했다.

터크는 "사용자는 현실 세계에서 접하는 모든 사물의 캐드 모델을 보유하지 않는다. 만약, 캐드 모델로 생성한 사물에만 집중한다면, 시간이 지나면서 많은 이들이 제공하는 라이브러리가 증가하더라도 실제 가상과 현실의 상호작용 수준이 매우 제한적일 것이다. 장기적으로는 모두에게 충분하지 않지만, 흥미로운 애플리케이션을 제작하기는 충분하다"라고 설명했다.

현실 세계의 사물을 인식해, 같은 사물을 가상 세계에서 제작하는 데 3D 모델을 활용하는 것이 가상 세계와 현실 세계 연결의 시작점이다. 그러나 단순히 AR 글래스로 무언가를 보면서 사물을 정확히 인식하려면 더 나아가야 할 것이다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
This New Platform Can Give AR Apps a Memory Boost