스크린에 사람이 나타났다. “채널 바꿔줘”라고 말하니 내용을 알아듣고 요청을 수행한다. 이 뿐만이 아니다. 골프치는 자세를 알려달라고 말하면 직접 골프채를 들고 자세를 잡는다. 요가 동작도, 화장법도 직접 눈으로 보여준다. 사람의 말을 알아듣고 표정도 자유롭게 바꾸며 대화도 하는데 진짜 사람은 아니다. 인공지능(AI) 스피커와는 또 다른 AI, 네온(NEON)이 그렇다.

네온은 삼성전자 미국 연구개발(R&D) 조직인 삼성리서치아메리카(SRA) 산하 연구소 ‘스타랩’(STAR Lab)에서 개발한 인공 인간이다. 로봇처럼 현실에 존재하는 건 아니나, 비디오를 기반으로 한 가상 아바타다. 스타랩은 네온 프로젝트를 극비리에 진행하다 지난 7일(현지시간) 미국 라스베이거스에서 열린 세계 최대 가전 및 IT 전시회 CES 2020에서 처음 공개했다.

이날 CES 전시장에 공개된 네온은 수십여 가지에 달했다. 흑인 남성부터 항공기 승무원, 아나운서, 동양인 여성까지 생김새와 특징도 전부 제각각이다. 주머니에서 휴대폰을 꺼내 웃으며 통화하는 모습도, 음악을 감상하며 춤을 추는 모습도, 골프를 치는 모습도 실제 사람과 몹시 흡사했다.

프라나브 미스트리 SRA 전무 겸 스타랩스 대표는 이날 “가상에서 만들어낸 것을 진짜라고 믿을 수 있냐는 질문에서 프로젝트를 시작했다”며 “실제 사람처럼 생긴 네온은 수백만 가지 표정을 지을 수 있으며 스스로 학습하고, 실수도 하며, 다양한 외국어도 구현할 수 있다”고 소개했다.

◆AI 이용해 실제와 비슷한 화면 속 ‘인공 인간’ 구현

네온은 AI비서를 가상 캐릭터처럼 구현한 것이다. 네온을 활용하면 기존 AI스피커가 제공하지 못했던 시각적인 영역이 표현 가능해진다. 네온은 사용자에게 운동방법을 알려주는 등 시각적인 정보를 직관적으로 제공한다. 사용자의 말을 알아듣고 다양한 표정을 지어 직접 교감하는 느낌도 줄 수 있다.

미스트리 대표는 “네온은 매번 같은 미소를 짓지 않으며 각 표현과 행동, 문구도 각 네온에 따라 구축된 AI를 기반으로 즉석에서 계산된다”고 설명했다.

스타랩은 네온이 AI를 기반으로 한 플랫폼이라고 소개했다. 모든 인공 인간은 일반적으로 비슷한 행동을 하고 기능에 따라서만 분류된다. 만약 소비자가 다른 분야에서 사용하고 싶다면 다른 성능을 가진 네온을 구입하면 된다.

네온은 특정 역할을 부여받은 뒤에는, 그 분야에 특화된다. 예를 들어 소비자가 네온을 승무원으로 사용하고 싶어하면 네온은 승무원에 최적화된 기능을 학습한다. 네온을 은행원으로 설정하면, 네온은 관련 분야에 특화된다. 

◆인공 인간, 어떻게 만들어졌을까

네온에는 스타랩이 직접 개발한 소프트웨어 ‘코어R3’(CORE R3)가 탑재됐다. 미스트리 대표는 R3를 현실(Reality), 실시간(Real time), 즉각 반응하는(Responsive) 등 세 단어의 앞 글자를 따 이름을 만들었다. 이날 미스트리 대표는 태블릿PC에 설치된 코어R3를 이용해 네온 제작 과정을 시연했다. 버튼을 조작하면 네온이 표정을 바꾸고 몸을 움직인다.

미스트리 대표는 “코어R3는 인간의 모습, 행동, 상호 작용 방식에 대해 광범위하게 훈련을 받았다”고 설명했다. 코어R3의 대기시간과 응답속도는 몇 밀리 초 미만으로, 네온은 실시간으로 반응하고 응답할 수 있다. 미스트리 대표는 “코어R3는 일반적인 인식 수준을 넘어서 실제와 같은 현실을 계산할 수 있다”고 말했다.

네온은 비디오 캡쳐를 기반으로 한다. 기존 소스를 활용해 새로운 인공 인간을 만들어내는 것도 가능하다. 네온은 실제 사람을 모델로 할 수는 있으나 얼굴을 새로 만들어준다는 점에서 딥 페이크와 근본적으로 다르다. 영상은 사람의 음성에 반응해 실시간으로 합성된다. 예를 들어 사용자가 네온에게 “미소를 지으라”고 명령하면, 네온은 이를 인식하고 미소를 짓는다.

미스트리 대표는 개인정보 보호 등 윤리적인 지점을 고려해 두고 코어R3를 설계했다고 설명했다. 최첨단 보안 프로토콜을 사용해 정보를 보호하며 허가 없이 개인정보를 공유하지 않는다는 것이 설명이다. 미스트리 대표는 “프라이버시는 네온의 핵심”이라며 “네온이 딥 페이크에 악용되는 문제는 발생하지 않을 것”이라고 말했다.

◆네온, 향후 어떻게 쓰일까

다만 네온은 실물 로봇으로는 나오지 않을 전망이다. 스타랩 개발자 안젤라는 “네온은 앞으로도 스크린 안에 남겨둘 생각이지만, 다른 플랫폼으로 네온을 이식하는 건 어렵지 않을 것”이라고 말했다. 네온은 스마트폰 안에 넣을 수 있고, 집에 있는 IT기기나 광고판, 스마트 미러 등 다양한 기기에 이식할 수 있다. 미스트리 대표는 “네온은 두뇌만 있다고 생각하면 된다”고 말했다.

네온 상용화에는 시간이 걸릴 것으로 보인다. 네온은 현재 완성본이 아니다. 미스트리 대표는 “네온 완성본은 올해 말에 공개할 예정”이라며 “앞으로 네온에 지능과 감정을 더해 실제 사람과 더 가까운 모습을 구현할 것”이라고 말했다.

구체적인 활용 사례도 아직 공개되지 않았다. 미스트리 대표는 네온이 배우나 앵커, 교사, 승무원 등의 역할을 할 수 있다고 전망했다. 서비스 부문에서 활발하게 사용될 것으로 보인다. 특히 인간과 직접 소통하는 AI로서 역할을 많이 할 것으로 기대되고 있다. 개발자 안젤라는 “네온이 단순한 질문에 답만 하는 용도로 쓰이는 걸 바라지 않으며, 앞으로 네온이 사람과 직접 소통하는 인공 인간이 되기를 바란다”고 말했다. 

스타랩은 앞으로 네온에 탑재될 새로운 기술인 ‘스펙트라’(Spectra) 개발에 주력할 예정이다. 스펙트라는 AI의 학습, 감정, 기억을 담당하는 기술이다. 미스트리 대표는 올해 말 열리는 ‘네온월드 2020’ 행사에서 스펙트라를 공개할 예정이라고 밝혔다.