애플이 페이스 아이디를 공개한 지 6년이 조금 넘는 시간이 지났다. 페이스 아이디는 최초 공개 당시 얼굴 스캔만으로 아이폰 잠금 해제, 구매 인증을 할 생체 정보의 새로운 활용 방식이었다. 그러나 지금까지 안드로이드 기기에는 페이스 아이디에 대적할 만한 의미 있는 인증 기술이 배포되지 않았다. 적어도 보안, 기능 측면에서 페이스 아이디와 같은 기술이 배포된 적이 없었다.
구글 픽셀 8은 페이스 언락(Face Unlock) 기능을 지원하지만, 어두운 곳에서는 제 역할을 하는 데 문제가 있다. 삼성 스마트폰에서도 사용할 수 있는 페이스 언락은 뱅킹 앱과 같은 보안이 필요한 여러 애플리케이션에 적용할 수 없다. 안드로이드 세계에서는 지문 인식 기술이 최고의 보안 관리 기술이다. 하지만 안드로이드 기기에서 제대로 된 안면 인식 기술을 사용할 수 없었으며, 지문 인식 기술이 최고의 보안 기술이었던 시대는 곧 끝날 것으로 보인다.
광학 메타표면(optical metasurfaces)이라는 광학 기술을 선도하는 미국 스타트업 메타렌즈(Metalenz)는 폴라 아이디(Polar ID)라는 이름으로 안드로이드 기기의 보안 수준이 훌륭한 안면 인식 기술 개발 작업을 진행 중이다. 2023년 말, 메타렌즈는 퀄컴과 협력 관계를 체결하여 폴라 아이디에 퀄컴의 플래그십 프로세서를 탑재한다고 공식 발표했다. 2024년 2월 26일(현지 시각), 바르셀로나에서 개최된 MWC 2024 현장에서는 삼성의 아이소셀 비전 931(Isocell Vizion 931) 이미지 센서를 이용하여 이미지 시스템 역량을 제공한다고 발표했다.
필자는 보스턴에 있는 메타렌즈 본사에 방문하여 폴라 아이디를 처음 살펴보았다. 폴라 아이디 시스템은 개발 초기 단계에 있으며, 메타렌즈는 현재 안면 인식 머신러닝 알고리즘을 개선하고자 데이터를 다량으로 수집하고 있다. 그러나 2024년 중으로 테스트 목적으로 여러 스마트폰 제조사에 개발 키트를 전송할 계획이다. 이르면 2026년 초에 출시되는 스마트폰에 안드로이드 버전 페이스 아이디와 같은 시스템 혹은 애플보다 더 나은 안면 인식 시스템이 탑재될 수 있다는 의미이다.
새로운 광학 기술
메타렌즈는 하버드대학교 연구 기업에서 분리되어 CEO 로버트 데브린(Robert Devlin)과 물리학자 페데리코 카파소(Federico Capasso)가 설립한 기업이다. 필자는 2021년, 메타렌즈가 비밀리에 등장했을 당시부터 메타렌즈가 개발하는 기술 관련 소식을 보도했다. 바로 메타렌즈가 자체 개발 기술인 ‘메타표면’ 기술을 공개한 때이기도 하다. 메타표면 기술은 오늘날 대다수 스마트폰에서 사용하는 기존 멀티렌즈 요소보다 차지하는 공간이 훨씬 더 적은 평면 렌즈 시스템이다.
예를 들어, 아이폰14 프로는 글래스나 픽사 글래스 층으로 구성된 렌즈 7개를 카메라 센서 위에 쌓았다. 다양한 렌즈 요소를 택하면, 이미지 선명도가 개선되면서 더 많은 빛을 포착하고, 이미지 가장자리에서 여러 색상을 볼 수 있는 색 수차(chromatic aberration)와 같은 문제도 수정할 수 있다. 메타렌즈의 메타표면은 나노구조를 사용하여 카메라 센서로 향하는 광선을 굴절시켜 여러 렌즈가 수행하는 작업을 훨씬 더 적은 공간에서 처리하는 싱글 렌즈이다.
2022년, 메타렌즈는 메타표면의 편광 데이터 포착 능력을 선보였다. 빛이 형태와 구체적인 물질 구성요소를 지닌 사물과 접촉하면, 편광 현상이 발생하여 모든 사물이 고유의 편광 신호를 생성한다. 필자가 다른 기사에 작성한 바를 다음과 같이 반복하고자 한다. “도로 측면의 일반적인 투명한 색상의 얼음에서 반사한 빛의 파장은 검은색 얼음에서 반사된 빛과 다른 진동을 생성한다. 카메라가 빛의 파장 진동 차이 정보를 포착한다면, 컴퓨터 비전 머신러닝 알고리즘에 주입하여 검은색 얼음과 투명한 얼음 간 차이를 학습할 수 있다. 이제 차량은 운전자에게 전방의 위험 요소를 알릴 수 있다.”
폴라 아이디에 적용된 원리이다. 메타렌즈는 편광 신호를 바탕으로 얼굴 인증을 할 수 있는 시스템을 개발 중이다. 안면 인식으로 편광 신호를 묶고, 시스템은 의료용 마스크나 선글라스 착용 여부를 떠나 사용자를 인식하고는 보안 인증을 마칠 수 있다. 더 나아가 사용자 사진이나 3D 마스크를 이용하여 안면 인식 시스템을 속이려는 시도도 탐지할 수 있다. 사용자 피부의 편광 신호와 일치하는 정보가 필요하다.
[사진=Pixabay]
애플의 페이스 아이디 접근 방식은 많은 공간을 차지하는 고가 모듈인 구조화된 빛 전송기를 이용한다. (결과적으로 아이폰 디스플레이에 두꺼운 노치나 필이 적용될 수밖에 없다.) 페이스 아이디의 기술은 애플이 2013년 인수한 기업인 프라임센스(PrimeSense)가 개발한 기술을 바탕으로 한다. (프라임센스는 마이크로소프트의 키네틱에 적용된 3D 센서 개발사이기도 하다.) 데블린은 애플이 페이스 아이디 기술과 관련하여 몇 가지 핵심 특허를 보유했다고 전했다. 여러 경쟁사가 페이스 아이디에 맞설 기술을 개발하기에는 장벽이 높은 이유이다. 일부 안드로이드 제조사가 수년간 애플 페이스 아이디와 같은 기술을 자체 개발하고자 했으나 페이스 아이디와 같은 안면 인식 기술을 적용하기에는 너무 복잡하면서 비용 부담이 크다는 문제도 있다.
데블린은 “안드로이드 커뮤니티에서 페이스 아이디와 같은 기술을 적용하고자 하는 바람은 여전하다. 안면 인식 기술을 간절히 원하여 지금은 사용자에게 기기 잠금 해제 방식의 발전 수준이 낮은 해결책으로 두며, 사용자는 종종 안면 인식 기술의 보안을 알지 못한다”라고 말했다.
애플의 페이스 아이디 시스템은 트루뎁스(TrueDepth) 셀프카메라로 사용자 얼굴 2D 이미지를 포착하는 방식에서 시작했다. 트루뎁스 카메라는 페이스 아이디 설정 시 사용자가 애플에 제공한 이미지 속 인물과 인증을 시도하는 인물이 같은 사람임을 인증하기 위해 적용되었다. 이후 구조화된 빛 전신기가 사용자 얼굴에 적외선 점 3만 개를 발사하여 3D 렌더링 이미지를 생성하고는 얼굴 윤곽을 비교하는 방식으로 바뀌었다. 의료용 마스크를 착용한 상황과 같이 얼굴을 제대로 확인하기 어려울 때는 안면 이미지와 비교할 데이터 포인트가 줄어들어 안면 인식 정확도가 감소한다.
데블린은 폴라 아이디의 해상도가 10배 더 높은 40만 픽셀이라고 전했다. 폴라 아이디가 스마트폰 셀프 카메라를 대체하지 않고, 셀프 카메라 옆에 적용된다는 점에 주목할 만하다. 기존 카메라로는 편광 데이터를 포착할 수 없으나 메타표면 기술로는 편광 데이터 정보를 포착하고는 이미지 센서로 전송하여 안면 이미지를 재구성할 수 있다. 구조화된 빛 모듈은 필요하지 않다. 대신, 폴라 아이디는 조명 조건이 어떤 상황이든 근적외선 빛으로 안면 사진을 포착하는 투광조명기(flood illuminator)를 사용한다. 시스템은 2D 이미지가 사용자임을 인증하고는 같은 이미지의 편광 신호를 분석하여 이미 저장한 이미지와 일치하다는 점을 확인한다.
폴라 아이디는 애플의 안면 인식 기반 인증 방식보다는 인증 단계가 한 단계 더 줄어들면서 기술 개발 비용 부담과 렌즈가 차지하는 공간을 훨씬 더 줄였다. 데블린은 재룟값이 최고치로 인상될 때 애플이 사용하는 구조화된 빛 전송기 비용이 14달러 수준이라고 전했다. (스마트폰을 구성하는 개별 구성요소 비용이다.) 그리 비싸지 않다고 느낄 수도 있으나 소량인 메타렌즈 시스템의 부품 비용은 5달러 안팎이다. 애플이 메타렌즈 시스템으로 변경한다면, 수십억 달러를 절감할 수도 있다.
메타렌즈 시스템은 스마트폰 프로세서와 이미지 센서 생산 현장과 같은 칩 공장에서 생산되어 공급망을 더 간소화할 수도 있다.
메타렌즈의 광학 기술은 이미 오늘날 스마트폰에서 찾을 수 있다. 메타렌즈는 2022년, ST마이크로일레트로닉스(STMicroelectronics)와 협력 관계를 체결하여 메타표면을 ST마이크로일레트로닉스의 ToF 센서에 적용했다. ToF 센서는 심도 정보를 포착하여 초상화 모드와 같은 이미지 특성을 개선할 때 보편적으로 사용하는 센서이다.
제품 분해 결과로도 구글 픽셀 8, 삼성 갤럭시 S23 등이 메타렌즈의 광학을 사용한다는 사실이 확인됐다. 이전에는 8가지 렌즈 요소가 필요했으나 이제는 2가지 요소만 사용한다. 하나는 거리 측정을 위해 레이저를 전송하고, 나머지 하나는 레이저를 받는다. 메타렌즈는 자사 제품이 심도 감지 범위와 정확도를 개선한다고 주장한다. 또, 메타렌즈는 중국 안면 인식 기술 기업 디루센스(Dilusense)와 협력하여 주로 안면 인식 기술을 결제 과정에 사용하는 결제 키오스크에 적용할 기술을 개발 중이다.
페이스 아이디와의 경쟁 준비
필자는 메타렌즈의 보스턴 사무실에 방문했을 때 3D 안면 마스크 여러 개가 배치된 방에 앉았다. 영화 미션 임파서블을 통해 보았을 법한 공간과 같았다. 메타렌즈는 폴라 아이디 시스템을 스마트폰에 연결하고 삼성 아이소셀 비전 931 센서로 완성했다. 데블린은 아이소셀 비전 931 센서가 편광 데이터 포착 시 필요한 파장을 최적화한다고 설명했다.
아이폰으로 페이스 아이디를 설정하듯 폴라 아이디에도 얼굴을 등록할 수 있다. 원형 모드로 얼굴을 회전하면서 시스템이 다양한 각도에서 얼굴 이미지를 포착하도록 하기만 하면, 폴라 아이디 등록을 마칠 수 있다. 안드로이드 기기 제조사가 메타렌즈의 기술 사용 라이선스 계약을 체결한다면, 폴라 아이디 설정 과정은 안드로이드 기기 제조사 소프트웨어와 같은 방식으로 맞춤 설계될 확률이 높다. (어쩌면, 폴라 아이디가 아닌 다른 이름으로 부를 수도 있다.)
데블린은 액세서리 몇 개를 착용하면서 시스템 효율성을 보여주었다. 데블린은 자신의 얼굴을 바탕으로 제작한 고급 3D 마스크를 착용한 채로 폴라 아이디 시스템을 속이려 했다. 데블린은 메타렌즈의 자체 테스트 단계에서 3D 안면 모델을 바탕으로 제작한 고품질 3D 안면 마스크로 픽셀 8 페이스 언락 기능을 속일 수 있었다고 전했다. 메타렌즈는 3D 안면 마스크를 이용한 보안 인증이 구글 보안 스펙과 일치한다고 설명했다. 반면, 애플의 보안 표준상 3D 스캔은 인증되지 않는다. 그러나 데블린이 의료용 마스크를 착용했을 때 폴라 아이디는 아무 문제 없이 안면 인식 기술로 사용자 인증을 마쳤다.
필자도 폴라 아이디를 직접 사용해 보았다. 얼굴을 스캔했으나 폴라 아이디는 필자의 얼굴을 인식하는 과정에서 어려움을 겪었다. 시스템의 일부 제한 사항을 비활성화 상태로 전환하니 필자의 얼굴을 한정적인 각도에서 인식할 수 있었다. 하지만 필자의 얼굴을 그대로 구현한 3D 안면 마스크를 착용했을 때는 안면 인식이 제대로 되지 않았다. 의료용 마스크를 착용했을 때도 얼굴이 제대로 인식되지 않았다.
데블린은 현재 적용한 모델에 실수에 경계하도록 변수가 적용되었다고 설명했다. 필자의 얼굴을 제대로 인식하지 못한 이유로 추측할 수 있는 부분이다. 현재 메타렌즈는 등록 과정에서 페이스 아이디만큼 다양한 인물의 얼굴을 포착하지 않은 상태이다. 하지만 이는 개발 과정이 계속되면서 달라질 것이다.
게다가 메타렌즈에는 자사 알고리즘을 훈련한 다양한 인물의 얼굴 데이터세트가 없다는 점도 안면 인식 한계를 더하는 요소이다. 데블린은 “매우 강력한 안면 인식 모델을 확보하고자 메타렌즈가 지금까지 개발 작업에 사용한 데이터 세트와 다양한 인물 이미지는 기존 RGB 안면 인식 모델이 보유한 데이터 세트와 비교하면, 매우 적은 편이다”라고 말했다. 메타렌즈는 알고리즘을 개선하고자 더 많은 데이터를 수집할 목적으로 외부 공급사, 위탁 판매 기업 여러 곳과 협력 중이다.
특히, 편광 데이터 측면에서 데이터 부재는 메타렌즈가 안면 인식 기술에 우선 집중하는 부분적인 이유라고 분명히 말할 수 있다. 폴라 아이디 이미지 시스템을 스마트폰에 적용한다면, 더 광범위한 데이터 세트에 접근하면서 메타렌즈의 편광 기술로 다양한 범주를 논의하기 시작할 수 있다.
이론상 스마트폰 카메라로 암 발병을 감지하고자 피부를 확인하거나 대기 중 입자를 살펴보면서 대기질을 측정할 수도 있다.
데블린은 “글루코스도 매우 특정한 편광 신호를 보유했다. 메타렌즈는 다양한 사용 사례를 생각한다. 안면 인식 기술 목표를 달성하기 위해 매우 좋은 부분이다. 안면 인식 기술을 사용한 적이 있는 사용자의 편광 데이터를 최대 규모로 확보할 수 있다. 편광 데이터를 최대한 확보하면서 등장할 것으로 생각하는 또다른 사용 사례는 최초로 기기에 편광 데이터를 사용하면서 등장하는 흥미로운 사용 사례이다”라고 말했다.
데블린은 폴라 아이디가 포착하는 데이터 모두 암호화가 적용되어 퀄컴 칩셋의 신뢰할 수 있는 환경에 저장한다는 점을 거듭 강조했다. 스마트폰 제조사와 사용자 모두 데이터 공유에 동의한다면, 매번 안면 인식으로 기기 잠금을 해제할 때마다 스캔한 안면 이미지를 메타렌즈의 데이터베이스 개선, 확장을 위해 사용할 수 있다. 폴라 아이디 시스템은 시간이 지나면서 기기에서 사용자가 사용하는 횟수가 증가함에 따라 개선될 것이다.
그러나 고유 편광 신호가 존재한다고 가정한다면, 어떨까? 공공 보안 카메라에도 메타렌즈가 구상한 것과 같은 편광 수집 기술이 적용된다면, 행인의 신원을 확인할 수 있지 않을까? 이에, 데블린은 공공 보안 카메라와 같이 먼 거리에서 얼굴을 인식하라 때는 해상도가 높아야 한다고 말하면서 공공 보안 카메라에 편광 기술이 적용되더라도 시민의 신원을 정확히 확인할 일은 없을 것이라고 답변했다.
데블린은 안드로이드 기기에 메타렌즈의 기술이 채택될 때는 안면 인식 기술만큼 보안 수준이 우수하지 않은 지문 인식 기술 시대가 막을 내릴 것으로 예상한다. 그는 “폴라 아이디를 안드로이드 기기에 적용하고 꾸준히 개선한다면, 비교적 저렴한 센서를 이용하여 페이스 아이디를 상대로 경쟁할 만한 안면 인식 모델을 얻게 될 것이다”라고 말했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Pixabay]](/news/photo/202403/5417_7009_4830.jpg)
뉴스레터 신청