By MORGAN MEAKER, WIRED UK

에리카는 유튜브에 접속해, 매사추세츠주의 변호사 선임 비용을 자세히 알아보고 있다. 다스 박사는 영국에서 개인 의료 보험을 판매한다. 제이슨은 페이스북에서 프랑스와 프랑스가 과거에 식민 지배를 했던 국가 중 한 곳인 말리와의 관계를 주제로 한 거짓 정보를 유포한다. 그리고 개리는 암호화폐 스캠 설명을 포함하여 어느 한 기업 CEO를 사칭한 혐의가 적발되었다.

앞서 언급한 이들 모두 실존 인물이 아니다. 적어도 현실 세계에는 존재하지 않는다. 모두 딥페이크로 조작해, 신테시아(Synthesia) CEO 빅터 리파벨리(Victor Riparbelli)가 마구 확산되도록 한 인물이다. 런던에 본사를 둔 생성형 인공지능(AI) 기업인 신테시아가 채용한 디지털 인간은 150여 명이다. 신테시아 고객사 모두 실제 인간과 같은 화려한 디지털 인간이 스크립트를 읽도록 하려면, 기업이 실제 세계로 전달하고자 하는 대본을 입력하고 ‘생성’ 버튼을 누르기만 하면 된다.

리파벨리의 디지털 휴먼 제작 비전은 마이크로소프트 파워포인트의 화려한 대체 프로그램이 되어 기업 직원 교육을 진행하고, 기업 홍보물에 약간의 활력을 더하는 것이다. 그러나 신테시아의 딥페이크는 기업의 활용 사례를 넘어선 영역에서도 매력을 발견했다. 신테시아의 딥페이크는 논란이 된 사용자의 시선도 끌어, 세계 각지에서 디지털 아바타를 거짓 정보 유포나 암호화폐 사기에 악용한 사례가 등장했다.

리파벨리는 “신테시아는 많은 일을 했다. 신테시아의 노력이 완벽하다고 주장할 수는 없다. 신테시아의 딥페이크의 역할은 계속 진화한다”라고 말했다.

리파벨리가 직면한 과제는 앞으로 발생할 문제의 전조이다. 여러 기업이 합성 미디어를 상용화하자 생성형 AI는 틈새를 공략한 차별화된 서비스에서 수요에 따라 사용할 수 있는 맞춤형 툴이 되었다. 그와 동시에 악의를 지닌 세력이 딥페이크 기술을 악용한다. 테크 업계를 선도하는 기업이 딥페이크가 앞으로 더 일으킬 문제를 막을 방법을 찾아야 한다. 또, 기업의 자사 AI 기술 문제의 책임을 질 것인지 혹은 자사 기술을 배포한 여러 플랫폼으로 책임감을 떠넘길 것인지 답해야 한다.

윤리적 영상 사용에 주력하는 비영리 단체 위트니스(Witness) 전무인 샘 그레고리(Sam Gregory)는 “이미지, 영상, 오디오 제작 과정 전반의 책임감을 결정해야 할 시점에 이르렀다”라고 말했다.

신테시아는 항상 생성형 AI 업계의 가장 어려운 활동에 포함된 기업으로 거론되지 않았다. 리파벨리는 신테시아 공동 창립자와 함께 지난 6년간 카메라 장비가 전혀 없어도 영상을 제작할 방식을 개발한다는 목표를 추구하면서 주목받으려 온갖 노력을 했다. 현재 31세인 리파벨리는 2017년 창립 당시 신테시아에 큰 관심을 보인 투자자가 적었다고 전했다. 이후 챗GPT가 출시되었다. 이후 덴마크 출신 CEO인 리파벨리는 갑자기 2014년부터 알파벳 소유가 된 기업이자 챗GPT 경쟁 챗봇 개발 작업 중인 딥마인드(DeepMind), AI 기반 이미지 생성 툴 스테이블 디퓨전(Stable Diffusion) 개발사인 스테이빌리티 AI(Stability AI) 창립자 등과 함께 런던의 신흥 AI 엘리트로 주목받았다.
 
2023년 6월, 신테시아는 투자금을 조달하여 시가총액 10억 달러를 기록했다. 오픈AI가 2023년 5월 자로 시가총액 290억 달러를 기록한 것과 비교하면 적은 편이지만, 신테시아가 마지막으로 투자금을 받은 2년 전 시가총액 7억 달러보다는 성장하였다.

필자는 줌을 통해 리파벨리와 대화했다. 리파벨리는 덴마크 섬에서 가족 여행을 즐기던 중 화상회의에 참석했다. 화면 너머로 리파벨리가 어린 시절 종종 사용하던 벙크 침대가 보였다. 코펜하겐에서 자란 리파벨리는 게임과 일렉트로닉 음악을 통해 컴퓨터에 관심을 두게 되었다. 리파벨리는 과거를 돌아보면서 클럽이나 음악으로 유명한 곳이 아닌 덴마크에서는 노트북만으로 테크노 음악을 제작할 수 있다고 생각한 것이 자신의 진로에 큰 영향을 미쳤다고 전했다. 리파벨리는 “할리우드에서 생활하고, 음반 산업에 종사하는 아버지가 계시는 것보다는 훌륭한 음악을 제작해 사운드클라우드나 유튜브에 제작하는 것이 훨씬 더 중요했다”라고 말했다. 마찬가지로 리파벨리는 영상 제작 시 많은 장비가 필요하다는 점에서 영상 제작 작업을 위해 갈 길이 멀다고 확신한다. 이어, “영상 제작 작업은 비용 부담이 크기 때문에 본질적으로 제한 사항이 있다”라고 전했다.

리파벨리는 대학 졸업 후 덴마크 스타트업 무대에 뛰어들면서 회계 소프트웨어와 같이 자신이 기본 기술이라고 설명하는 기술을 개발했다. 하지만 기본 소프트웨어 개발 작업에 만족하지 못하고, 공상과학 요소가 더 많은 무언가를 모색하고자 런던으로 이주했다. 리파벨리는 암호화폐와 가상현실(VR) 프로젝트를 접한 뒤 딥페이크 관련 글을 읽기 시작했다. 이후 딥페이크의 잠재력에 매료되었음을 깨닫게 되었다. 2017년, 동료인 데인(Dane), 스테픈 트제릴드(Steffen Tjerrild), 컴퓨터 비전 교수 루데스 아가피토(Lourdes Agapito), 마티아스 니스너(Matthias Niessner)와 협력하여 신테시아를 공동 창립했다.

신테시아 창립 후 6년간 디지털 아바타를 대거 모은 라이브러리를 생성했다. 신테시아의 아바타는 성별, 피부색, 유니폼 등 다양한 요소를 선택할 수 있다. 최신 유행의 영향을 받은 이들과 콜센터 근무자가 있다. 산타의 모습을 인종마다 제작할 수 있다. 신테시아 플랫폼 내부에서는 고객사가 아바타의 구사 언어와 억양, 그리고 대본 내용을 읽는 중 눈썹을 치켜올릴 시점 등 다양한 요소를 맞춤 설정할 수 있다. 리파벨리는 신테시아의 아바타 중 알렉스(Alex)라는 아바타를 가장 좋아한다고 밝혔다. 알렉스는 전형적인 미를 갖추었으나 20대 중반처럼 보이면서 중단발인 갈색 머리를 한 평범한 듯한 모습을 했다. 알렉스는 길거리 행인으로 마주칠 법한 실존 인물의 모습을 반영하여 제작된 아바타이다. 신테시아는 자체 제작 스튜디오에서 촬영한 배우 영상을 이용해 자사 알고리즘을 훈련했다.

신테시아 내부에서 직접 생성한 데이터를 소유한 점이 투자자의 이목을 집중시켰다. 신테시아의 최근 투자금 조달 라운드를 주도한 벤처 캐피털 기업 액셀(Accel)의 파트너 필립 보테리(Philippe Botteri)는 “기본적으로 신테시아 알고리즘에 필요한 것은 3D 데이터이다. 디지털 아바타 생성 작업은 인간의 움직임과 말하는 방식을 파악하는 것과 연결된 중요한 작업이기 때문이다. 이 부분에서 특수 데이터세트를 보유하는 것이 가능한 일이 아니다”라고 말했다.

현재 리파벨리는 판도를 뒤바꿀 혁신적인 기술 비전과 함께 오늘날 고객과의 계약 시 사소한 작업을 함께 논의할 수 있다는 점에서 보기 드문 유형의 기업가이다. 리파벨리는 신테시아의 사내 정신이 “새로움보다는 유용성”이라고 설명했다. 그는 “단순히 멋진 시연용 기술을 제작하는 것이 아니라 실제 기업 가치를 보유한 현실 세계의 시장을 위한 기술 개발이 매우 중요하다”라고 말했다. 현재 신테시아의 고객사는 5만 곳이 넘는다. 그러나 리파벨리는 누구나 글을 이용해 영상 장면을 설명하고는 AI가 생성하는 영상을 보도록 하는 기술도 개발하고자 한다. 리파벨리는 “눈앞에 다양한 영상이 있고, 각각의 영상에 보여주어야 할 장면을 설명할 수 있다고 상상해 보아라. 개인적으로 원하는 기술이 지원하는 기능이다”라고 전했다.

하지만 먼저 신테시아의 기술이 극복해야 할 문제가 있다. 현재 신테시아 연구·개발 부서는 리파벨리가 칭하는 ‘근본적인 AI 기술’에 주력한다. 신테시아의 아바타는 눈에 보이지 않는 움직임이 제한된 의상에서 벗어나지 못하여 아바타의 팔을 자유롭게 움직일 수 없다. 그리고 놀랍게도 디지털 아바타가 통제 없이 널리 확산되도록 할 때는 문제가 발생할 수밖에 없다. 신테시아의 아바타는 수년간 몇 년간 SNS에서 뉴스 앵커의 모습으로 위장하여 거짓 정보를 작성한 스크립트를 읽도록 악용되었다. 특히, 유독 독재자처럼 보이는 디지털 아바타인 제이슨을 거짓 정보 유포에 악용한 사례가 많았다.

2021년 12월, 제이슨이 말리 정치와 관련된 페이스북 페이지에 등장해, 사실 검증 작업자가 프랑스의 말리 정치 개입 주장을 두고 거짓이라는 의혹을 제기하도록 했다. 그리고 2022년 말, 제이슨이 다시 등장하여 미국의 총기 폭력 범죄 대응 실패를 맹비난했다. SNS 분석 기업 그래피카는 제이슨의 총기 사고 언급 영상 배후로 친중 성향의 봇 네트워크를 지목했다. 2023년 1월, 많은 이들이 신테시아의 아바타 여러 개가 부르키나파소의 군사 쿠데타 지지 발언을 한 영상이 등장한 사실을 알아차렸다. 2023년 3월, 사실 검증 전문가가 신테시아와 관련된 또 다른 영상이 베네수엘라에 확산된 것을 두고 경각심을 제기했다. 베네수엘라에서는 대런이라는 디지털 아바타가 베네수엘라의 빈곤층 비율이 과장되었다는 거짓 주장을 펼친 영상이 널리 확산되었다. 해당 영상은 니콜라스 마두로 베네수엘라 대통령을 지지하는 계정이 강조했다. 2023년 4월, 캘리포나이 금융 규제 당국은 신테시아의 디지털 아바타 개리가 합법적인 어느 한 기업 CEO를 사칭한 채로 암호화폐 스캠에 동원된 사실을 발견했다.

지금까지 신테시아는 거짓 정보를 유포한 영상 문제의 책임을 졌다. 리파벨리는 신테시아가 디지털 아바타의 거짓 정보 확산 우려가 부각되자 문제에 대응할 변화를 적용했다고 거듭 강조했다. 리파벨리는 “가장 최근 적용한 변경 사항 중 하나는 기업 소유 계정만 뉴스 콘텐츠를 제작할 수 있다는 조건을 추가한 것이다”라며, 기업 계정 운영자 신원도 신테시아 관계자가 직접 확인한다고 설명했다. 리파벨리는 2023년, 신테시아의 콘텐츠 관리 담당 직원을 4배 증원했다고 밝혔다. 2023년 2월 기준 네 명이었던 콘텐츠 관리 담당자는 현재 전체 직원 230명 중 10%로 증가했다. 리파벨리는 AI가 테크 업계의 기존 콘텐츠 관리 반응 방식을 더 광범위한 영역에서 생각할 수밖에 없도록 한다고 믿는다.

리파벨리는 “콘텐츠 관리자는 그동안 콘텐츠 배포 시점에 작업했다. 마이크로소프트 오피스는 사용자가 공포를 불러일으킬 대상을 다룬 파워포인트나 끔찍한 주장을 담은 워드 문서 작업을 막은 적이 없다. 하지만 AI와 딥페이크 등과 같은 기술이 매우 강력하다는 점에서 지금 당장 콘텐츠 관리 작업은 날이 갈수록 콘텐츠 제작 과정을 다루는 작업으로 바뀌고 있다. 바로 신테시아가 거짓 정보 확산과 같은 문제를 막고자 펼치는 노력이기도 하다”라고 설명했다.

신테시아는 사용자가 자사 서비스 약관을 위반한 콘텐츠를 생성하지 못하도록 막는다. 악의적인 의도로 접근하는 사용자가 악성 스크립트를 작성할 수도 있다. 그러나 리파벨리는 인간과 알고리즘 관리 체계를 결합한다면, 딥페이크가 악성 스크립트를 읽지 못하도록 할 수 있다고 주장한다. 신테시아의 서비스 약관에는 디지털 아바타를 정치나 종교, 인종, 성 관련 사항을 논의하는 데 이용할 수 없다는 조건이 명시되었다. 그레고리 전무는 “인권 운동가의 관점에서 보면, 신테시아는 개인적으로 원하는 것보다 더 많은 제한 사항을 적용했다”라고 평가했다. 다만, 신테시아는 SNS 플랫폼과 같은 수준으로 표현의 자유를 책임지지 않으므로 일부 측면에서 제한 사항을 적용하는 것이 영리하다고 덧붙였다. 이와 관련, 그레고리 전무는 “SNS 플랫폼과는 달리 제대로 콘텐츠를 관리할 수 없으며, 거짓 발언 대상이 될 수 있는 정치와 사회적 발언 등 포괄적인 범위에서 콘텐츠를 관리하는 것이 주력 사업이 아니기 때문이다”라고 전했다.

리파벨리가 원하는 디지털 아바타를 추구하려면, 제대로 된 콘텐츠 관리가 핵심이 될 것이다. 리파벨리는 합성 영상이 인쇄물에서 온라인으로 텍스트 활용 영역이 진화한 과정을 반복하기를 바란다. 리파벨리는 “최초의 웹사이트는 모니터 화면에 등장한 신문처럼 보였다. 당시 인간이 상상할 수 있는 범위였기 때문이다. 이후 인간이 링크, 음성 파일, 영상 등을 첨부할 방식을 찾고, 모든 사용자를 위한 개인 맞춤 뉴스피드를 제작하는 과정까지 웹사이트가 진화했다. 영상도 같은 과정을 따라 진화하기를 바란다”라고 말했다.

그렇다면, 신테시아의 딥페이크에는 진화가 의미하는 바가 무엇일까? 이에, 리파벨리는 “개인 맞춤과 같은 요소가 딥페이크의 진화 요소임은 분명하다. 그리고 상호작용이 중요해질 것으로 본다. 단순히 영상을 보는 것을 넘어서 AI와 줌으로 화상회의를 하는 것과 더 비슷한 수준으로 영상이 발전할 수 있다고 생각한다”라고 답변했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
This AI Company Releases Deepfakes Into the Wild. Can It Control Them?