본문 바로가기 주메뉴 바로가기 검색 바로가기
스스로 ‘딥페이크 목소리’ 제작한 가수...”딥페이크 기술, 누구나 사용해야 한다” 주장
상태바
스스로 ‘딥페이크 목소리’ 제작한 가수...”딥페이크 기술, 누구나 사용해야 한다” 주장
By AMOS BARSHAD, WIRED UK

자칭 ‘컴퓨터 뮤지션’인 홀리 헌든(Holly Herndon)은 가장 최근 개발한 창작 기술의 제작 의도가 타인을 소름 끼치게 하는 것이 전혀 아니었다고 맹세한다. 헌든이 가장 최근 공개한 기술은 적어도 이론상 무제한으로 생성할 수 있는 인공지능(AI) 기반 음성 복제 작품이다. 헌든은 베를린 자택에서 응한 전화 인터뷰 도중 “누군가를 겁먹게 할 의도는 전혀 없었다”라고 말하며, 웃었다. 이어서 “실제 의도는 인간을 놀라게 하는 것과는 전혀 반대되는 의도였다”라고 덧붙였다.

홀리+(Holly+)라는 이름으로 활동하는 음성 복제 가수는 헌든의 목소리로 노래하면서도 무엇이든 노래할 수 있다고 강조한다. 헌든은 테드 토크 강연에서 자신이 구사할 수 없는 언어로 노래하는 홀리+의 모습을 보여주었다. 이후 동료 가수인 PHER이 무대에 등장해 처음에는 혼자 노래를 부르더니 두 번째 마이크로 홀리+에게 자신의 목소리를 전달하고는 헌든의 목소리로 노래를 불렀다. 그리고 마이크 두 개를 동시에 들고 홀리+와 듀엣 곡을 불렀다. 헌든은 누구나 홀리+를 활용하고 협업할 수 있다고 전했다. 또, 여러 아티스트가 이미 홀리+에게 협업 요청을 했다고 밝혔다.

헌든은 “딥페이크 기술을 두고 무시무시한 탈이상주의라고 주장을 펼치는 이들이 있다. 하지만 다른 측면에서 이야기하고자 한다. 딥페이크 기술 활용을 기회라고 본다”라고 말했다. 헌든은 최근, 아티스트 샘 롤페스(Sam Rolfes)가 모션 캡처 기술을 통해 홀리+의 모습을 그린 훌륭할 정도로 환상적인 영상과 함께 홀리+가 돌리 파튼(Dolly Parton)의 졸린(Jolene) 커버곡을 부르는 모습을 공개했다. 홀리+의 커버곡 영상은 독특한 과정을 제작자가 직접 나누도록 설계하는 등 놀라울 정도로 간단하게 제작됐다. 워터 +뮤직(Water +Music)의 캣 로저스(Kat Rodgers) 기자는 “홀리+의 음악을 듣고, 컴퓨터로 생성한 것과 같다는 느낌을 받는 부분을 찾으려 한다는 점이 흥미롭다”라고 평가했다. 헌든의 주장이 맞았다. 소름 끼치는 기술이 아니다. 대중문화이다.

한편으로는 경고할 만한 일이기도 하다. 이제 헌든은 자기 목소리를 딥페이크로 생성했다. 다른 아티스트도 마찬가지로 개인의 목소리를 딥페이크로 생성할 수 있다고 생각한다. 그러나 곡 작업 참여에 절대로 동의하지 않은 음악가의 목소리로 곡 작업을 할 수도 있다는 의미이다. 배우가 자신의 특성을 담은 연기력을 전부 생성하는 기계를 우려한 것처럼 이제 많은 가수가 자신의 보컬 스타일을 완벽하게 흉내 낸 기술을 원하지 않을 수도 있다. 헌든은 딥페이크 음성 사용 문제를 깊이 생각하지 않는 컴퓨터 뮤지션으로만 남는 것을 원하지 않는다.

헌든은 “걱정되는 부분이다. 아티스트와 아티스트의 지식 재산권을 법적으로 보호할 규정에 따라 지난 100년간 이어온 관행이 있다. 이제 딥페이크로 법을 준수하면서 이어온 관행을 잘못 다루게 될 수도 있다. 지금 당장 당사자와의 합의 계약 없이 음원 발매 작업을 하는 사례가 발생해, 미래에는 해당 아티스트가 스스로 음원 발매를 하는 데 어려움이 발생할 수도 있다. 많은 이들이 딥페이크 기술 시스템의 강력한 특성과 데이터 훈련 자치권이 매우 중요하다는 사실을 이해하기를 바란다. 지금 당장 받는 질문이면서도 답변이 어려운 질문이다. 기술을 올바르게 사용하는 것이 매우 중요하다”라고 말했다.
 
[사진=Holly+ Twitter]
[사진=Holly+ Twitter]

2019년, 헌든은 남편 매트 드라이허스트(Mat Dryhurst)를 포함해 정기적으로 협력하는 그룹과 공동으로 제작한 AI와의 협업으로 PROTO라는 앨범을 발매했다. 헌든의 협업 팀은 AI로 제작한 콜라보 음반을 AI로 낳은 작품이라고 칭하면서 컨설팅 데이터로 훈련한 AI 자녀로 본다. 헌든은 부모가 아기에게 먹이고자 하는 것을 생각해보았다고 밝혔다. 이후 헌든의 팀은 훈련 세트를 기준으로 미디어를 생성할 능력을 설명하기 위한 것을 낳기 시작했다. 이제 헌든의 팀이 낳는 것은 훈련 데이터의 합의 레이어를 생성하는 데 초점을 맞추는 기관이다. 사용자가 이미지 수십억 장을 검색해 개인 데이터가 AI 예술 모델 생성에 사용된 적이 있는지 확인하도록 하는 매력적인 플랫폼 HaveIBeenTrained.com의 탄생을 돕기도 했다.

헌든은 “모든 것을 오픈소스로 공개하는 것이 좋다는 오래된 생각이 있다. 타인의 유사한 모습을 이용해 무제한으로 예술 작품을 생성할 수 있다고 생각해보아라. 가장 강력한 컴퓨터를 보유한 이가 모든 것을 장악한다는 말도 안 되는 권력 불균형 문제가 발생하지 않도록 확인해야 한다”라고 말했다.

헌든은 스태빌리티(Stability), LAION 등 AI 기업과의 소통 및 협력 경험에서부터 낙관적인 생각을 하게 되었다. 헌든은 “종종 우리 인간과 사악한 AI 기업 간의 대립으로 분류됐다. 하지만 AI 기업은 AI로 문제를 해결하고자 한다. 상호합의가 이루어진 훈련 세트를 보유하고자 한다. 무언가를 선택하거나 배제하기 어려운 문제이다. 바로 아티스트를 위한 다양한 툴이 생태계 내에서 모두의 합의로 참여가 이루어지는 툴이 되도록 초점을 맞추고자 한다”라고 말했다.

헌든에게 홀리+는 스스로 훈련 세트를 사용하는 것이 개인적인 일이 될 수 있음을 제시하는 매우 좋은 수단이다. 헌든은 “아무 불편함 없이 사용할 수 있는 유일한 지식 재산권은 자신이 사용할 수 있는 대상이다”라고 언급했다.

개인이 직접 제작한 AI 홀리+가 언젠가는 주요 음반사인 캐피톨 뮤직 그룹(Capitol Music Group)이 제작한 가상 뮤지션이자 스스로 AI 래퍼라고 칭하는 FN 메카(FN Meka)와 비교하는 것을 지켜보는 일이 흥미롭다. BBC는 FN 메카가 인기 최고치를 기록했을 때는 스포티파이 월간 구독자 수 50만 명을 넘겼으며, 틱톡 계정으로 올린 콘텐츠 조회수는 10억 건을 돌파했다고 보도했다.

FN 메카가 더 유명해지면서 대중의 반발도 커졌다. 음악 업계의 변화를 추진하는 단체인 ‘인더스트리 블랙아웃(Industry Blackout)’은 FN 메카가 대대적인 편견과 흑인 아티스트의 전형적인 매너리즘이 더해진 데다가 가사에 모욕적인 표현을 추가하여 완성한 AI라고 칭하는 내용의 공개 서한을 보냈다.

2022년 여름, 미 의회는 FN 메카를 취소하고는 “의회의 부주의함에 대해 흑인 사회에 깊이 사과한다는 내용의 공식 성명문을 발표했다. 인더스트리 블랫아웃은 버라이어티에 보낸 기고 글을 통해 FN 메카가 이상하면서도 당혹스러울 정도로 실패한 AI라는 사실은 전혀 놀라운 부분이 아니라고 주장했다. 인더스트리 블랙아웃의 기고 글에는 “언젠가는 음악계 종사자 모두가 가까운 과거의 순간이 인종차별과 재정적 착취에 뿌리를 두고 있다는 사실에 맞서 싸우느라 어려움을 겪을 것이다”라는 내용이 담겨있다.

헌든의 핵심 주장을 강조하는 부분이다. 기업이 아닌 아티스트가 음악 계에서 미래의 AI 사용을 통제해야 한다. 그러나 헌든이 홀리+로 음악가에게 곧 다가올 미래를 통해 최선의 방법을 배우도록 격려하기를 희망하는 만큼 궁극적으로 야심 차면서도 창의적인 프로젝트로 본다. 헌든은 “디지털 처리 과정과 음원 처리 과정을 좋아한다. 개인적으로 절대로 접할 수 없는 보컬 체조를 하듯이 홀리+와 같이 기이하게 육체와 분리된 목소리를 소유한다는 꿈과 같은 일이 현실이 된다는 것을 의미한다”라고 말했다.

혹은 음악가가 아닌 이들이 어떠한 방법이든 원하는 방식대로 AI를 활용할 수도 있다. 물론, 홀리+가 허락하는 범위에서 가능하다. 헌든에게도 인상적인 일이다. 헌든은 “누군가가 말 그대로 나 자신이 될 수도 있다. 단, 자신이 원한다면 말이다”라고 말했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
This Singer Deepfaked Her Own Voice—and Thinks You Should Too
이 기사를 공유합니다
RECOMMENDED