본문 바로가기 주메뉴 바로가기 검색 바로가기
앤디 워홀의 일기, AI로 워홀의 목소리 재구성…왜?
상태바
앤디 워홀의 일기, AI로 워홀의 목소리 재구성…왜?
어느 한 영화감독이 오디오로 작업할 수 있는 시간은 단 4분이었다. 물론, 감독은 윤리적 문제를 우려했다.
By ANGELA WATERCUTTER, WIRED US

1982년, 어느 정도 악명이 높은 것처럼 앤디 워홀이 로봇으로 변신했다. 디즈니 이매지니어링(Disney Imagineering) 전문가가 제작한 앤디 워홀의 모습을 한 기계는 한 차례도 현실 세계에 공개된 적이 없다. 그러나 워홀은 애니메이션 기법을 적용하여 제작한 자신의 모습을 담은 로봇을 매우 좋아했다. 워홀은 과거 “기계는 인간보다 상대적으로 더 적은 문제를 일으킨다. 로봇이 되고 싶다. 다들 그렇지 않은가?”라는 말을 했다. 1987년 세상을 떠난 앤디 워홀은 예술계 거장이었으며, 로봇은 사실상 세계가 워홀을 보는 시선을 나타냈다. 로봇이 보여준 로봇은 다소 딱딱하면서도 단조로운 대화 어조를 담았다면, 워홀의 모습을 매우 자세하게 표현했다고 평가할 수 있을 것이다.

영화감독인 앤드류 로시(Andrew Rossi)도 이를 알고 있다. 로시가 워홀의 모습을 그린 인공지능(AI) 기계가 최신 넷플릭스 다큐멘터리 시리즈에 등장하도록 한 부분적인 이유이다. 동명의 저서를 바탕으로 6편으로 구성한 로시의 다큐멘터리인 ‘앤디 워홀 일기(The Andy Warhol Diaries)’에서는 워홀이 생전 작가인 팻 하켓(Pat Hackett)에게 말한 부분 중 일부분을 AI가 해설한다. AI 해설의 목소리는 실제 워홀의 목소리와 똑같다. 그리고 익히 알고 있던 워홀의 목소리가 로봇처럼 항상 단조로웠다는 사실을 기억할 것이다. 로봇의 역할은 상징성과 표면적인 수준의 외관을 둘러싼 의문을 제기하는 것이다. 로시는 워홀의 목소리를 구현한 AI의 음성을 단조로운 어조로 생성해 워홀의 이미지를 유지하면서도 로봇이라는 사실을 감쪽같이 숨겼다고 말했다. 이어, “워홀의 모습을 담은 로봇이 말할 때, 생전 워홀의 특징 일부분이면서 항상 예술 작품을 제작한 방식인 것처럼 보이도록 매우 뛰어난 역할을 이어가는 것이다”라고 덧붙였다.

그러나 여전히 AI 음성이 대중의 사랑을 받은 문화계 유명인이나 다른 인물처럼 말하는 것은 윤리적 문제에서 벗어나지 못했다. 로시는 2021년 여름, ‘앤디 워홀 일기’를 편집했다. 당시 또 다른 영화감독인 모건 네빌(Morgan Neville)이 AI를 사용해 자신의 다큐멘터리 작품 로드러너(Roadrunner)에 사용할 안소니 부르뎅(Anthony Bourdain)의 목소리를 재구성 중이었다. 로시는 AI 목소리 재구성과 관련, 앤디워홀 재단의 조언을 받았다. 부르뎅의 다큐멘터리의 권리 포기 각서 때문에 앤디 워홀 재단과 함께 ‘앤디 워홀 일기’에 단 몇 분 동안 등장하는 워홀의 목소리를 제작했다. 앤디 워홀 재단의 라이선스 총괄인 데이튼 허만(Dayton Hermann)은 “로시가 AI 음성 사용이라는 의견을 공유했을 당시 영리한 방법이라고 생각했다”라고 말했다.

‘앤디 워홀 일기’ 제작 과정은 순탄하게 흘러갔으며, 로드러너 제작팀과 같은 심각한 문제를 피했다. 많은 시청자가 처음부터 작품 속 해설 목소리가 컴퓨터로 제작한 목소리라는 사실을 알고 있다. 반면, 네빌은 초기에 딥페이크 음성을 사용한 사실을 공개하지 않았던 탓에 대중의 반발을 직면했다. 하지만 이 외에도 AI와 관련해 답변이 완료되지 않은 다른 질문도 여럿 존재했다. 로드러너에 적용된 AI 목소리는 실제로 고인이 된 셰프가 남긴 글을 읽었으나 셰프가 생전 AI 해설의 말을 전한 대상과 관련된 기록은 없다. 그러나 ‘앤디 워홀 일기’의 AI 해설 모두 워홀이 생전 남긴 적이 있는 말이다. 하켓 작가에게 했던 발언이 맞지만, 당시 워홀의 발언은 녹음되지 않았다. 로드러너가 직면한 문제가 차이를 일으키는가? 두 작품 모두 이야기하고자 하는 주인공이 고인이 됐기 때문에 AI를 사용했다. 만약, 부르뎅과 워홀 모두 고인이 아니었다면, 다른 윤리적 문제가 제기되었을 것이다. 목소리 이외에도 다른 부분도 AI로 구현했다면 어떨까? 그렇다면, 고인의 모습을 얼마나 잘 담아냈을까? AI를 포함한 다른 여러 기술은 디지털 효과가 실질적으로 전체 행동과 특성을 생성할 수 있을 정도로 개선되고 있다. 머지않아 고인의 모습 구현을 위해 AI 사용을 선택해야 하는가를 의문 사항으로 제기할 수 있다.
 
[사진=The Andy Warhol Museum Twitter]
[사진=The Andy Warhol Museum Twitter]

로시가 워홀의 목소리를 생성할 때, 의존한 기업인 리젬블 AI(Resemble AI)의 CEO인 조하브 아메드(Zohaib Ahmed)도 윤리성 문제를 깊이 생각했다. 그러나 아메드는 워홀의 목소리 제작 프로젝트 합의 계약을 체결하기 전부터 앤디 워홀 재단의 동의를 받고 AI를 사용한다는 점을 확인했다. 리젬블 AI는 통상적으로 콜센터 등 여러 기관의 자동 음성 응답과 같은 기능 제작을 위해 살아있는 인물의 목소리를 AI로 제작하지만, 여전히 엄격한 윤리 지침을 유지한다고 밝혔다. 아메드는 “’앤디 워홀 일기’는 큰 소리로 읽도록 의도한 것처럼 매우 흥미로운 방식으로 제작됐다. 작품 속에는 워홀의 목소리가 담겨있다. 앤디 워홀이 생전 남긴 작품의 추가 작품이라는 인상을 받았다. 따라서 윤리적 딜레마가 발생할 우려가 있는 요소와 관련된 작업은 하지 않는다”라고 말했다.

부르뎅의 목소리와 워홀의 목소리를 AI로 구현하는 두 가지 프로젝트는 윤리적이라고 느낄 수 있지만, 실질적으로 쉽지 않다. 워홀의 목소리는 워홀의 모습 자체를 담아냈다. 단조로운 어조로 말하며, 피츠버그에서 태어나고 자라면서 뉴욕에서 예술가 생활을 한 워홀이라는 인물을 그대로 담아냈다. 리젬블 AI 측은 워홀의 목소리를 AI로 구현할 때, 많은 작업을 할 필요가 없었다. 리젬블 AI가 워홀의 목소리를 구현하기 시작했을 때, 3분 12초 길이의 오디오 파일만 확보한 채로 작업해야 했다. 그리고 AI 목소리가 읽을 30페이지 분량의 텍스트도 제작해야 했다. 이 과정에서 리젬블 AI는 AI 엔진을 사용해 주어진 데이터세트에 담긴 워홀의 목소리 특성 혹은 음소로 실제 데이터가 없는 음소를 예측하고는 AI 목소리를 제법 완벽한 음성으로 생성해야 했다. AI로 생성한 목소리는 사용자(로시)가 해설로 읽을 내용을 입력하고는 AI 목소리가 원하는 대로 자연스러운 목소리를 구현할 때까지 사용하도록 리젬블 AI의 웹 플랫폼에 게재했다. 아메드는 인간의 개입이 가능하다는 사실이 매우 강력한 영향을 미친다고 말했다. 로시는 리젬블 AI 덕분에 특정 억양에 담아낼 필요가 있는 감정이나 워홀이 생전 남긴 말을 바꿀 수도 있었다. 일례로, 로시는 워홀의 친구이자 조력자인 장 미쉘 마스키아(Jean-Michel Basquiat)의 이름을 부를 때, 인간의 개입이 가능하다는 점을 활용했다.

궁극적으로 AI가 모든 해설을 완벽하게 제작하는 데 소요된 시간은 단 몇 분이 아니다. 로시는 AI 음성 생성 시 배우 빌 어윈(Bill Irwin)의 도움을 받아 워홀의 목소리 몇 마디를 녹음하고는 AI가 제대로 대사를 전달할 방법을 학습하도록 했다. 로시는 “AI 음성 75~80%와 빌의 연기 15~20%를 활용해 음성 모델을 제작하려 했다. 결국, ‘앤디 워홀 일기’ 시리즈에서 들을 수 있는 앤디 워홀의 목소리는 광범위한 입력 모델을 구현한다. ‘수면 유도제’나 ‘로르샤하 검사(Rorschach test)’ 등 일부 단어는 더 강한 어조로 말했으머, 간혹 로시는 음향을 음소 단위로 알고리즘에 투입하여 AI가 새로 제작된 철자를 통해 특정한 방식으로 말하도록 했다. 로시는 “이 작품의 목소리는 피츠버그 지역 억양이 있지만, 뉴욕에 오래 거주한 시민이자 뉴욕에 오랜 발자취를 남긴 것처럼 알려진 앤디 워홀이라는 인물을 위한 것이다”라고 말했다.

‘앤디 워홀 일기’는 실제 일어났을 수도 있는 일을 상기하도록 돕는다. 오래전 고인이 된 인물을 대중의 곁으로 다시 데려올 목적으로 AI를 활용한 사실을 둘러싼 윤리적 문제를 중심으로 빠른 논의가 이루어지는 각종 질문에 완벽한 답변을 제시하지 않는다. 그러나 기술이 과거를 재구성하는 동시에 실존한 요소를 투명하게 보여준다는 사실을 입증한다. 허만 총괄은 “AI가 제작한 목소리를 처음 들었을 때, 워홀의 일기를 현실 세계에서 보여주는 동시에 신비로운 아티스트인 앤디 워홀의 모습을 인간적으로 재연할 효과적인 방법이라고 생각했다”라고 말했다. 다시 말해, 로봇이 그 무엇보다도 앤디 워홀을 제대로 이해하는 데 큰 도움이 될 수 있다는 의미이다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Why The Andy Warhol Diaries Recreated the Artist’s Voice With AI
이 기사를 공유합니다
RECOMMENDED