By MATT BURGESS, WIRED UK

인공지능(AI)을 이용해 여성의 나체 이미지를 생성하는 딥페이크 웹사이트가 웹 전 영역에 걸쳐 어두운 영향력을 확산하고 있다. 협력 사이트와의 합의를 통해 비슷한 서비스를 마구 생성하면서 전송 시스템을 통해 신규 사용자를 모집하기 때문이다. 딥페이크 웹사이트의 세력 확산 노력 탓에 결제 인프라가 법으로 금지된 상황에서도 서비스 확산이 계속되는 추세이다.

와이어드가 영향력 확장을 막고자 이름을 밝히지 않는 문제 웹사이트는 2020년에 등장했다. 웹사이트는 나체가 아닌 사진 속 인물의 옷을 디지털로 벗겨 당사자의 동의 없이 딥페이크 음란물을 생성한다. 연구팀은 딥페이크가 생성한 나체 사진이 매우 현실적이며, 유사한 음란물 유포 플랫폼과는 달리 옷을 제대로 입은 원본 사진으로도 음란물을 생성할 수 있다고 설명했다. 이전에는 비슷한 기술은 옷으로 신체 일부분만 가린 사진을 두고 인위적으로 음란물을 생성할 수 있었다.

지난 수 개월간 딥페이크 음란물 유포 웹사이트는 서비스 영역을 넓히면서 음란물 제작자가 수천 달러를 벌어들일 수도 있는 수준으로 수익성까지 확보했다. 딥페이크 음란물 웹사이트는 API 접근 권한을 통해 자체 알고리즘을 협력 사이트도 활용하도록 한다. 또, 다른 두 명이 해당 웹사이트의 분리 웹사이트를 개설했다. 처음 등장한 웹사이트는 이전에 보고되었으나 그 협력 프로그램 존재 사실은 이전에 알려지지 않았다.

문제 웹사이트의 협력 프로그램 페이지에는 시스템 생성을 지원하는 개발자가 AI 연구에 더 집중하고, 고객에게 대체 결제 수단을 제공하면서 여러 언어 버전도 생성하도록 제작되었다고 명시되었다. 탈중앙화 모델이 갑작스러운 서비스 운영 중단, 그리고 사이트 폐쇄까지 이어지는 결과를 피할 수 있다고 주장한다.

문제 웹사이트는 협력 프로그램을 악용해 서비스 차단을 피할 수 있었다. 디지털 정보 플랫폼 시밀러웹(Similarweb)의 데이터에 따르면, 2021년 1월부터 10월 말까지 문제 웹사이트 누적 접속 횟수는 5,000만 회 이상을 기록하면서 최대 규모 딥페이크 음란물 웹사이트가 되었다. 문제 웹사이트의 크리에이터는 하루에만 나체 사진 수십만 장이 새로이 게재된다고 주장한다. 시밀러웹 데이터 조사 결과, 문제 웹사이트의 접속자 수가 가장 많았던 때는 조회 수 692만 회를 기록한 2021년 8월이다.
 
문제의 웹사이트는 8월 당시 허핑턴포스트와 다른 여러 매체의 주목을 받기도 했으며, 해당 웹사이트의 호스팅이 오프라인으로 전환되어 암호화폐 플랫폼 코인베이스가 해당 웹사이트 결제 계좌를 정지한 사실이 드러났다. 결제 제한 때문에 접속자 수가 절반으로 감소해, 10월 기준 방문자 수는 314만 명을 기록했다. 10월 전체 방문자 13.93%는 미국에서 접속한 것으로 확인됐다. 문제 웹사이트는 규모 공개를 거부했으나 협력 웹사이트의 규모가 성장하면서 수백만 명을 대상으로 음란물 생성 목적으로 악용하는 딥페이크 기술 접근성을 유지했다. 10월, 시밀러웹 데이터 분석 결과, 문제 웹사이트에서 분리된 한 웹사이트의 방문자 수는 약 83만 명을 기록했으며, 다른 분리 웹사이트의 방문자 수는 30만 명 안팎으로 확인됐다. 그로부터 수개월 전 분리 웹사이트 두 곳 모두 방문자 수는 단 수만 명이었다. 처음 생성된 문제 웹사이트가 추가 트래픽 상당 부분을 기록할 수 있도록 이끌었다.

딥페이크 음란물 분리 웹사이트의 크리에이터는 나체 이미지 1만 장 생성 능력과 관련, 원조 웹사이트에 약 500달러를 건넨다고 밝혔다. 협력 웹사이트는 유료 고객 3,000여 명에게 나체 이미지 20만 4,522장을 제공한다. 다른 협력 웹사이트는 AI 훈련 데이터 세트에 이미지 100만 장이 포함됐다고 주장한다. 그러나 AI 훈련 세트에 포함된 사진 출처와 원조 웹사이트 크리에이터가 작성한 사진을 별도로 보관하지 않거나 훈련 용도로만 사용한다는 주장을 믿을 수 있을지도 확실하지 않다.

협력 웹사이트 모집은 원조 웹사이트가 스스로 살아남을 유일한 방법은 아니다. 사용자가 몇 차례의 클릭만으로 무료 이미지 생성 토큰을 얻도록 하는 웹사이트의 전송 프로그램은 트위터와 유튜브, 텔레그램, 특수 음란물 딥페이크 포럼 등으로 딥페이크 음란물을 공유한다.
 
사이트 개설 이후 지금까지 정체가 알려지지 않았으며, 와이어드의 의견 요청에 답변하지 않았던 문제 웹사이트 크리에이터는 자체 알고리즘을 여러 차례 업데이트해왔다고 주장했다. 웹사이트는 현재 버전 2.0 실행 중이라고 밝혔다. 웹사이트 개발자는 2022년 초 출시될 전망인 세 번째 버전에는 측면이나 후면에서 촬영한 사진의 이미지 ‘예측’ 능력을 향상할 것이라고 전했다. 크리에이터는 앞으로 출시될 버전으로 사용자가 가슴 크기나 음모 등의 모습을 변경할 수 있다고 설명했다.

문제 웹사이트의 스타트업과 같은 성장 전략은 여성이 공격 대상으로 지정돼 피해 볼 확률이 압도적으로 높은 매우 심각한 불법 나체 이미지 생성 딥페이크 기술의 완성도가 높다는 사실을 시사한다. 2017년 말, 온라인 커뮤니티 레딧 사용자가 처음 AI로 가짜 포르노를 생성한 뒤 관련 시스템이 첨단 기술과 함께 더 교묘한 수준으로 발전했다. 2019년, AI 기반 가짜 나체 이미지 생성 기술이 딥누드(DeepNude)라는 앱으로 바뀌었다. 딥누드 제작자가 앱을 삭제했으나 앱 코드 자체는 지금도 유포된다. 이후 AI를 이용한 음란물 제작 기술을 사진 선택 및 업로드 클릭 과정처럼 쉽게 사용할 수 있게 되었다. 최근, 끔찍한 수준으로 발전한 기술에는 쉽게 사용할 수 있는 영상 생성 기술도 포함됐다.

쉽게 사용할 수 있는 기술 발전과 함께 성범죄 공격 대상은 거물급 유명인과 인플루언서에서 일반인으로 바뀌었다. 최근 원조 웹사이트와 협력 웹사이트의 영역 확장은 음란물 생성이라는 의도로 악용하는 기술을 상품화했다. 딥페이크 전문 자문위원이자 정책 총괄 겸 합성 미디어 기업 메타피직스(Metaphysic) 파트너인 헨리 아이더(Henry Ajder)는 “딥페이크 음란물이 질적으로 훨씬 더 완벽해졌다. 딥페이크 음란물 제작 및 유포의 배후에 있는 이들은 초기 딥누드 툴로도 시도하지 않았던 기술을 이용한다. 딥페이크 음란물 생성 관련 탄탄한 커뮤니티를 형성하려 한다”라고 말했다.

온라인 성폭력 연구 전문가인 펜실베이니아대학교 아넨버그 통신대학원 소속 연구원인 소피 메독스(Sophie Maddocks)는 원조 웹사이트와 협력 웹사이트 두 곳 모두 전 영역에 걸쳐 협력사와 결제 서비스를 포함했다는 점은 딥페이크 기술이 더 중대한 변화를 맞이할 변환점에 이르렀다고 주장한다. 매독스는 “딥페이크 기술의 피해는 성 산업의 한 부분이 되면서 수익성을 기록하게 될 것이다. 갈수록 일반화될 것이다”라고 경고했다. 이어, 매독스는 사회와 테크 기업, 법률 집행 기관 모두 음란물 생성 목적 딥페이크를 일절 용납하지 않는 접근방식을 택해야 한다고 덧붙였다.

문제 웹사이트는 크리에이터를 위해 돈을 마구 벌어들인다. 음란물 이미지 생성 과정에 개입한 의혹을 받는 3명 모두 최소 음란물 사진 100장으로 10달러를, 최대 2,000장으로 260달러를 벌어들였다. 또, 한정판 무료 사진을 제공하면서 딥페이크 음란물 생성 기술을 홍보했다. 그러나 웹사이트 방문자는 계속 음란물 조회 비용을 결제했다. 딥페이크 음란물 웹사이트의 여러 결제 시점에서 은행 계좌 이체부터 페이팔, 패트리온(Patreon), 일부 암호화폐 등 다양한 결제 수단을 받아들였다. 코인베이스와 마찬가지로 상당수 결제 서비스 지원 기업이 언론 보도 이후 문제 웹사이트 결제 지원을 중단했다. 원조 웹사이트와 분리 웹사이트 두 곳 모두 결제 수단으로 다양한 암호화폐를 채택한다.

유료 결제 고객 3,000여 명을 보유했다고 주장하는 분리 웹사이트 크리에이터인 이반 브라보(Ivan Bravo)는 타인에게 피해를 주는 서비스로 돈을 벌어들이는 것이 도덕적으로 옳은 일이 아니라고 말했다. 그러나 브라보는 계속 도덕적으로 잘못된 수단으로 돈을 벌어들였다. 웹사이트를 운영하는 이유를 묻자 브라보는 이메일을 통해 “딥페이크 음란물은 꽤 큰 돈을 벌 수 있는 소득원이다”라고 답변했다. 이어, 딥페이크 음란물로 벌어들인 소득 수준을 밝히는 것을 거부했으나 “딥페이크 음란물로 벌어들인 소득은 멕시코에서 중산층 가정을 부양하기 충분한 수준 이상이다”라고 말했다.

주제의 민감성 때문에 와이어드에 익명을 요청한 딥페이크 음란물 웹사이트를 추적하는 어느 한 개인 연구원은 브라보가 운영하는 웹사이트가 2021년 8월 설립 이후 단 3일 만에 유료 사용자 630명을 확보했다고 밝혔다. 분석 결과, 브라보가 세계 각지의 사용자를 통해 7,553달러~5만 7,323달러를 벌어들일 수 있는 수준이다. 와이어드가 연구 분석 결과로 추정한 수치를 제시하자 브라보는 자신이 벌어들인 소득 범위에 해당하는 수치가 맞다고 주장했다.

과거, 사진 속 인물의 의상을 벗길 수 있는 데스크톱 앱을 제작한 브라보는 자기가 운영하는 웹사이트와 다른 관련 웹사이트가 타인에게 해를 가할 의도로 기술을 사용하는 행위를 금지하는 권리 포기 각서를 포함했다며, 웹사이트 운영 행위를 정당화하려 했다. 더 나아가 딥페이크 기술이 남성을 위해 활용할 수 있도록 개발돼, 성인 산업에서 맞춤형 음란물을 제작할 수 있을 것이라는 주장도 펼쳤다. (다른 분리 웹사이트 제작자는 와이어드의 문의 메일에 답변하지 않았다.) 그러나 딥페이크는 제작 단계부터 여성에게 수치심을 주면서 심각한 피해를 주었다. 딥페이크 기술 다수가 음란물 생성에 동원되며, 그중 대부분은 여성의 이미지로 음란물을 제작한다. 2020년, 여러 연구원이 미성년자를 포함한 여성 10만여 명의 이미지를 악용한 음란물 생성 및 유포 텔레그램 딥페이크 봇을 발견했다. 또, 2020년에는 당사자의 동의 없이 생성된 딥페이크 포르노 영상이 매달 1,000건 넘게 주요 성인 웹사이트에 게재되며, 웹사이트는 피해자를 거의 보호하지 못한다.

온라인에서의 여성 및 소외 집단 공격을 끝내려 하는 영국 자선 단체 글리치!(Glitch!) 창립자 겸 총괄인 세이 아키워워(Seyi Akiwowo)는 “현실적으로 매우 치명적인 여파로 이어질 수 있다. 가정폭력 가해자가 딥페이크 음란물 웹사이트에 접속해, 피해자의 평범한 사진을 나체 이미지로 변환하면서 2차 가해 행위가 발생할 수 있다”라고 말했다.

2020년 6월, 할리우드 배우 크리스틴 벨은 자기 사진으로 딥페이크 이미지가 생성된 사실을 알게 된 후, 복스와의 인터뷰에서 “딥페이크 기술에 악용됐다”라고 말했다. 딥페이크 기술의 피해를 당한 다른 피해자도 매우 현실적인 이미지에 충격을 받아 자녀가 딥페이크 이미지를 보지 않기를 바란다고 전하면서 웹사이트에서 자신의 모습을 합성한 딥페이크 게시물을 모두 삭제하는 데 크게 애먹었다고 밝혔다. 시인이자 방송인인 헬렌 모트(Helen Mort)는 MIT 테크 리뷰와의 인터뷰에서 “딥페이크 음란물은 피해자가 아무 힘이 없다고 느끼게 한다. 마치 존엄성이 없는 듯한 기분이다”라며, “어떠한 종류든 공개적으로 의견을 표출하면, 여성이라는 이유로 응징당한다”라고 말했다.

다수 전문가는 딥페이크 기술의 피해를 막기 위해 법과 기술, 사회적 조치 결합이라는 다양한 접근 방식이 필요하다고 말한다. 아키워워는 “젊은 세대와 성인, 그리고 모든 시민을 대상으로 딥페이크 기술 악용과 유포 후 발생하는 피해를 교육해야 한다”라고 말했다. 다른 전문가는 기술과 결제 플랫폼이 피해 완화 조치를 추가로 적용해야 한다고 주장한다. 사이버 성범죄를 연구하는 위험 관리 기업 TNG 소속 컨설턴트인 미키바 모어헤드(Mikiba Morehead)는 딥페이크 교육 확대가 필요하지만, 기술로 딥페이크 음란물 유포를 막을 수 있다고 주장한다. 모어헤드는 “딥페이크 음란물 유포를 막을 대표적인 방법으로 딥페이크 콘텐츠 확인과 태그, 보고 알고리즘 사용과 인간 팩트체크 담당자 채용 및 교육을 통한 딥페이크 콘텐츠 감지, 미디어 업계 종사자 대상 딥페이크 감별법 특별 교육 계획 등을 포함할 수 있으며, 이를 통해 거짓 정보 유포를 막을 수 있다”라고 설명했다.

일례로, 메타의 페이스북은 딥페이크 역설계 방법을 개발했으나 역설계와 같은 기술은 지금도 상대적으로 성숙도가 낮다. 마이크로소프트의 깃허브는 2019년, 딥누드 원본 소프트웨어를 금지한다고 밝혔으나 여전히 나체 이미지를 생성하는 AI 애플리케이션 소스코드를 제공한다. 

그리고, 법률의 역할도 있다. 2017년부터 딥페이크 기술이 음란 사진과 영상을 생성하는 데 악용됐으나 국회에서는 딥페이크 기술의 문제에 대응하지 못했다. 미국 여러 주와 영국 법률 모두 리벤지 포르노 방지 법률을 마련했으나 딥페이크 음란물은 법률 적용 범위에 해당하지 않는다. 영국 법률 위원회는 2019년부터 딥페이크의 법적 당면 과제를 설명하기 시작했으나 아직 변화를 제안하지는 못했다. 딥페이크 음란물 피해자가 효과적으로 맞서 싸울 방법은 거의 없다.

당사자 동의 없는 사진 및 기술 사용 사건 전문 법무법인 맥알리스터 올리배리어스(McAllister Olivarius)의 법률 전문가인 혼자 세르벤카(Honza Červenka)는 딥페이크 기술에 대응하고자 하는 이들은 법률 상 매우 큰 어려움을 직면하게 된다고 말한다. 저작권법과 프라이버시 위반, 예술가 라이선스 모두 웹에서 딥페이크 이미지를 제거할 때 적용될 수 있는 부분이다. 세르벤카는 “규정을 바꾸어야 할 한계에 다다랐다. 불충분한 규제 문제가 오래 이어질수록 더 많은 계획이 속도를 얻게 돼, 산업화되면서 이후 딥페이크 음란물 문제를 규제하기 더 어려워질 것이다”라고 말했다.

딥페이크 음란물 규제가 어려워지는 문제가 발생할 때도 웹의 수많은 피해와 마찬가지로 심각한 피해를 낳은 기술 악용과 유포 문제를 추적하고 정의를 구현하기 어려워질 것이다. 예를 들어, 아시아에 거주하는 이가 범죄인 본국 송환 절차 없이 미국인이나 영국인을 기소할 수 없다는 문제를 언급할 수 있다. 딥페이크 기술을 막고자 한다면, 딥페이크가 일으키는 피해를 완화하는 전체적인 무기가 필요하다. 아이더는 “딥페이크 음란물 문제에 택할 수 있는 최고의 해결책은 최대한 많은 저항을 일으키는 것이다”라고 주장했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
The Biggest Deepfake Abuse Site Is Growing in Disturbing Ways