By Matt Burgess, WIRED US
2020년 초반 딥페이크 전문가 헨리 아저(Henry Ajder)는 인공지능(AI)을 이용한 사진 속 여성 옷 벗기기 기능을 구축한 최초의 텔레그램 봇 중 하나를 공개했다. 아저 연구원은 당시 봇이 아동을 포함한 여성의 나체 사진 10만 장 이상 생성하는 데 동원되었으며, 봇 개발 과정 자체가 딥페이크가 생성할 수 있는 끔찍한 순간이 통제 불가능한 수준으로 확산되는 순간이었다고 떠올렸다. 이후 딥페이크가 더 보편화되면서 더 심각한 피해를 초래하는 데다가 생성 자체가 수월해졌다.
와이어드는 당사자 동의 없는 노골적인 성적 콘텐츠에 개입한 텔레그램 커뮤니티 여러 곳을 분석한 뒤 몇 차례 마우스 클릭만으로 실제 인물의 성적인 사진이나 영상을 생성할 수 있다고 주장하는 AI 봇 최소 50개를 확인했다. AI 봇이 주장하는 기능은 사진 속 인물의 옷 벗기기 기능부터 다양한 성행위를 묘사하는 사진 생성까지 다양하다.
와이어드가 각각의 봇의 통계 결과를 검토한 바에 따르면, 봇 50종의 월간 사용자 수는 총 400만 명이 넘는다. 와이어드의 검토 대상이 된 봇 중 두 개는 월간 사용자 수가 40만 명을 넘었으며, 나머지 14개는 각각 월간 사용자 수 10만 명 이상 보유했다. AI 불법 음란물 제작 봇 실태 조사 결과는 노골적인 딥페이크 음란물 생성 툴이 널리 확산된 현실과 텔레그램이 AI 불법 음란물 제작 봇을 찾을 수 있는 온라인 플랫폼 중 한 곳으로 유명한 현실을 드러낸다. 그러나 주로 영어로 서비스를 지원하는 봇을 포함하는 스냅샷은 실제 텔레그램에 확산된 모든 딥페이크 봇 중 빙산의 일각에 불과하다.
아저 연구원은 텔레그램 내 딥페이크 음란물 제작 봇과 관련하여 “딥페이크 봇을 적극적으로 사용하여 딥페이크 음란물을 생성하는 텔레그램 사용자 규모가 각각의 사례마다 매우 급격하게 증가한다. 주로 여학생과 여성의 삶을 망치는 악몽으로 이어지는 딥페이크 음란물 생성 툴을 웹과 세계 최대 규모 앱 중 한 곳에서 손쉽게 접할 수 있다는 사실이 매우 우려스럽다”라고 말했다.
종종 당사자 동의 없는 성적 이미지 협박 범죄라고 칭하는 당사자 동의 없는 노골적인 딥페이크 음란물은 2017년 말 처음 등장한 뒤 기하급수적으로 등장했다. 특히, 생성형 AI의 발전이 최근 들어 딥페이크 음란물 급증 추세를 초래했다. 인터넷 어느 곳에서나 나체 이미지 생성 및 옷 벗기기 기능을 제공하는 웹사이트가 고급 툴, 텔레그램 봇과 함께 존재한다. 옷 벗기기 기능을 포함한 딥페이크 음란물 생성 툴은 이탈리아 총리부터 한국의 초중고등학교 여학생 등 전 세계 여성과 여학생 불특정 다수를 표적으로 삼았다. 최근 발표된 어느 한 설문조사에서는 미국 학생 40%가 2023년, 공교육 현장과 관련한 딥페이크 콘텐츠가 존재한다는 사실을 인지한 것으로 드러났다.
와이어드가 조사한 텔레그램 봇은 구독자가 뉴스피드 형태 업데이트를 구독할 수 있는 관련 텔레그램 채널 최소 25곳에서 지원한 것으로 확인됐다. 딥페이크 음란물 제작 봇을 지원하는 채널 25곳의 구독자는 총 300만 명이 넘었다. 텔레그램 채널은 사용자에게 딥페이크 음란물 제작 봇이 제공하는 새로운 기능과 기능 실행 목적으로 구매해야 하는 토큰을 바탕으로 제공하는 특별 기능 정보를 제공한다. 텔레그램이 봇을 삭제하면, 종종 별도의 봇을 사용하여 새로운 봇에 접근할 링크를 전송하는 공간 역할을 하기도 했다.
와이어드가 텔레그램에 딥페이크 불법 음란물 제작이 이루어지도록 한 적이 있는지 묻자 텔레그램 측은 와이어드가 조사한 딥페이크 음란물 제작 봇과 채널 75개를 삭제했다. 그러나 채널 삭제 이유와 관련한 질문이나 의견 요청에는 별도의 답변을 제공하지는 않았다.
이후 와이어드가 추가로 발견한 당사자 동의 없는 딥페이크 음란물 관련 텔레그램 채널과 봇 모두 문제 발생 규모를 입증했다. 일부 채널 운영자는 채널에서 지원하는 봇이 삭제된 사실을 공지했다. 그중 한 채널은 다음날 새로운 봇을 제작할 계획을 알리기도 했다. 추후 문제의 채널 계정도 삭제됐다.
공개된 공간에서 정보 숨기기
기본적으로 텔레그램 봇은 텔레그램 내부에서 운영되는 소규모 앱이다. 봇은 텔레그램 채널과 함께 운영되며, 주로 봇은 채널 구독자에게 메시지를 전달한다. 최대 20만 명이 접속한 그룹과 1대 1 메시지 전달 목적으로도 봇을 사용할 수 있다. 초기 개발자는 간단한 퀴즈 풀기, 메시지 번역, 경고 알림 전송, 줌 화상 회의 시작 안내 등과 같은 목적으로 봇을 개발했다. 심지어 범죄 행위에 해당하는 딥페이크 봇 제작 목적으로도 동시에 채택했다.
와이어드는 피해를 초래하는 딥페이크 툴의 특성을 고려하여 텔레그램 봇을 별도로 테스트하지 않았으며, 직접 조사한 특정 봇이나 채널 이름을 공개하지 않을 예정이다. 텔레그램 통계 자료 기준으로 딥페이크 음란물 제작 봇의 월간 사용자 수는 수백만 명을 기록했다. 그러나 봇을 이용한 딥페이크 음란물 제작 목적으로 사용된 사진 수는 정확하지 않다. 여러 채널과 봇에 접근했을 수도 있는 일부 사용자가 실제로 제작한 딥페이크 음란물은 단 하나도 없을 수도 있다. 반대로 한 명이 딥페이크 음란물 수백 개를 제작했을 수도 있다.
와이어드가 검토한 딥페이크 봇 다수는 제작 대상을 분명하게 확인할 수 있었다. 봇 이름과 설명은 사진 속 여성의 나체 이미지 생성, 옷 벗기기 기능을 언급한다. 어느 한 딥페이크 봇 제작자는 봇 설명문으로 “제출한 사진의 얼굴이나 의상을 원하는 대로 변경할 수 있다”라고 안내했다. 다른 봇은 “AI가 선사하는 충격을 경험해 보아라”라는 내용을 설명문으로 작성했다. 텔레그램은 자체 추천 툴에서 유사한 채널을 보여주면서 사용자가 딥페이크 음란물 채널과 봇 사이를 오갈 수 있도록 했다.
딥페이크 봇 대부분 토큰 구매를 이미지 생성 조건으로 제시한다. 그러나 토큰 구매 시 봇이 주장하는 기능을 그대로 실행하는지는 확실하지 않다. 딥페이크 생성 기능을 중심으로 형성된 생태계가 지난 몇 년간 대대적으로 성장하면서 딥페이크는 관련 웹사이트와 앱, 봇 제작자의 잠재적인 거액의 소득 원천이 되었다. 404미디어(404Media)가 보도한 바와 같이 딥페이크 나체 콘텐츠 생성 웹사이트를 사용하고자 하는 이들이 너무 많아 러시아 사이버 범죄 조직이 딥페이크 나체 콘텐츠 생성 웹사이트로 위장한 가짜 웹사이트를 개설하여 멀웨어 감염 피해를 일으키기 시작했다.
몇 년 전 처음 발견된 텔레그램 봇은 비교적 기초적인 기술로 제작되었으나 이제 실제 사진과 같은 AI 생성 이미지 제작에 필요한 기술이 발전했다. 일부 봇은 공개적으로 정보가 드러나지 않도록 숨긴다.
월간 사용자 30만 명 이상 보유한 어느 한 딥페이크 음란물 제작 봇은 최근 봇이 제작하는 콘텐츠나 최종 페이지 등 공개 정보를 일절 언급하지 않았다. 그러나 사용자가 봇을 클릭하여 사용하기 시작하면, 이미지 생성 과정에서 다수가 노골적인 성적 특성과 관련된 40가지가 넘는 옵션을 제공한다고 주장한다. 해당 봇은 텔레그램 외부 웹 공간에서 호스팅을 제공하는 사용자 가이드를 제공하면서 고급 이미지 생성 방법을 설명한다. 봇 개발자는 사용자에게 사진 속 인물의 동의 없은 이미지 업로드 금지, 아동 이미지 사용 금지 등 서비스 약관 동의를 요청한다. 그러나 실제로 서비스 약관에 명시된 규정은 거의 집행되지 않거나 일절 시행되지 않는 것으로 나타났다.
사용자 3만 8,000명이 넘는 또 다른 딥페이크 음란물 제작 봇은 동일 인물 사진 6장을 전송하여 AI 모델을 훈련한 뒤 사진 속 해당 인물의 새로운 딥페이크 이미지를 생성할 수 있다고 주장한다. (해당 봇은 딥페이크 음란물 제작 봇 중 남성의 음란물 이미지 제작도 가능하다고 주장하는 몇 안 되는 봇 중 하나이다.) 사용자가 봇에 접속하며, 해당 봇 제작자의 다른 봇 1개로 구성된 메뉴를 보여준다. 시스템을 온라인에 존재하도록 유지하고, 삭제 조처를 피할 의도로 보인다.
영국 최대 규모 가정폭력 대응 단체 리퓨지(Refuge)의 기술 기반 폭력 및 경제 권리 신장 연구 책임자 엠마 피커링(Emma Pickering)은 “딥페이크 음란물과 같은 가짜 이미지는 심리적 트라우마와 굴욕, 공포, 당혹감, 수치심 등을 유발하여 신체 건강과 정신 건강을 모두 해칠 수 있다. 온라인 공간에서의 딥페이크 기술을 동원한 학대 범죄는 흔하지만, 가해자가 책임을 지는 사례는 드물다. 또한, 딥페이크와 같은 기술을 동원한 학대 범죄가 배우자나 연인 간의 폭력에서 갈수록 흔한 일이 된다는 사실도 많은 이들이 인지하고 있다”라고 말했다.
노골적인 딥페이크 음란물 제작이 이전보다 수월해지면서 제작 사례가 더 만연해진 상황에서 국회의원과 테크 기업은 딥페이크 음란물 퇴치에 늑장 대응했다. 미국 전역에서는 23개 주에서 당사자 동의 없는 딥페이크 음란물 문제를 다룰 법률이 통과됐다. 테크 기업도 딥페이크 음란물 대응 관련 정책을 일부 강화했다. 그러나 딥페이크 음란물 제작 기능을 제공하는 앱은 애플과 구글 앱스토어에서 찾을 수 있다. 2024년 1월, 테일러 스위프트의 딥페이크 음란물이 X에 공유된 사례도 있다. 게다가 사용자는 테크 업계 대기업의 단일 계정 로그인 인프라로 딥페이크 웹사이트 계정을 손쉽게 개설할 수 있다.
민주주의 기술 센터(Center for Democracy and Technology) 표현의 자유 프로젝트 책임자 케이트 루아인(Kate Ruane)은 현재 주류 테크 플랫폼 대부분 당사자 동의 없는 노골적인 성적 이미지 배포 금지 정책을 두고 있으며, 최대 규모 플랫폼 대부분 딥페이크 퇴치 원칙에 동의한다고 전했다. 루아인은 대다수 테크 플랫폼보다는 내용이 모호한 텔레그램의 서비스 약관을 언급하며, “당사자 동의 없는 노골적인 성적 이미지 제작이나 유포 행위를 실제로 금지하는 것이 맞는지 분명히 알기 어렵다”라고 비판했다.
복수 시민 단체가 과거, 온라인 사기꾼, 극우 단체, 테러 관련 콘텐츠 등에 서비스를 제공한 사례가 여러 차례 발견되었다는 점에서 오래전부터 텔레그램의 해로운 콘텐츠 제거 접근 방식을 비판해왔다. 2024년 8월, 텔레그램 창립자이자 CEO인 파벨 두로프(Pavel Durov)가 각종 법률 위반 의혹으로 프랑스에서 체포 후 기소되면서 텔레그램은 서비스 약관을 일부 개정하고, 법률 집행 기관에 데이터를 제공하기 시작했다. 와이어드는 텔레그램 측에 딥페이크를 특별히 금지하는가 문의했으나 어떠한 답변도 돌아오지 않았다.
피해 발생
아저 연구원은 텔레그램이 딥페이크 범죄가 이루어지는 공간이라는 거의 독보적인 위치에 올랐다고 말한다. 아저 연구원은 “텔레그램에는 검색 기능이 있다. 따라서 사용자는 커뮤니티, 대화, 봇 등을 검색할 수 있다. 봇 호스팅 기능을 제공하기도 한다. 텔레그램은 실질적으로 딥페이크 음란물 제작 수단이 존재하는 공간이다. 그와 동시에 봇으로 제작한 딥페이크 음란물을 공유할 수 있어 실제로 딥페이크 음란물 제작의 최종 결과로 피해가 발생하는 곳이기도 하다”라고 설명했다.
2024년 9월 말 일부 딥페이크 음란물 제작 채널에 텔레그램이 채널에서 제공하는 봇을 제거했다는 공지를 올리기 시작했다. 2024년 9월 30일 자로 구독자 29만 5,000명이 접속한 어느 한 채널에는 텔레그램이 채널에서 제공하는 봇을 금지한 사실을 공지했다. 그러나 사용자가 접근할 새로운 딥페이크 음란물 제작 봇 링크를 함께 공유했다. (해당 채널은 와이어드가 텔레그램에 문의한 뒤 삭제됐다.)
이미지 기반 성범죄에 맞선 보호 캠페인 단체인 #NotYourPorn 공동 창립자 겸 소장인 엘레나 마이클(Elena Michael)은 “텔레그램과 같은 앱과 관련하여 실제로 걱정되는 부분은 특히 피해자의 관점에서 추적과 관찰이 어렵다는 문제이다”라고 말했다.
마이클은 텔레그램이 안전 문제를 논의하기 극도로 어려웠으나 지난 몇 년간 텔레그램이 일부 문제를 개선한 점에 주목했다. 다만, 텔레그램이 딥페이크 음란물과 같은 문제 콘텐츠를 직접 관리하고 분류하는 데 더 적극적으로 나서야 한다고 덧붙였다.
마이클은 “딥페이크 음란물 피해자가 되었다고 생각해 보아라. 딥페이크 음란물 제작과 유포 문제를 개인이 짊어져야 할 짐으로 두어서 안 된다는 사실이 분명하다. 문제 발생 후 나서기보다는 적극적인 대책을 적용해야 하는 기업이 부담해야 하는 문제이다”라고 지적했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
<기사원문>
Millions of People Are Using Abusive AI ‘Nudify’ Bots on Telegram
2020년 초반 딥페이크 전문가 헨리 아저(Henry Ajder)는 인공지능(AI)을 이용한 사진 속 여성 옷 벗기기 기능을 구축한 최초의 텔레그램 봇 중 하나를 공개했다. 아저 연구원은 당시 봇이 아동을 포함한 여성의 나체 사진 10만 장 이상 생성하는 데 동원되었으며, 봇 개발 과정 자체가 딥페이크가 생성할 수 있는 끔찍한 순간이 통제 불가능한 수준으로 확산되는 순간이었다고 떠올렸다. 이후 딥페이크가 더 보편화되면서 더 심각한 피해를 초래하는 데다가 생성 자체가 수월해졌다.
와이어드는 당사자 동의 없는 노골적인 성적 콘텐츠에 개입한 텔레그램 커뮤니티 여러 곳을 분석한 뒤 몇 차례 마우스 클릭만으로 실제 인물의 성적인 사진이나 영상을 생성할 수 있다고 주장하는 AI 봇 최소 50개를 확인했다. AI 봇이 주장하는 기능은 사진 속 인물의 옷 벗기기 기능부터 다양한 성행위를 묘사하는 사진 생성까지 다양하다.
와이어드가 각각의 봇의 통계 결과를 검토한 바에 따르면, 봇 50종의 월간 사용자 수는 총 400만 명이 넘는다. 와이어드의 검토 대상이 된 봇 중 두 개는 월간 사용자 수가 40만 명을 넘었으며, 나머지 14개는 각각 월간 사용자 수 10만 명 이상 보유했다. AI 불법 음란물 제작 봇 실태 조사 결과는 노골적인 딥페이크 음란물 생성 툴이 널리 확산된 현실과 텔레그램이 AI 불법 음란물 제작 봇을 찾을 수 있는 온라인 플랫폼 중 한 곳으로 유명한 현실을 드러낸다. 그러나 주로 영어로 서비스를 지원하는 봇을 포함하는 스냅샷은 실제 텔레그램에 확산된 모든 딥페이크 봇 중 빙산의 일각에 불과하다.
아저 연구원은 텔레그램 내 딥페이크 음란물 제작 봇과 관련하여 “딥페이크 봇을 적극적으로 사용하여 딥페이크 음란물을 생성하는 텔레그램 사용자 규모가 각각의 사례마다 매우 급격하게 증가한다. 주로 여학생과 여성의 삶을 망치는 악몽으로 이어지는 딥페이크 음란물 생성 툴을 웹과 세계 최대 규모 앱 중 한 곳에서 손쉽게 접할 수 있다는 사실이 매우 우려스럽다”라고 말했다.
종종 당사자 동의 없는 성적 이미지 협박 범죄라고 칭하는 당사자 동의 없는 노골적인 딥페이크 음란물은 2017년 말 처음 등장한 뒤 기하급수적으로 등장했다. 특히, 생성형 AI의 발전이 최근 들어 딥페이크 음란물 급증 추세를 초래했다. 인터넷 어느 곳에서나 나체 이미지 생성 및 옷 벗기기 기능을 제공하는 웹사이트가 고급 툴, 텔레그램 봇과 함께 존재한다. 옷 벗기기 기능을 포함한 딥페이크 음란물 생성 툴은 이탈리아 총리부터 한국의 초중고등학교 여학생 등 전 세계 여성과 여학생 불특정 다수를 표적으로 삼았다. 최근 발표된 어느 한 설문조사에서는 미국 학생 40%가 2023년, 공교육 현장과 관련한 딥페이크 콘텐츠가 존재한다는 사실을 인지한 것으로 드러났다.
와이어드가 조사한 텔레그램 봇은 구독자가 뉴스피드 형태 업데이트를 구독할 수 있는 관련 텔레그램 채널 최소 25곳에서 지원한 것으로 확인됐다. 딥페이크 음란물 제작 봇을 지원하는 채널 25곳의 구독자는 총 300만 명이 넘었다. 텔레그램 채널은 사용자에게 딥페이크 음란물 제작 봇이 제공하는 새로운 기능과 기능 실행 목적으로 구매해야 하는 토큰을 바탕으로 제공하는 특별 기능 정보를 제공한다. 텔레그램이 봇을 삭제하면, 종종 별도의 봇을 사용하여 새로운 봇에 접근할 링크를 전송하는 공간 역할을 하기도 했다.
와이어드가 텔레그램에 딥페이크 불법 음란물 제작이 이루어지도록 한 적이 있는지 묻자 텔레그램 측은 와이어드가 조사한 딥페이크 음란물 제작 봇과 채널 75개를 삭제했다. 그러나 채널 삭제 이유와 관련한 질문이나 의견 요청에는 별도의 답변을 제공하지는 않았다.
이후 와이어드가 추가로 발견한 당사자 동의 없는 딥페이크 음란물 관련 텔레그램 채널과 봇 모두 문제 발생 규모를 입증했다. 일부 채널 운영자는 채널에서 지원하는 봇이 삭제된 사실을 공지했다. 그중 한 채널은 다음날 새로운 봇을 제작할 계획을 알리기도 했다. 추후 문제의 채널 계정도 삭제됐다.
공개된 공간에서 정보 숨기기
기본적으로 텔레그램 봇은 텔레그램 내부에서 운영되는 소규모 앱이다. 봇은 텔레그램 채널과 함께 운영되며, 주로 봇은 채널 구독자에게 메시지를 전달한다. 최대 20만 명이 접속한 그룹과 1대 1 메시지 전달 목적으로도 봇을 사용할 수 있다. 초기 개발자는 간단한 퀴즈 풀기, 메시지 번역, 경고 알림 전송, 줌 화상 회의 시작 안내 등과 같은 목적으로 봇을 개발했다. 심지어 범죄 행위에 해당하는 딥페이크 봇 제작 목적으로도 동시에 채택했다.
와이어드는 피해를 초래하는 딥페이크 툴의 특성을 고려하여 텔레그램 봇을 별도로 테스트하지 않았으며, 직접 조사한 특정 봇이나 채널 이름을 공개하지 않을 예정이다. 텔레그램 통계 자료 기준으로 딥페이크 음란물 제작 봇의 월간 사용자 수는 수백만 명을 기록했다. 그러나 봇을 이용한 딥페이크 음란물 제작 목적으로 사용된 사진 수는 정확하지 않다. 여러 채널과 봇에 접근했을 수도 있는 일부 사용자가 실제로 제작한 딥페이크 음란물은 단 하나도 없을 수도 있다. 반대로 한 명이 딥페이크 음란물 수백 개를 제작했을 수도 있다.
와이어드가 검토한 딥페이크 봇 다수는 제작 대상을 분명하게 확인할 수 있었다. 봇 이름과 설명은 사진 속 여성의 나체 이미지 생성, 옷 벗기기 기능을 언급한다. 어느 한 딥페이크 봇 제작자는 봇 설명문으로 “제출한 사진의 얼굴이나 의상을 원하는 대로 변경할 수 있다”라고 안내했다. 다른 봇은 “AI가 선사하는 충격을 경험해 보아라”라는 내용을 설명문으로 작성했다. 텔레그램은 자체 추천 툴에서 유사한 채널을 보여주면서 사용자가 딥페이크 음란물 채널과 봇 사이를 오갈 수 있도록 했다.
딥페이크 봇 대부분 토큰 구매를 이미지 생성 조건으로 제시한다. 그러나 토큰 구매 시 봇이 주장하는 기능을 그대로 실행하는지는 확실하지 않다. 딥페이크 생성 기능을 중심으로 형성된 생태계가 지난 몇 년간 대대적으로 성장하면서 딥페이크는 관련 웹사이트와 앱, 봇 제작자의 잠재적인 거액의 소득 원천이 되었다. 404미디어(404Media)가 보도한 바와 같이 딥페이크 나체 콘텐츠 생성 웹사이트를 사용하고자 하는 이들이 너무 많아 러시아 사이버 범죄 조직이 딥페이크 나체 콘텐츠 생성 웹사이트로 위장한 가짜 웹사이트를 개설하여 멀웨어 감염 피해를 일으키기 시작했다.
몇 년 전 처음 발견된 텔레그램 봇은 비교적 기초적인 기술로 제작되었으나 이제 실제 사진과 같은 AI 생성 이미지 제작에 필요한 기술이 발전했다. 일부 봇은 공개적으로 정보가 드러나지 않도록 숨긴다.
월간 사용자 30만 명 이상 보유한 어느 한 딥페이크 음란물 제작 봇은 최근 봇이 제작하는 콘텐츠나 최종 페이지 등 공개 정보를 일절 언급하지 않았다. 그러나 사용자가 봇을 클릭하여 사용하기 시작하면, 이미지 생성 과정에서 다수가 노골적인 성적 특성과 관련된 40가지가 넘는 옵션을 제공한다고 주장한다. 해당 봇은 텔레그램 외부 웹 공간에서 호스팅을 제공하는 사용자 가이드를 제공하면서 고급 이미지 생성 방법을 설명한다. 봇 개발자는 사용자에게 사진 속 인물의 동의 없은 이미지 업로드 금지, 아동 이미지 사용 금지 등 서비스 약관 동의를 요청한다. 그러나 실제로 서비스 약관에 명시된 규정은 거의 집행되지 않거나 일절 시행되지 않는 것으로 나타났다.
사용자 3만 8,000명이 넘는 또 다른 딥페이크 음란물 제작 봇은 동일 인물 사진 6장을 전송하여 AI 모델을 훈련한 뒤 사진 속 해당 인물의 새로운 딥페이크 이미지를 생성할 수 있다고 주장한다. (해당 봇은 딥페이크 음란물 제작 봇 중 남성의 음란물 이미지 제작도 가능하다고 주장하는 몇 안 되는 봇 중 하나이다.) 사용자가 봇에 접속하며, 해당 봇 제작자의 다른 봇 1개로 구성된 메뉴를 보여준다. 시스템을 온라인에 존재하도록 유지하고, 삭제 조처를 피할 의도로 보인다.
영국 최대 규모 가정폭력 대응 단체 리퓨지(Refuge)의 기술 기반 폭력 및 경제 권리 신장 연구 책임자 엠마 피커링(Emma Pickering)은 “딥페이크 음란물과 같은 가짜 이미지는 심리적 트라우마와 굴욕, 공포, 당혹감, 수치심 등을 유발하여 신체 건강과 정신 건강을 모두 해칠 수 있다. 온라인 공간에서의 딥페이크 기술을 동원한 학대 범죄는 흔하지만, 가해자가 책임을 지는 사례는 드물다. 또한, 딥페이크와 같은 기술을 동원한 학대 범죄가 배우자나 연인 간의 폭력에서 갈수록 흔한 일이 된다는 사실도 많은 이들이 인지하고 있다”라고 말했다.
노골적인 딥페이크 음란물 제작이 이전보다 수월해지면서 제작 사례가 더 만연해진 상황에서 국회의원과 테크 기업은 딥페이크 음란물 퇴치에 늑장 대응했다. 미국 전역에서는 23개 주에서 당사자 동의 없는 딥페이크 음란물 문제를 다룰 법률이 통과됐다. 테크 기업도 딥페이크 음란물 대응 관련 정책을 일부 강화했다. 그러나 딥페이크 음란물 제작 기능을 제공하는 앱은 애플과 구글 앱스토어에서 찾을 수 있다. 2024년 1월, 테일러 스위프트의 딥페이크 음란물이 X에 공유된 사례도 있다. 게다가 사용자는 테크 업계 대기업의 단일 계정 로그인 인프라로 딥페이크 웹사이트 계정을 손쉽게 개설할 수 있다.
민주주의 기술 센터(Center for Democracy and Technology) 표현의 자유 프로젝트 책임자 케이트 루아인(Kate Ruane)은 현재 주류 테크 플랫폼 대부분 당사자 동의 없는 노골적인 성적 이미지 배포 금지 정책을 두고 있으며, 최대 규모 플랫폼 대부분 딥페이크 퇴치 원칙에 동의한다고 전했다. 루아인은 대다수 테크 플랫폼보다는 내용이 모호한 텔레그램의 서비스 약관을 언급하며, “당사자 동의 없는 노골적인 성적 이미지 제작이나 유포 행위를 실제로 금지하는 것이 맞는지 분명히 알기 어렵다”라고 비판했다.
복수 시민 단체가 과거, 온라인 사기꾼, 극우 단체, 테러 관련 콘텐츠 등에 서비스를 제공한 사례가 여러 차례 발견되었다는 점에서 오래전부터 텔레그램의 해로운 콘텐츠 제거 접근 방식을 비판해왔다. 2024년 8월, 텔레그램 창립자이자 CEO인 파벨 두로프(Pavel Durov)가 각종 법률 위반 의혹으로 프랑스에서 체포 후 기소되면서 텔레그램은 서비스 약관을 일부 개정하고, 법률 집행 기관에 데이터를 제공하기 시작했다. 와이어드는 텔레그램 측에 딥페이크를 특별히 금지하는가 문의했으나 어떠한 답변도 돌아오지 않았다.
피해 발생
아저 연구원은 텔레그램이 딥페이크 범죄가 이루어지는 공간이라는 거의 독보적인 위치에 올랐다고 말한다. 아저 연구원은 “텔레그램에는 검색 기능이 있다. 따라서 사용자는 커뮤니티, 대화, 봇 등을 검색할 수 있다. 봇 호스팅 기능을 제공하기도 한다. 텔레그램은 실질적으로 딥페이크 음란물 제작 수단이 존재하는 공간이다. 그와 동시에 봇으로 제작한 딥페이크 음란물을 공유할 수 있어 실제로 딥페이크 음란물 제작의 최종 결과로 피해가 발생하는 곳이기도 하다”라고 설명했다.
2024년 9월 말 일부 딥페이크 음란물 제작 채널에 텔레그램이 채널에서 제공하는 봇을 제거했다는 공지를 올리기 시작했다. 2024년 9월 30일 자로 구독자 29만 5,000명이 접속한 어느 한 채널에는 텔레그램이 채널에서 제공하는 봇을 금지한 사실을 공지했다. 그러나 사용자가 접근할 새로운 딥페이크 음란물 제작 봇 링크를 함께 공유했다. (해당 채널은 와이어드가 텔레그램에 문의한 뒤 삭제됐다.)
이미지 기반 성범죄에 맞선 보호 캠페인 단체인 #NotYourPorn 공동 창립자 겸 소장인 엘레나 마이클(Elena Michael)은 “텔레그램과 같은 앱과 관련하여 실제로 걱정되는 부분은 특히 피해자의 관점에서 추적과 관찰이 어렵다는 문제이다”라고 말했다.
마이클은 텔레그램이 안전 문제를 논의하기 극도로 어려웠으나 지난 몇 년간 텔레그램이 일부 문제를 개선한 점에 주목했다. 다만, 텔레그램이 딥페이크 음란물과 같은 문제 콘텐츠를 직접 관리하고 분류하는 데 더 적극적으로 나서야 한다고 덧붙였다.
마이클은 “딥페이크 음란물 피해자가 되었다고 생각해 보아라. 딥페이크 음란물 제작과 유포 문제를 개인이 짊어져야 할 짐으로 두어서 안 된다는 사실이 분명하다. 문제 발생 후 나서기보다는 적극적인 대책을 적용해야 하는 기업이 부담해야 하는 문제이다”라고 지적했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
<기사원문>
Millions of People Are Using Abusive AI ‘Nudify’ Bots on Telegram
저작권자 © WIRED Korea 무단전재 및 재배포 금지
저작권자 © WIRED Korea 무단전재 및 재배포 금지
이 기사를 공유합니다