By MATT BURGESS, WIRED UK

메시징 앱 텔레그램은 자사 플랫폼에서 수만 건의 여성 비협의 이미지를 만든 AI 봇을 단속하라는 압력을 받고 있다.

사법기관들이 미성년 소녀들의 노골적인 이미지를 연출하는 데 사용된 것으로 추정되는 딥페이크 로봇의 활동을 들여다보고 있다. 이탈리아의 데이터 보호 규제 당국도 그 사용에 대한 조사를 개시했고, 애플의 iOS에서는 봇에 대한 접근이 제한되었다.

텔레그램에 대한 정밀 조사는 메시지 서비스 이용에 대한 여러 조사 결과 AI에 의해 생성되지 않은 여성들의 비협의 '보복성 포르노' 사진과 동영상을 공유하는 채팅방들이 발견됨에 따라 이루어졌다. 미국, 이탈리아, 한국, 그리고 이스라엘의 보고서들은 모두 텔레그램이 지난 1년 동안 어떻게 폭력적인 이미지를 공유하기 위해 사용되었는지를 상세히 보도했다.

연구원들은 텔레그램이 여성의 비동의 누드 이미지를 창조하는 것을 자동화한 딥 페이크 봇을 막는 데 실패했다고 주장했다. 이 봇은 2019년 처음 만들어진 딥누드 AI 도구 버전을 사용해 여성의 사진에서 옷을 지우고 신체 일부를 생성한다. 누구나 쉽게 봇을 사용하여 이미지를 생성할 수 있다. 10만 개 이상의 폭력적인 이미지들이 봇에 의해 공개적으로 공유되었고 그것과 관련된 몇몇 텔레그램 채팅 채널들이 공유되었다. 이들 채널에는 각각 수만 명의 멤버가 있었다.

보안업체 센시티(Sencity)의 연구원들이 올해 초, 텔레그램에서 봇을 발견했을 때 그들은 그것을 메시징 앱에 보고했다. 채팅 플랫폼의 소유주들이 그들의 플랫폼에서 봇을 제거하고 여성들이 기술적으로 학대를 당하는 것을 멈추게 하기를 바랐다. 하지만 그런 일은 일어나지 않았다.

센시티가 지난 10월 봇의 존재를 공개한 이후 이를 이용해 이미지를 공유한 그룹들이 이를 숨겨왔다. 센시티의 CEO 겸 수석 과학자인 조르지오 파트리니(Giorgio Patrini)는 "이제는 실제로 봇에 접근하는 것이 더 어려워졌다. 텔레그램에 봇을 광고하던 그룹들은 침묵했다."라고 말했다.

봇을 사용했던 여러 집단이 정체를 피하려고 이름을 바꿨다. 현재 많은 그룹이 전반적으로 딥페이크 기술과 관련된 다른 콘텐츠를 공유하고 있으며, 봇이 만든 '누드' 이미지의 공개 갤러리는 주인에 의해 지워졌다. 그리고 일부 그룹은 완전히 사라졌다.

그룹의 봇이 현재 그러한 것을 게시하고 있지는 않지만, 봇은 여전히 존재하고 있으며 계속해서 작동 하고 있다. 패트리니는 "봇은 그 누구에게도 파괴된 적이 없다. 우리가 봇을 공개한 이후에도 그 봇은 여전히 작동하고 있다." 한 예로, 그 봇의 제작자는 그 봇이 감시하에 계속 작동할 것이라고 말했다. 신원을 알 수 없는 제작자는 댓글 요청에 응하지 않았다.

지난 10월 말 텔레그램봇은 아이폰과 아이패드에서 접속이 불가능해졌고 애플 개발자 가이드라인 1.1절을 '위반'한다는 메시지를 보여줬다. 앱스토어를 통해 접근 가능한 앱에는 '성행위나 음란물'이 허용되지 않는다는 것이 애플의 규정이다. 텔레그램의 메시지들은 이후 봇을 표시할 수 없다는 일반적인 경고로 대체되었다.

애플은 텔레그램에 대한 질문이나 제한 조치를 하도록 지시했는지 여부에 대해서는 답변하지 않았다. 애플은 자신이 소유하지 않은 앱에서 콘텐츠를 차단하거나 어떤 메시지도 표시할 수 없지만, 앱스토어 규칙에 어긋나는 콘텐츠를 발견하면 개발자에게 통보한다는 입장이다. 이 규칙들은, 그 앱을 다운로드한 사람들이 올린 텍스트, 사진, 비디오가 포함된 앱들은 자료들이 게시되는 것을 걸러내는 방법을 포함해야 한다고 말한다. 이 봇은 여전히 안드로이드 기기와 텔레그램의 Mac 애플리케이션에서 이용할 수 있다.

한 텔레그램 그룹 채팅에서, 그 소유자는 텔레그램이 그것의 이름을 언급하는 것을 차단했다고 말한다. 그러나 와이어드는 텔레그램에 의해 어떤 조치도 확인할 수 없었다. 텔레그램의 대변인이나 서비스의 설립자인 파벨 듀로프(Pavel Durov)도 답변 요청에 응답하지 않았다. 두바이에 본사를 두고 있지만 전 세계에 서버를 두고 있는 이 회사는 텔레그램 봇이 초래한 폐해나 텔레그램의 운영을 허용하는 입장에 대해 공개적으로 언급한 적이 없다.

텔레그램은 2013년 설립된 이후 언론의 자유를 위한 사적 공간으로 자리매김하고 있으며, 종단간 암호화 상태는 전 세계 언론인과 활동가들이 사생활을 보호하고 검열을 피하기 위해 사용해 왔다. 하지만 이 앱은 문제가 있는 콘텐츠로 곤욕을 치르고 있다. 텔레그램은 2017년 7월 인도네시아의 위협 이후 테러 관련 콘텐츠를 금지하고 이를 없애기 위해 중재단을 만들겠다고 밝혔다. 애플도 플랫폼에서 부적절한 콘텐츠를 발견한 뒤 2018년 앱스토어에서 일시적으로 삭제했다.

옥스퍼드 인터넷 연구소의 마사 알리마르다니(Mahsa Alimardani) 연구원은 "그들은 콘텐츠 절제를 매우 자유주의적인 시각으로 보고 있으며 플랫폼에 있는 지배구조도 갖추고 있다고 생각한다"라고 말했다. 이란의 활동가들과 함께 일해온 알리마르다니 씨는 이란 당국이 만든 가짜 앱에 대해 사용자들에게 알리는 텔레그램(Telegram)을 주목하고 있다. 그녀는 "주 당국이 개입했을 때인 것 같다."라고 말했다.

10월 23일, 이탈리아의 데이터 보호 단체인 프로테지오네 데이 다티 퍼스널리(Garante per la Protezione dei dati Personali)는 텔레그램에 대한 조사를 개시하고 자료 제공을 요청했다.

규제당국은 성명에서 봇에 의해 생성된 누드 사진은 피해자들에게 "회복될 수 없는 피해를 줄 수 있다"고 밝혔다. 이탈리아 관리들이 조사를 개시한 이후, 패트리니는 텔레그램에서 더 많은 가짜 봇을 찾는 연구를 해왔다. 그는 이전에 센시티가 발견한 봇과 동일한 기능을 제공하는 것으로 보이는 이탈리아 봇들이 많이 있지만, 그것들은 작동하지 않는 것으로 보인다고 말한다.

밀라노 대학교와 투린 대학교의 학자들과의 별도 연구는 또한 이탈리아 텔레그램 그룹들의 네트워크를 발견했는데, 그들 중 일부는 사적이었고, 초대에 의해서만 접속할 수 있었으며, 딥 페이크 기술을 포함하지 않는 여성들의 비협의 이미지를 공유했다. 이들이 발견한 일부 집단은 회원 수가 3만 명을 넘어 비협의 이미지를 공유하거나 집단에서 탈퇴하도록 요구하기도 했다. 한 단체는 공공장소에서 촬영된 여성의 모습을 몰래 공유하는 데 주력했다.

비협의 영상과 기술을 전문으로 하는 맥알리스터 올리바리우스의 변호사인 혼자 체르벤카는 "텔레그램은 안을 들여다보고 스스로 책임을 져야 한다"고 말했다. 체르벤카는 기술 회사들이 그들의 사용자들을 더 잘 보호하고 남용되는 자동화 기술의 사용을 단속하기 위해 새로운 법이 필요하다고 말한다. 개발자들에게 텔레그램봇 API를 계속 제공한다면 애플, 구글, 마이크로소프트가 앱스토어에 제공하는 것과 같은 방식으로 공식 봇스토어를 개설하고 봇을 인증해야 한다. 그러나 체르벤카는 텔레그램이 이런 조치를 하도록 하기 위해 정부나 법적 압력이 가해지고 있지 않다고 덧붙였다.

파트리니는 딥페이크 기술이 빠르게 발전하고 있으며 텔레그램의 봇은 미래에 일어날 일의 징조라고 경고한다. 텔레그램의 봇은 이러한 유형의 이미지 남용이 이처럼 대규모로 목격된 최초의 사례로, 기술적 전문지식이 필요하지 않은 누구나 쉽게 사용할 수 있다. 대중 구성원들이 딥페이크 기술로 표적이 된 것도 처음의 일이었다. 이전에 유명인사와 공인은 비협의 AI 포르노의 대상이었다. 그러나 기술이 점점 더 보편화됨에 따라 이러한 유형의 남용 사례가 온라인에서 더 많이 발견될 것이라고 한다.

패트리니는 "이것은 하나의 조사였지만 우리는 인터넷상의 여러 곳에서 이런 종류의 학대를 발견하고 있다"고 설명했다. 더 작은 규모로 온라인에는 이미지를 도용하거나 유출해 용도 변경, 수정, 재생성, 합성하거나 AI 알고리즘을 개발해 우리가 모르는 사이에 우리의 얼굴을 사용하는 이미지를 만드는 곳이 많다고 한다.

Matt Burgess는 WIRED의 부편집장이다. 그의 트윗은 @mattburgess1에서 볼 수 있다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 배효린 에디터)

<기사원문>
The AI Telegram bot that abused women is still out of control