구글, 애플, 디스코드 등 주요 테크 기업이 신속하게 인공지능(AI)으로 사진 속 실제 인물의 옷을 제거하여 피해자 동의 없이 피해자의 모습을 나체로 변경하는 ‘옷 벗기기’ 웹사이트 접속을 실행했다. 문제의 옷 벗기기 웹사이트 12곳 이상은 지난 몇 달간 테크 기업의 로그인 버튼을 눌러 접속할 수 있었던 딥페이크 웹사이트였다.
와이어드의 자체 조사를 통해 구글, 디스코드, 트위터, 패트리온(Patreon) 등 접속 인프라를 이용하여 이른바 옷 벗기기 및 누드 이미지 웹사이트에 접속할 수 있는 최대 규모 웹사이트 16개를 발견했다. 이 과정에서 사용자는 딥페이크 웹사이트 계정을 손쉽게 생성하고는 신뢰 계층을 제공한 뒤 사용자에게 크레딧 결제와 이미지 생성을 지원했다.
당사자 동의 없이 여성과 여학생에게 겁을 줄만한 이미지를 생성하는 봇과 웹사이트는 다년간 존재했으나 생성형 AI를 도입한 웹사이트와 봇의 수가 증가했다. 옷 벗기기 이미지 생성 기능을 내세운 성범죄가 만연한 사실은 경계해야 할 수준이다. 게다가 10대 남학생이 생성형 AI로 동급생의 음란물 이미지를 생성한 사례도 알려졌다. 비판론자 사이에서는 복수 테크 기업이 문제에 늑장대응을 했다고 지적한다. 웹사이트에서 검색 결과 순위 상단과 SNS 내 유료 광고, 앱스토어에 배포된 앱 등으로 생성형 AI 기반 나체 이미지 생성 웹사이트와 봇이 등장하는 사례를 문제삼았다.
사이버 폭력 안전 훈련 비영리 단체 EnTAB(Ending Technology-Enabled Abuse) 창립자인 애덤 도지(Adam Dodge) 변호사는 “테크 업계 대기업이 개발한 기술을 악용하여 여성과 여학생을 대상으로 한 성폭력의 보편화 문제가 지속되도록 한다”라며, “접속 API는 편리한 수단이다. 성폭력을 편리한 행위로 만들어서는 안 된다. 생성형 AI를 이용한 성범죄 앱 접근을 막는 방식으로 장벽을 부여해야 한다”라고 말했다.
와이어드가 분석한 접속 툴은 API와 보편적인 인증 수단을 통해 배포되어 사용자가 기존 계정을 통해 딥페이크 웹사이트에 가입하도록 한다. 구글 로그인 시스템은 와이어드의 조사 대상이 된 웹사이트 16곳에, 디스코드의 로그인 시스템은 13곳, 애플 로그인 시스템은 6곳에 등장했다. X(구 트위터)의 로그인 버튼은 웹사이트 3곳에, 패트리온과 메시지 서비스 라인의 로그인 시스템은 동일한 웹사이트 2곳에 나타났다.
온라인 성폭력이 발생할 수 있다는 점에서 와이어드는 조사 대상이 된 웹사이트 이름을 공개하지 않는다. 일부 웹사이트는 같은 광범위한 네트워크의 일부분에 해당하며, 개인이나 기업이 소유했다. 테크 기업 여러 곳이 개발자에게 학대나 괴롭힘, 프라이버시 침해 등을 일으키는 방식으로 서비스를 사용할 수 없다는 사실을 명시한 포괄적인 규정을 확립해도 딥페이크 음란물 생성이 가능한 웹사이트로 연결할 수 있는 로그인 시스템이 적용되었다.
와이어드가 취재 시작 후 문의하자 디스코드와 애플 대변인은 딥페이크 음란물 생성 웹사이트와 연결된 개발자 계정을 제거했다고 말했다. 구글은 자사 서비스 약관을 위반 사실을 발견하는 즉시 해당 개발자에 대응할 것이라고 밝혔다. 패트리온은 노골적인 성적 이미지를 생성하도록 한 계정을 차단한다고 답변했다. 라인은 문제를 조사 중이라고 전했으나 특정 웹사이트와 관련한 의견을 공개할 수 없다고 전했다. X는 자사 시스템 악용 관련 의견 공개 요청에 답변하지 않았다.
디스코드 신뢰안전 부사장 주드 호프만(Jud Hoffman)은 몇 시간 뒤 와이어드에 개발자 정책 위반 사유로 문제가 된 웹사이트 접속을 영구 중단했다고 밝혔다. 영구 접속 중단 대상이 된 웹사이트 중 한 곳인 디스코드를 통한 인증 후 텔레그램 채널에 게재된 옷 벗기기 웹사이트는 일시 접근이 중단되어 접근 복구를 시도 중이라는 메시지가 등장했다. 옷 벗기기 서비스 운영자 측은 와이어드의 서비스 운영 관련 의견 공개 요청에 답변하지 않았다.
[사진=Freepik]
급속도로 확산되는 추세
2017년 말, 딥페이크 기술이 등장한 뒤 당사자 동의 없는 위협 영상과 이미지 생성 사례가 급속도로 증가했다. 영상은 비교적 생상하기 어려운 편이지만, 옷 벗기기나 나체 웹사이트과 앱을 사용한 이미지 생성은 이미 오래전부터 보편적인 일이 되었다.
최근, 옷 벗기기, 나체 웹사이트와 개발자를 상대로 소송을 제기한 샌프란시스코의 데이비드 치우(David Chiu) 변호사는 “딥페이크를 이용한 음란물 생성은 혁신이 아닌 성범죄임을 분명히 해야 한다”라는 견해를 피력했다. 치우 변호사는 소속 법무법인에서 집중적으로 조사한 딥페이크 기반 음란물 생성 웹사이트 16곳의 2024년 상반기 접속 횟수가 2억 회에 육박한다고 전했다. 치우 변호사는 “전 세계 여성과 여학생을 성적으로 착취하는 끔찍한 범죄를 일삼았다. 딥페이크로 생성한 나체 이미지는 괴롭힘, 굴욕, 위협 수단으로 악용됐다”라고 말했다.
옷 벗기기 웹사이트는 종종 음지에서 사업체 형태로 운영되며, 웹사이트 소유주나 운영 방식 등 상세 정보는 거의 제공하지 않는다. 동일 인물이 운영하는 웹사이트는 주로 비슷해 보이며, 사용 약관은 거의 똑같다. 그중 일부는 12개 이상 언어로 지원한다는 점에서 전 세계 어디서나 기승부리는 문제의 본질을 입증한다. 일부 텔레그램 채널은 각각 딥페이크 음란물 생성 웹사이트 가입자 수만 명을 보유했다.
딥페이크 음란물 생성 웹사이트는 계속 발전한다. 웹사이트 운영자가 제공하는 새로운 기능 공지 사항 안내 글이 빈번하게 게재된다. 일례로, 여성 체형 맞춤 제작 후 인스타그램 업로드가 가능한 AI를 제공한다고 주장하는 안내 글이 게재된 사례가 있다. 웹사이트는 주로 사용자에게 나체 이미지 생성 비용을 제공하고, 사용자에게 생성한 이미지를 공유하도록 하는 관련 제도를 운영한다. 간혹 일부 사용자는 함께 집단을 형성하여 나체 이미지 거래 결제 수단으로 이용할 암호화폐를 발행하기도 한다.
알렉산더 어거스트(Alexander August)라고 정체를 밝힌 이와 어느 한 딥페이크 음란물 생성 웹사이트 CEO라고 밝힌 이들은 와이어드의 취재 요청에 악용 가능성을 우려한다는 사실을 이해한다고 말했다. 웹사이트 CEO라고 밝힌 이는 여러 가지 안전 메커니즘을 적용하여 미성년자가 딥페이크 음란물 생성 피해 대상이 되는 사례를 막는다고 주장했다. 와이어드에 보낸 메일을 통해 “사회적 책임을 다하면서 종종 관리 담당자가 서비스 투명성과 안전, 신뢰성 강화를 위해 협력한다”라고 전했다.
테크 기업 로그인 시스템은 종종 누군가가 웹사이트에 로그인하고자 할 때나 버틐을 클릭하여 이미지를 생성하고자 할 때 등장한다. 해당 로그인 방식 사용자 수는 정확히 확인하기 어렵다. 대다수 웹사이트는 사용자가 이메일 주소만으로 계정을 생성하도록 지원한다. 그러나 검토 대상이 된 웹사이트 대부분 최소 두 기업의 로그인 API를 적용했다. 그중 구글 계정을 이용한 로그인 방식을 적용한 사례가 가장 많았다. 구글 계정으로 로그인하는 옵션을 선택하면, 사용자가 로그인하고자 하는 웹사이트에서 사용자 이름, 이메일 주소, 선호 언어, 프로필 사진 등에 접근한다는 구글 시스템의 명령이 등장한다.
구글 계정으로 로그인하기는 웹사이트와 연결된 개발자 계정 관련 정보도 일부 드러낸다. 예를 들어, 와이어드가 조사한 웹사이트 네 곳은 개발자의 지메일 계정 정보가, 6곳은 다른 계정 정보와 연결되었다. 구글 대변인은 “구글 계정으로 다른 웹사이트에 접속하고자 한다면, 개발자는 타인의 명예훼손이나 괴롭힘에 해당하는 행위나 콘텐츠는 물론이고 노골적인 성적 콘텐츠 홍보 금지 규정이 명시된 구글의 서비스 약관에 동의해야 한다”라며, 서비스 약관 위반 사실을 발견하는 즉시 적절한 대응을 할 것이라고 덧붙였다.
딥페이크 음란물 생성 웹사이트에 로그인 시스템을 적용한 다른 기업도 와이어드의 연락 이후 문제가 된 계정을 차단했다.
디스코드의 호프만 부사장은 와이어드가 문제를 알린 웹사이트에 대응하는 것은 물론이고, 디스코드 정책 위반 사실을 발견한 다른 웹사이트 문제에도 꾸준히 대응할 것이라고 밝혔다. 셰인 바우어(Shane Bauer) 애플 대변인은 애플이 자격을 부여한 여러 개발자의 라이선스를 영구 중단했다고 밝혔다. 또한, 딥페이크 음란물 생성 웹사이트에서 애플 계정으로 로그인하기 기능을 더는 사용할 수 없도록 조처했다고 전했다. 패트리온 기업 커뮤니케이션 책임자 아디야 테일러(Adiya Taylor)는 “패트리온의 커뮤니티 가이드라인 위반 사실이 확인된 계정이 어떠한 작업도 하지 못하도록 조처할 것이다”라고 말했다.
로그인 시스템은 물론이고, 일부 웹사이트에 등장하는 마스터카드나 비자 로고는 딥페이크 음란물 생성 기능 사용료 결제가 가능하다는 점을 암시한다. 비자는 와이어드의 의견 공개 요청에 답변하지 않았다. 마스터카드 대변인은 “마스터카드 네트워크에서는 당사자 동의 없는 딥페이크 콘텐츠 구매를 동의하지 않는다”라며, 딥페이크 음란물 구매 목적의 결제 요청을 감지하거나 관련 문제를 인지할 때 적절한 대응을 할 것이라고 말했다.
테크 기업과 결제 서비스 제공 기업은 복수 언론에서 딥페이크를 당사자 동의 없는 음란물 생성 사례에 악용한 문제를 보도하자 당사자 동의 없는 이미지나 영상을 생성할 수 있는 AI 서비스에 대응했다. 포르노와 성폭력, 온라인 학대 법률 규제 전문가인 클레이 맥글린(Clare McGlynn) 더럼대학교 법학 교수는 테크 업계 대기업이 적극 대응을 하지 않는 방식으로 옷 벗기기 웹사이트와 그와 유사한 웹사이트가 증가하도록 했다고 비판한다.
맥글린 교수는 딥페이크 음란물 생성 웹사이트 접속 시 사용하는 로그인 시스템을 두고 “가장 기본적인 보안 단계와 관리 절차에서 대응 기회를 놓치거나 문제 대응 방식을 시행하지 않는다는 사실이 우려스럽다”라고 말했다. 이어, 기자나 사회 운동가가 규정 회피가 매우 쉽다는 사실을 강조할 때 테크 기업의 대처가 매우 부적절하다고 지적하기도 했다. 또, “테크 기업이 간편함을 과장하면서도 딥페이크 음란물 생성 웹사이트 연결 문제에는 무관심하다는 점이 분명하다. 그렇지 않으면, 가장 간단한 단계를 통해 딥페이크 음란물 생성 웹사이트 접근 사례를 줄일 수 있다”라고 설명했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Freepik]](/news/photo/202409/5780_7436_1312.jpg)
뉴스레터 신청