By VITTORIA ELLIOTT, WIRED US

2023년 여름 내내 미국 대통령 선거 출마 의사를 밝힌 론 드산티스(Ron DeSantis) 플로리다주지사를 지지하는 기관인 정치 행동위원회(PAC)가 유튜브에 도널드 트럼프 전 대통령의 영상을 게재했다. 해당 영상은 트럼프가 킴 레이놀즈(Kim Reynolds) 아이오와 주지사를 공격하는 모습이 담긴 영상이다. 해당 영상 속 장면은 실제 장면이 아니다. 영상 속 글자는 트럼프가 게재한 트위터 게시글이 맞지만, 음성은 인공지능(AI)으로 생성했다. 영상은 금세 삭제됐으나 영상은 2024년 미국 대통령 선거를 포함한 전 세계 여러 선거에서 생성형 AI의 역할이라는 의문을 제기했다.

SNS 플랫폼과 정치인 모두 AI로 실존 인물이 하지 않은 말을 하는 모습이나 가상의 인물을 실존 인물처럼 AI로 생성한 콘텐츠인 딥페이크에만 집중한다. 하지만 와이어드의 취재에 응한 여러 전문가는 딥페이크 이외에도 다양한 AI 콘텐츠의 위험성이 존재한다고 경고했다. 생성형 AI가 널리 사용되기 훨씬 전부터 많은 이들이 ‘칩페이크(cheapfakes)’, ‘쉘로우페이크(shallowfakes)’ 등을 제작했다. 이미지나 영상, 오디오 클립을 잘못 분류하여 실제와는 다른 시간이나 위치를 암시하는 간단한 조작이나 실제 발생하지 않은 일이 실제로 발생한 것처럼 보이도록 하는 미디어까지 다양하다. 각종 조작된 콘텐츠는 SNS에 확산되도록 둔다면 심각한 영향을 미칠 수 있다. 2024년, 총 50개가 넘는 국가에서 총선을 치르는 가운데, 의도를 떠난 거짓 정보가 대중의 인식과 정치적 서사를 형성하는 강력한 수단이 될 수 있다.

지난 몇 달간 메타와 유튜브 모두 드산티스 지지 영상과 같은 정치 광고 내 생성형 AI 사용 관련 새로운 정책과 함께 대응했다. 2023년 11월, 메타는 유튜브를 소유한 구글과 함께 정치 광고 기관을 대상으로 생성형 AI 사용 여부를 공개하도록 요구하며, 새로이 사용 가능한 툴이 유권자의 오해를 유발하는 데 악용될 수도 있다는 우려에 대응한다고 발표했다. 메타는 2024년 미국 대통령 선거를 앞두고 생성형 AI 콘텐츠 접근 방식을 공개한 블로그 게시글을 통해 광고 기업에 AI나 다른 디지털 수법을 이용해 정치 광고를 제작하거나 특정 사례에서 정치적, 사회적 문제를 다룬 때에는 디지털 수법 사용 사실을 공개하도록 요구한다고 설명했다.

인권 옹호 목적의 기술 사용을 돕는 비영리 단체 위트니스(Witness) 프로그램 소장 샘 그레고리(Sam Gregory)는 “AI를 포함한 여러 디지털 수단 사용 공개 범위는 정치 광고에만 해당한다. 정치 광고는 갈수록 AI 생성 미디어를 사용하는 이들의 생태계에서 극소수에 불과하다”라며, “이미 정치 광고에 적용된 셸로우페이크나 칩페이크의 포괄적인 접근 방식도 포함하는가 확실하지 않다. 물론, 정치적 맥락에서의 사용 방법이라는 훨씬 더 포괄적인 접근 방식도 확실하지 않다”라고 말했다.
 
대중의 오해를 유발하는 정치 콘텐츠 모두 광고가 되는 것은 아니다. 2020년, 낸시 펠로시 전 연방하원의장이 불분명한 발음으로 연설하는 모습이 담긴 영상이 확산된 적이 있다. 영상 자체는 가짜가 아니었으나 영상 속도가 느려지면서 펠로시가 만취한 것처럼 보이도록 했다. 트위터, 틱톡, 유튜브 등은 해당 영상을 삭제했으나 페이스북에는 ‘일부 내용 가짜’라는 라벨과 함께 해당 영상이 남아있었다. 영상 자체는 광고에 해당하지 않았으나 정치계 인사를 겨냥한 영상임은 분명했다.

2023년 초, 메타의 감독 위원회는 조 바이든 미국 대통령의 조작된 영상을 검토했다. 해당 영상은 AI로 생성하거나 편집한 영상은 아니지만, 메타가 자사 플랫폼에 유포되도록 둔 영상이다. 위원회는 메타의 조작된 언론 정책을 추가 검토했다. 조작된 언론 정책은 특정 인물이 말하지 않은 주제와 AI나 머신러닝 제품을 제거한다는 규정 등을 다룬다. 앞서 언급한 펠로시 의원의 영상과 바이든 대통령의 영상과 같은 유형의 영상은 정책 위반 사항이 아니다. 비영어권 국가의 맥락에서 유독 심각한 문제가 되는 조작된 오디오는 정책 적용 대상에서 거의 배제되었다.

그레고리 소장은 “정치 광고는 의도적으로 감정을 형성하고, 영향력을 행사한다. 따라서 정치 광고 문화는 종종 누군가가 한 발언의 차원과 맥락과 상관없는 발언 일부 발췌 등과 같은 행동을 한다. 일부 측면에서 기본적으로 칩페이크나 쉘로우페이크에 해당한다”라고 설명했다.

메타는 정치 광고 범위에 해당하지 않는 조작된 콘텐츠 관리 방식이나 정치 광고에서의 AI 사용을 적극 감지할 계획 관련 의견 공개에 답변하지 않았다.

그러나 많은 기업이 현재 일반 사용자에게서 AI 생성 콘텐츠 관리 방식만 다루기 시작했다. 일례로, 유튜브는 최근 들어 생성형 AI를 사용한 사용자 생성 영상 라벨을 요구하는 더 강력한 정책을 도입했다. 구글 대변인 마이클 아시만(Michael Aciman)은 와이어드와의 인터뷰에서 콘텐츠 일부 내용 변경이나 합성을 시사하는 설명 패널 라벨을 추가하는 것은 물론이고, 선거 등 민감한 주제에 해당하는 콘텐츠의 중요한 라벨 추가 적용 규정을 추가한다고 밝혔다. 아시만 대변인은 칩페이크를 포함하여 조직된 미디어 다수가 거짓 정보 유포나 혐오발언 등 유튜브의 다른 정책을 위반했다면, 제거한다고 설명했다.

아시만 대변인은 “구글은 자동화 시스템과 인간 검토 담당자의 작업을 함께 이용하여 포괄적으로 정책을 적용한다. 콘텐츠 관리 작업에는 24시간 내내 세계 각지에서 근무하는 광고 네트워크 관리 및 정책 시행 지원 전담 인력 1,000여 명의 작업이 포함되었다”라고 전했다.

그러나 캘리포니아대학교 버클리캠퍼스 정보대학 교수 하니 파리드(Hany Farid)는 SNS 플랫폼은 이미 2024년 선거를 치를 여러 국가에서 효과적으로 콘텐츠를 관리하지 못했다고 지적했다. 파리드 교수는 “구글이 조작된 콘텐츠를 찾아낼 방식을 설명하기를 바란다. 구글은 단순히 조작된 콘텐츠에 맞선 정책을 적용했다고 발표했다. 그런데 어떤 방식으로 정책을 시행하는가? 지난 20년간 미국 내에서는 물론이고, 전 세계에서도 대규모 플랫폼이 조작된 콘텐츠의 문제에 대응할 정책을 제대로 적용하고 문제를 예방할 능력이 있다는 사실을 입증할 증거가 발견된 적이 없었다”라고 말했다.

메타와 유튜브 모두 정치 광고 게재자를 대상으로 광고 구매자 정보와 광고 구매자 위치 등 추가 정보를 포함하여 메타, 유튜브에 상세 정보를 등록할 것을 요구한다. 그러나 대부분 자가 보고로 이루어진다는 점에서 일부 광고는 메타, 유튜브 정책이 제대로 적용되지 않을 수도 있다. 2023년 9월, 와이어드는 극우 단체 PragerU에서 확장된 단체인 PragerU Kids가 메타의 정치적 혹은 사회적 문제 정의에 해당하는 광고를 운영했다는 점을 보도했다. 바로 메타가 추가 투명성을 요구하는 광고에 해당한다. 그러나 PragerU Kids는 정치 광고 기관으로 등록하지 않았다. (와이어드 보도 이후 메타는 PragerU Kids의 광고를 제거했다.)

메타는 광고 기관이 게재한 광고를 제대로 분류한다는 점을 보장할 목적으로 적용하는 시스템 관련 의견 공개 요구에 응하지 않았다.

파리드 교수는 AI가 특히 플랫폼 운영 기업이 선거 무결성에 초점을 맞추는 조직 규모를 축소하면서 발생하는 의도 여부를 떠난 거짓 정보, 정보 생태계 내 대중의 신뢰도 저하 등과 같은 문제에 대한 관심 분산 원인이 될 수 있다고 우려한다.

파리드 교수는 “대중을 속이는 정치 광고가 나쁘다고 생각한다면, 광고 제작 방식을 신경 쓰는 이유가 무엇인가? AI로 생성하는 거짓 정치 광고가 아닌 거짓 정치 광고 기간 전체를 막아야 한다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Worried About Political Deepfakes? Beware the Spread of ‘Cheapfakes’