By WILL KNIGHT, WIRED US

2023년 5월, 러시아 국영 언론 기관 스푸트니크 인터내셔널(Sputnik International)이 미국의 외교 정책을 강력 비판하면서 바이든 행정부를 공격하는 트윗을 여러 개 게재했다. 각각의 게시물 모두 카운터클라우드(CounterCloud)라는 계정이 생성한 무례한 표현을 담고 있으나 제대로 꾸며낸 거짓 정보를 담고 있다. 간혹 뉴스나 논평 기사 링크를 함께 공유하여 올린 게시글도 있다. 미국을 비판하는 러시아 대사관과 중국 언론 기관도 카운터클라우드의 트윗에 비슷한 반응을 보였다.

러시아 내 미국 비판은 보편적인 일이지만, 비판적인 견해를 게재한 카운터클라우드의 트윗은 이례적이다. 네아 포(Nea Paw)라고 이름을 밝힌 프로젝트 관계자에 따르면, 카운터클라우드의 트윗과 기사, 트윗으로 인용한 기자와 뉴스 웹사이트 모두 인공지능(AI)이 알고리즘으로 제작한 것이기 때문이다. 프로젝트는 AI를 이용한 거짓 정보 대규모 생성의 위험성을 부각한다는 취지로 설계되었다. 포는 카운터클라우드의 트윗과 기사를 공개적으로 게재하지는 않았으나 카운터클라우드에 와이어드 기사를 제공했다. 또한, 프로젝트를 설명한 영상도 생성했다.

포는 사이버 보안 전문가라고 주장하며, 일각에서는 프로젝트가 무책임하다고 본다는 점에서 익명을 선호한다고 밝혔다. 포가 밝힌 바에 따르면, 러시아의 메시지 전달에 맞선 카운터클라우드 캠페인은 챗GPT의 근간이 된 기술을 비롯한 오픈AI의 텍스트 생성 기술과 누구나 사진, 일러스트레이션 생성 목적으로 손쉽게 접근할 수 있는 AI 툴을 이용하여 생성했다. 프로젝트에 지출한 비용은 400달러이다.

포는 프로젝트가 광범위한 영역에서 사용할 수 있는 생성형 AI 툴로 국가 지원 선동 광고를 추진하는 교묘한 정보 작전 제작이 훨씬 더 수월해졌음을 보여준다고 말한다.

포는 와이어드에 보낸 메일을 통해 “생성형 AI를 이용한 교묘한 거짓 정보 유포를 해결할 완벽한 해결책이 없다고 생각한다. 피싱 공격이나 스팸, 소셜 엔지니어링에 맞설 완벽한 한 가지 해결책이 없는 것과 같다”라고 주장했다. 사용자에게 조작된 AI 생성 콘텐츠를 보여주어 교육하는 방식이나 생성형 AI 시스템의 악용 사례 차단, 브라우저 내 AI 감지 툴 삽입 등으로 거짓 정보 생성 및 유포 작전을 완화할 수는 있다. 포는 “하지만 생성형 AI를 이용한 거짓 정보 유포가 매우 지능적이거나 비용 부담이 매우 적거나 특별히 작전 효과가 높다고 생각한다”라고 말했다.
 
지난 몇 년간 복수 거짓 정보 연구원은 AI 언어 모델이 고도의 맞춤화된 선동 광고 작전과 교묘한 방식으로 사용자와 상호작용하는 SNS 계정 운영에 동원될 수 있다고 경고했다.

스탠퍼드 인터넷 관측소(Stanford Internet Observatory) 기술 연구 책임자 레니 디레스타(Renee DiResta)는 카운터클라우드 프로젝트로 생성한 기사와 기자 프로필은 설득력이 뛰어나다고 평가했다.

디레스타는 “정부 산하 선동광고 유포 세력 이외에 소셜 미디어 관리 기관과 영향력 행사 작전을 제공하는 부대도 생성형 AI 툴을 선택하고, 작전에 통합할 것임이 분명하다”라고 말했다. 가짜 콘텐츠를 널리 배포하여 공유하는 과정이 어렵지만, 영향력이 있는 사용자에게 돈을 주어 가짜 콘텐츠를 공유할 수 있다.

AI로 생성한 온라인 거짓 정보 유포 작전이 시행됐다는 몇 가지 증거가 이미 등장했다. 최근, 학계의 어느 한 연구팀은 초기 수준의 암호화폐 투자 유도 봇넷이 챗GPT를 기반으로 생성됐다는 사실을 확인했다. 해당 연구팀은 연구 결과를 두고 챗봇 기능의 근간이 되는 AI가 이미 더 교묘한 정보 유포 작전에 동원되었을 가능성도 제시했다.

2024년 미국 대통령 선거를 앞두고 합법적인 정치 작전에서도 이미 AI에 의존하였다. 2023년 4월, 공화당 전당위원회(Republican National Committee)는 가짜 AI 생성 이미지를 포함한 조 바이든의 공격 영상을 공개했다. 두 달 뒤 론 드산티스(Ron Desantis) 공화당 경선 후보와 관련된 SNS 계정에 공개된 도널드 트럼프의 명예 실추 의도를 담은 영상에 AI 생성 이미지가 포함됐다. 연방 선거 관리 위원회(Federal Election Commission)는 정치 광고의 딥페이크 사용을 제한할 것이라고 발표했다.

AI 언어 모델의 거짓 정보 생성 및 유포 가능성을 연구한 연구원 미카 무서(Micah Musser)는 주류 정치 광고에서 언어 모델을 이용하여 홍보 콘텐츠나 정치 자금 조달 메일, 상대 정당 및 후보 공격 광고 등을 생성하려 할 것으로 예상한다. 무서 연구원은 “AI 생성 거짓 정보와 관련하여 규범이 불확실한 불안정한 시대이다”라고 말했다.

AI로 생성한 글 대부분 꽤 일반적이면서 감지하기 쉽다. 그러나 인간이 거짓 정보 유포 작전을 추진할 AI 생성 콘텐츠를 교정한다면, 유포 효과가 높을 것이다. 게다가 자동화 필터 사용 중단은 불가능에 가까운 일이 될 것이다.

2023년 7월, 오픈AI CEO 샘 알트만(Sam Altman)은 오픈AI의 AI 툴이 맞춤화된 대규모 자동 거짓 정보 생성에 동원될 것을 우려한다는 트윗을 게재했다.

오픈AI가 처음 API를 통해 텍스트 생성 기술을 사용하도록 배포했을 당시 정치적 사용은 모두 금지했다. 그러나 2023년 3월, 오픈AI는 특정 인구 집단을 겨냥한 대규모 메시지 생성 목적의 사용 금지 정책을 개선했다. 워싱턴포스트는 대규모 언어 모델이 거짓 정보 생성을 차단하지 못할 것이라고 보도했다.

오픈AI 제품 정책 책임자 킴 말파치니(Kim Malfacini)는 오픈AI가 정치적 목적으로 텍스트 생성 기술을 사용하는 사례를 연구 중이라고 밝혔다. 사용자는 온라인으로 접하는 콘텐츠가 AI로 생성된 콘텐츠일 수 있다고 추측하지 않는다. 말파치니는 “여러 산업에서의 AI 툴 사용 사례는 계속 증가할 것이다. 그리고 사회는 그에 따라 AI 툴 사용 사례를 개선할 것이다. 그러나 일정 순간에 이르면, AI 툴 사용 사례를 계속 개선할 것이다”라고 말했다.

제약이 거의 없는 상태에서 개발할 수 있는 오픈소스 모델을 포함하여 비슷한 AI 툴 상당수를 공개적으로 사용할 수 있어, 유권자는 조만간 정치계에서 AI를 사용하는 사례를 발견하게 될 것이다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
It Costs Just $400 to Build an AI Disinformation Machine