By WILL BEDINGFIELD, WIRED UK

2023년 10월 7일(현지 시각), 하마스가 이스라엘 기습 공격을 개시한 주에 전쟁 선포와 함께 유례없는 수준으로 거짓 정보가 대거 생성됐다. 이 때문에 주요 신구 단체가 실수를 범하면서 SNS 기업은 거짓 정보를 제대로 다루지 못한 채로 엉망이 되는 알고리즘 기반 혼란스러운 전쟁이 시작됐다.

그러나 SNS에 떠도는 각종 가짜 사진과 영상 중 인공지능(AI) 툴이 생성한 콘텐츠는 여전히 중요하지 않은 대상으로 남아있다. 일각에서는 이스라엘-하마스 전쟁이 가짜 생성형 AI 이미지가 장악한 첫 번째 전쟁이 될 가능성을 두고 의문을 제기했으나 생성형 AI는 더 복잡하면서도 교묘한 방식으로 영향을 미친다.

온라인 거짓 정보 연구 기관인 대서양위원회(Atlantic Council) 디지털 포렌식 연구소 부편집자 라일라 마쉬쿠르(Layla Mashkoor)는 “AI 사진이 SNS에 퍼지는 것은 확실하지만, 정보 확산의 중심 역할을 하는 수준은 아니다”라고 말했다.

마쉬쿠르는 주로 AI로 생성한 거짓 정보는 특정 세력의 편에서 사회 운동가가 지지를 요청하거나 광범위한 지지라는 인상을 주기 위해 사용한다. 그 예시로 이스라엘 국방부를 지지하는 내용의 텔아비브의 AI 생성 게시판과 이스라엘 국방부를 지지하는 이들의 가짜 사진을 공유하는 이스라엘 계정, AI를 이용하여 하마스를 비난하는 콘텐츠를 생성하는 이스라엘 인플루언서, 이스라엘의 가자지구 폭격 피해자 모습을 담은 AI 이미지 등을 언급할 수 있다.

마쉬쿠르는 “그동안 온라인에서 본 일반적인 사용 사례 측면에서 대부분 지지를 얻기 위해 이용되었다. 지금 당장 AI를 사용하는 방식 중 가장 악의적인 방식은 아니다.

핵심은 온라인에 확산하는 거짓 정보의 양이다. AI 이미지가 온라인에서 펼쳐지는 대화를 펼치기 어렵도록 만드는 요소이기 때문이다. 마쉬쿠르는 “정보 공간은 이미 진위성을 갖춘 실제 사진과 영상으로 넘쳐난다. 그리고 사진과 영상 자체는 SNS에 넘쳐난다”라고 말했다.
 
마쉬쿠르가 언급한 바는 하버드 케네디 대학 거짓 정보 리뷰(Harvard Kennedy School Misinformation Review)에 게재된 최신 논문 중 생성형 AI가 전 세계 거짓 정보 유포 역할을 할 것이라는 내용을 다룬 논문에도 반영되었다. 해당 논문 저자는 생성형 AI 우려가 과장된 것이라고 주장했다. 다만, 이론적으로 생성형 AI가 추후 급속도로 거짓 정보를 확산하도록 할 수는 있으나 종종 기관 신뢰도가 낮으면서 당파적 성향이 짙어 거짓 정보를 찾는 이들은 음모론 웹사이트부터 미국 극우 성향 웹사이트 4chan 포럼까지 추구하기에는 전혀 말이 안 되는 일에 매우 익숙하다.

논문은 “인간의 창의성은 인류 역사 내내 거짓인 이야기를 꾸며냈으며, 인간은 이미 거짓 정보를 생성하고 전 세계로 유포할 자유가 있다는 점을 보여주었다는 점에서 전 세계 인구 다수가 온라인이든 실제 세계에서든 거짓 정보를 찾아 나설 확률은 낮다”라는 결론을 내렸다. 게다가 거짓 정보는 해당 정보를 접하는 이들에게서만 신뢰를 얻으며, 콘텐츠 유포 기간은 유한하다는 점을 고려했을 때 AI로 생성한 거짓 정보의 영향은 매우 적다.

자체적으로 주류 피드가 된 이미지와 관련, 연구 논문 저자는 포토샵이나 영상 편집 소프트웨어를 사용하듯 생성형 AI가 이론적으로 맞춤 수준과 현실성이 높은 콘텐츠를 생성할 수 있다는 점에 주목했다. 선명하지 않은 스마트폰 영상의 날짜를 변경하는 것만으로도 거짓 정보 확산 효과가 있는 것으로 입증됐다. 기자와 사실 검증 전문가에게는 맥락이 없는 이미지나 하마스 공격이라는 주장과 함께 공유된 비디오 게임 영상과 같이 조잡하게 조작한 거짓 정보를 파악하는 것보다 딥페이크의 진위성을 파악하는 것이 상대적으로 더 쉽다.

따라서 화려한 신기술에 지나치게 집중하는 일은 종종 오해를 유발한다. 논문 공동 저자이자 취리히대학교 디지털 민주주의 연구소 거짓 정보, 신뢰, SNS 등을 연구하는 박사후 연구원 아샤 알타이(Sacha Altay)는 “사실적인 정보는 항상 많은 이들이 인터넷에서 찾는 정보나 인터넷에 확산될 필요가 있는 정보를 의미하지 않는다”라고 말했다.

마쉬쿠르는 정보를 공급하는 측에서도 마찬가지라고 주장했다. 거짓 정보 개발은 시작점이 아니다. 마쉬쿠르는 “대화나 온라인 정보 공간을 조작할 방법은 많다. 게다가 특정 기술에 접할 필요 없이 간혹 관심도를 낮추거나 수월하게 무언가를 조작할 수 있다. 현재 AI 생성 소프트웨어에 손쉽게 접근할 수 있어도 직접 정보 조작 방법을 찾아 나선다면, 손쉽게 조작할 수 있다”라고 설명했다.

하버드 케네디 대학 연구 논문의 또 다른 저자이자 옥스퍼드 인터넷 연구소 박사학 과정 재학생인 펠릭스 사이먼(Felix Simon)은 연구팀이 논문으로 제시한 의견이 생성형 AI가 일으킬 수 있는 피해 논의를 끝낼 방법을 모색하는 것이 아니라 생성형 AI가 진실의 최종 다툼을 촉발할 것이라는 주장에 반박하려 한다는 점을 경고했다. 거짓 정보 확산과 함께 사실을 접할 수 없다는 공포는 종종 새로운 기술과 함께 확산된다.

재앙이라는 관점을 제외하면, 생성형 AI가 실제로 기존 거짓 정보 생태계에서 역할을 찾은 방식을 수월하게 연구할 수 있다. 캘리포니아대학교 버클리캠퍼스 정보대학 교수 하니 파리드(Hany Farid)는 생성형 AI는 러시아의 우크라이나 침략 시작 당시보다 훨씬 더 만연해진 부분을 예시로 언급했다.

파리드 교수는 생성형 AI를 갈등 상황에서 발생한 척하는 오디오와 영상으로 남아있는 유령과 같은 존재라고 말했다. 또, 정보의 진실성을 요청하는 기자의 전화를 매일 10통 안팎으로 받는다고 전했다. 그는 “많은 이들에게 불편한 진실을 무시할 수 있는 능력이 이스라엘-하마스 전쟁에서 확실히 제 역할을 한다”라고 말했다.

파리드 교수는 즉시 사실을 무시할 사례 여러 가지를 언급했다. 그중에는 가자지구 알아흘리 아랍 병원 미사일 공습 배후 세력 디지털 증거 여러 개를 지목한 이들과 건물 더미에 묻힌 아이 사진 등이 있다. 그중에는 진짜 이미지와 가짜 이미지가 섞여 있다.

가장 대표적인 사례로 베냐민 네타냐후 이스라엘 총리가 개인 X(구 트위터) 계정에 게재한 불에 탄 아동의 사진을 언급할 수 있다. 해당 사진이 공개된 후 일각에서는 해당 사진을 AI 감지 툴에 주입하고, 네타냐후 총리가 공개한 사진은 AI로 조작한 사진이라는 확신이 확산되었다. 파리드 교수 연구팀은 사진 여러 장을 분석하고는 AI가 동원되지 않았다는 결론을 내렸다. 하지만 이미 의심의 씨앗이 뿌려진 후의 일이다. 게다가 누군가가 AI로 사진 속 아동 사진을 강아지 사진으로 변경하면서 문제가 더 복잡해졌다.

파리드 교수는 “사진이 온라인에 확산되자 많은 누리꾼이 베냐민 네타냐후 총리가 보유한 사진이 가짜일 수도 있다고 의심하기 시작했다. 그리고 두 가지 버전으로 사진이 확산되자 일각에서는 뒤늦게 확산된 사진이 원본 사진이라고 주장하기 시작했다. 사실을 파악하기에는 상황이 복잡해졌다”라고 설명했다.

다시 말해, 거짓 정보 유포 과정은 다음과 같은 역사적 형태를 따른다. 거짓 정보를 SNS에 공유한 뒤 알고리즘과 인간을 통해 강화한다. 파리드 교수는 “포괄적인 사진과 급속도로 영향을 미칠 수 있는 세계에서 이번 이스라엘-하마스 전쟁은 과거에 발발한 전쟁보다 더 끔찍하다. 생성형 AI가 단독이 아닌 부분적인 영향을 미쳤다고 생각한다. 생성형 AI가 전쟁 도중 정보 확산 상황에 복잡하면서 미묘한 방식으로 영향력을 행사한다”라고 진단했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Generative AI Is Playing a Surprising Role in Israel-Hamas Disinformation