By VITTORIA ELLIOTT, WIRED US

2023년 5월, 미 국방성 인근이 폭발한 모습으로 합성된 가짜 사진이 트위터에 널리 확산됐다. 백악관이 폭발한 모습을 담은 가짜 사진도 바로 확산됐다. 의도적으로 생성된 가짜 정보 및 선동성 거짓 정보 전문가 다수가 재빨리 두 사진을 인공지능(AI) 생성 이미지로 분류했다. 하지만 이미 두 장의 가짜 사진 확산 여파로 주식시장이 급락하기 시작했다.

앞서 언급한 사례는 가짜 콘텐츠가 현실 세계에 문제가 될 수 있는 영향으로 이어지는 과정을 보여주는 가장 최근의 사례이다. 생성형 AI 열풍은 가짜 이미지와 영상 제작 툴, 설득력 있는 글을 대거 생성하는 툴 모두 무료로 사용할 수 있다는 의미이기도 하다. 복수 거짓 정보 전문가는 인류가 사실과 거짓을 구분하는 일이 갈수록 어려워지는 새로운 시대를 직면하기 시작했다고 말한다.

2023년 7월 21일(현지 시각), 오픈AI, 구글, 마이크로소프트, 아마존 등 주요 AI 기업 여러 곳이 미국 정부와 자사 AI 기술 탓에 발생할 수 있는 위험성 완화 노력을 약속했다. 하지만 AI로 생성한 콘텐츠와 그에 따른 혼란이 발생할 상황을 뿌리 뽑지는 못할 것으로 보인다.

백악관은 AI 기업의 ‘자발적 약속’ 사항 중 사용자가 AI로 생성한 콘텐츠를 확실히 구분하도록 강력한 기술적 메커니즘 개발 노력도 포함되었다. AI가 사기, 기만 등에 악용될 상황을 막으려는 노력의 한 부분이다.

그러나 와이어드의 취재에 응한 다수 전문가는 백악관이 주선한 AI 기업의 약속이 절반의 조치에 불과하다고 전했다. 인권 강화를 위한 기술 사용을 돕는 비영리단체 위트니스(Witness)의 프로그램국장 샘 그레고리(Sam Gregory)는 “워터마크를 추가해도 AI 생성 콘텐츠 등장 여부를 ‘예’ 혹은 ‘아니오’로 간단하게 확답할 수 없다”라고 말했다.

워터마크는 여러 사진 공유 기관과 언론 보도자료 배포 기업이 비용을 제대로 부담하지 않은 채로 이미지를 무단 사용하는 것을 막고자 보편적으로 사용하는 기술이다.

하지만 AI를 이용한 다양한 콘텐츠 생성과 이미 존재하는 다양한 AI 기반 모델 등을 고려하면, 문제가 더 복잡하다. 지금까지 워터마크 관련 표준이 마련되지 않아 기업마다 다른 워터마크 모델을 사용한다. 예를 들어, AI 이미지 생성 툴인 DALL-E는 눈에 띄는 워터마크를 사용한다. (다만, 신속한 구글 검색을 통해 워터마크 제거 튜토리얼을 여럿 찾아볼 수 있다.) 혹은 사용자의 눈에 보이지 않는 픽셀 단위 워터마크를 사용하는 기업도 있다. 눈에 띄는 워터마크와 같이 일부 워터마크는 제거하기 어렵지만, 간혹 이미지 크기 변경 시 워터마크 효과가 없을 수도 있다.

그레고리 국장은 “앞으로 워터마크를 없앨 여러 방법이 확산될 것이다”라고 말했다.
 
백악관의 AI 관련 공식 발표 사항은 AI로 생성한 시청각 콘텐츠에 워터마크를 사용하는 방안을 특별히 언급했으나 AI로 생성한 텍스트의 워터마크 관련 사항은 언급되지 않았다.

단어 배포 조작, 특정 단어나 구문 등을 자주 사용하는 등 챗GPT를 포함한 AI 기반 텍스트 생성 툴에 워터마크를 적용할 방법도 여러 가지 존재한다. 텍스트에 적용된 워터마크는 기계로는 감지할 수 있으나 인간이 확실히 감지하지 못할 수도 있다.

기계로 워터마크를 해석한 뒤 콘텐츠를 보거나 글을 읽는 이들에게 별도로 분류한다는 의미이다. 틱톡 영상과 같이 하나의 콘텐츠에 동시에 등장할 수 있는 오디오, 이미지, 영상, 텍스트 등의 혼합 미디어 콘텐츠에서는 워터마크를 구분하는 것이 더 복잡해진다. 예를 들어, 원본 오디오 파일에 조작된 이미지나 영상을 추가한다면, 워터마크를 구분하는 것이 더 어려워진다. 이때, 플랫폼은 영상의 구성요소 중 일부분이라도 AI로 생성된 것을 구분할 라벨 적용 방법을 찾아야 한다.

AI 생성 콘텐츠를 별도로 구분할 라벨을 적용해도 사용자가 악의나 오해에 따른 거짓 정보 생성, 엔터테인먼트 등 콘텐츠 생성 의도를 알아내는 데 도움이 되지는 않는다.

하니 파리드(Hany Farid) 캘리포니아대학교 버클리 정보대학원 교수는 “틱톡 영상 제작 후 재미와 엔터테인먼트 용도로만 AI로 합성한 미디어가 기본적으로 나쁜 것이 아니라는 점은 확실하다”라며, “하지만 콘텐츠 제작 목적이라는 맥락에 AI로 제작한 콘텐츠의 문제가 존재한다. 앞으로도 AI 생성 콘텐츠 구분 목적이 극도로 어려워질 것이다. 하지만 다수 플랫폼이 지난 20년간 콘텐츠 제작 목적을 구분하는 데 난항을 겪었다”라고 말했다. 파리드 교수는 소프트웨어 기업 어도비의 콘텐츠 진위성 계획 작업을 한 적이 있다.

대중의 의식에서 AI가 등장하면서 다른 형태로 미디어를 조작하는 것도 가능해졌다. 사용자 다수가 AI 생성 콘텐츠를 진짜라고 믿는 만큼 합성 콘텐츠의 존재가 영상이나 이미지, 텍스트 등 형태를 떠나 콘텐츠의 진위성과 관련하여 의심하기 시작하면서 악의적인 의도를 지닌 이들이 진짜 콘텐츠도 거짓이라고 주장하게 될 수도 있다. 이른바 ‘거짓말쟁이의 배당금(liar’s dividend)’과 같은 문제이다. 그레고리 소장은 최근 위트니스가 다룬 사건 중 다수 사례는 거짓 확산에 딥페이크가 동원된 사례가 다수 사례가 아닌 실제 미디어를 AI 생성 콘텐츠로 오해한 사례라고 전했다.

2023년 4월, 인도 남부 타밀나두 지역 소속 어느 한 국회의원이 30억 달러가 넘는 금액을 갈취했다고 소속 정당을 비난한 내용이 담긴 녹음 유출본이 기계로 생성한 딥페이크 음성 파일이라고 주장했다. (녹음 유출본의 내용은 사실이 아니었다.) 2021년, 미얀마 군사 쿠데타 몇 주 뒤에는 군대가 모집되는 쿠데타 현장에서 운동하는 모습을 담은 어느 한 여성의 딥페이크 영상이 확산되면서 영상 속 여성이 화제가 되었다. 온라인에서는 다수가 해당 영상의 조작을 의심했다.

지금 당장 악의를 지닌 이들이 진짜 콘텐츠에 워터마크를 적용하여 가짜 콘텐츠로 속이려는 것을 막을 방법이 거의 없다. 파리드 교수는 콘텐츠 조작이나 워터마크 제거 등을 막을 가장 좋은 방법 중 하나로 암호화 서명을 제시했다. 파리드 교수는 “오픈AI 기업 관계자라면, 암호화 키를 보유했을 것이다. 워터마크는 암호화 키 소유자만 알고 있는 정보를 보유한다”라고 전했다. 픽셀 단위나 AI가 학습 과정에서 사용하는 훈련 데이터 단계에 워터마크를 적용할 수도 있다. 파리드 교수는 자문 위원으로 활동하는 콘텐츠 및 성과, 교육 연합(Coalition for Content, Provenance, and Education)을 AI 기업이 채택하고 준수할 표준으로 지목했다.

이어, “인류는 날이 갈수록 온라인에서 접하는 글, 사진, 영상, 오디오 등의 진위를 구분하기 어려운 시대로 순식간에 접어들고 있다. 인간이 거짓 정보에 속는 것뿐만 아니라 사실을 보고도 거짓으로 잘못 판단할 수 있다는 의미이다. 만약, 도널드 트럼프가 액세스 할리우드(Access Hollywod) 진행자 빌리 부시(Billy Bush)와 대화 도중 성추행한 과거를 자랑한 발언이 담긴 녹음본이 2023년에 유출됐다면, 트럼프가 해당 녹음본이 거짓이라는 타당한 주장을 펼칠 수도 있었을 것이다”라고 전했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Big AI Won’t Stop Election Deepfakes With Watermarks