By MORGAN MEAKER, WIRED UK

슬로바키아 선거일 이틀 전, 음성 파일 하나가 페이스북에 게재됐다. 해당 파일에는 진보 성향의 진보슬로바키아당(Progressive Slovakia party) 대표 미칼 시메스카(Michal Šimečka)와 현지 일간지 데니크 N(Denník N) 기자 모니카 토도바(Monika Tódová)의 음성이 녹화됐다. 시메스카 대표와 토도바 기자는 슬로바키아의 소외 계층인 로마 소수민족 집단 유권자의 표를 얻을 방법의 일부분으로 선거 조작법을 논의했다.

이후 시메스카 대표와 데니크 N 모두 음성 파일이 가짜 파일이라고 거세게 비난했다. 이후 언론 통신사 AFP 사실 확인 담당 기관은 논란이 된 음성 파일은 인공지능(AI)으로 조작되었다는 조짐이 있다고 밝혔다. 그러나 음성 파일이 공개된 시점은 개표에 앞서 48시간 동안 일시적으로 활동이 중단된 시점이자 언론 기관과 정치인 모두 어떠한 발언도 하지 않는 시점이었다. 슬로바키아 선거법상 해당 게시글은 널리 조작하기 어렵다는 의미이다. 또, 게시된 콘텐츠가 음성 파일이라는 점에서 실제로 특정 인물이 하지 않은 발언을 한 것처럼 편집한 가짜 영상만 감지하는 메타의 미디어 조작 정책 허점을 악용하면서 정책을 위반하였다.

선거는 전혀 다른 방향으로 슬로바키아를 이끌 공약을 내건 두 유력 후보간 당락 여부가 치열했다. 2023년 10월 1일(현지 시각), 친북대서양조약기구(NATO) 성향의 정당인 진보슬로바키아당이 우크라이나 군대 철수를 주장한 SMER에 패배했다.

선거 전 유럽연합 집행위원회 디지털 위원 베라 요루바(Věra Jourová)는 슬로바키아 선거가 러시아 정부의 선거 개입에 동원되는 거액의 대규모 조작 무기에 유럽 선거가 얼마나 취약한가 확인할 시험대가 될 것이라고 말했다. 선거 후 세계 각국은 슬로바키아의 상황을 보고 추후 선거 기간에 직면할 문제의 단서를 신중하게 연구할 것이다. 유럽연합의 최신 연구 결과, 유독 거짓 정보 유포 작전의 표적이 된 이웃 국가인 폴란드는 2023년 10월 중순이면 선거를 치를 예정이다. 2024년에는 영국과 인도, 유럽연합, 미국이 선거를 치를 예정이다. 사실 확인 담당 기관은 슬로바키아 SNS에서 확산된 거짓 정보에 강력히 대응하여 AI가 이미 선거에 타격을 줄 정도로 강력한 기술이 되었으나 맞서 싸울 수단은 없다는 점을 지적했다.
 
사실 확인 전문 기관 디마고그(Demagog) 프로젝트 책임자 베로니카 힌코바 프란코브스카(Veronika Hincová Frankovská)는 “실제 필요한 수준만큼 AI로 생성한 거짓 정보 유포 작전에 대응할 준비가 되지 않았다”라고 말했다.

디마고그는 선거 기간에 장시간 근무하면서 TV 토론 도중 발표된 주장의 사실 확인 담당팀과 SNS 플랫폼 모니터링팀으로 나누어 작업했다. 디마고그는 메타의 사실 검증 협력사이다. 즉, 메타가 페이스북 등 자사 플랫폼에 거짓 정보로 의심할 만한 내용이 유포될 때는 사실 확인 라벨을 적용해야 한다는 의미이다.

AI는 사실 확인 작업의 새로운 난제를 더했다. 슬로바키아 선거 3일 전, 메타는 디마고그 측에 시메스카 대표가 당선 시 맥주 가격을 두 배 인상한다고 말한 내용이 담긴 음성 파일의 관심도가 커진 사실을 알렸다. 시메스카 대표는 음성 파일이 가짜라고 주장했다. 힌코바 프란코브스카는 “그러나 사실 확인은 실제 시메스카 대표의 발언을 바탕으로 이루어질 수 없다”라고 언급했다.

음성 파일이 조작되었음을 입증하기는 어렵다. 힌코바 프란코브스카는 AI로 생성한 게시물이 존재한다는 이야기를 들어본 적이 있지만, 디마고그팀은 실제로 음성 파일 사실 검증 작업을 한 적이 없다. 녹음 파일 출처를 추적하고, 익명의 인스타그램 계정에 최초로 게재된 사실을 발견했다. 이후 다수 전문가를 불러 음성 파일이 가짜이거나 조작되었을 가능성을 묻는다. 마지막으로 미국 기업 일레븐 랩스(Eleven Labs)의 AI 음성 확인 프로그램을 이용해 확인 작업을 진행한다.

몇 시간 동안 사실 확인 작업을 거친 뒤 음성 파일이 변경되었음을 확인했다. 다른 사용자가 해당 게시글을 찾으면, 슬로바키아어 페이스북 페이지에서 지금도 확인할 수 있는 변경된 파일이라는 라벨에는 “독립 사실 확인 기관에서 해당 사진 혹은 이미지가 오해를 유발할 수 있는 방식으로 편집되었음을 확인했다”라는 내용이 명시되었다. 페이스북 사용자는 AI로 변경된 콘텐츠라는 라벨이 추가된 영상을 볼 것인지 직접 선택할 수 있다.

맥주 가격 인상과 선거 조작 관련 음성 파일은 사실 확인 라벨과 함께 지금도 페이스북에서 확인할 수 있다. 메타 대변인 벤 월터(Ben Walter)는 “맥주 가격 인상 발언과 선거 조작 관련 발언이 담긴 음성 파일을 두고, 콘텐츠 사실 확인 작업을 할 때 피드에서 사실 여부를 분류하면서 콘텐츠 우선순위를 낮추어 해당 콘텐츠를 접하는 사용자 수가 감소하도록 했다”라며, “메타의 커뮤니티 표준 정책은 AI가 제작한 콘텐츠나 인간이 제작한 콘텐츠 구분을 떠나서 모든 콘텐츠에 적용하고, 정책을 위반한 콘텐츠에는 대응한다”라고 말했다.

슬로바키아 선거는 2023년 8월, 유럽연합 디지털 서비스법 도입 후 법률이 처음으로 선거 결과에 영향을 미쳤다. 온라인에서의 인권 보호 수준 향상을 골자로 한 디지털 서비스법은 SNS 플랫폼을 대상으로 거짓 정보 관리 노력을 더 적극적으로 시행하면서 투명성을 강화하도록 한다.

기술의 민주주의 영향 연구에 주력하는 연구 단체 리셋(Reset) 애널리스트 리차드 쿠치타(Kuchta)는 “슬로바키아 선거는 효과적인 대응 방식과 개선이 필요한 부분을 확인할 시험대였다. 디지털 서비스법이 콘텐츠 관리나 사실 확인 수준을 강화하도록 압력을 가했다고 본다. 메타가 슬로바키아 선거에 앞서 사실 확인 담당 인력을 충원한 사실을 알고 있다. 하지만 메타가 충원한 인력이 충분한 지는 확실하지 않다”라고 분석했다.

쿠치타는 슬로바키아 선거 기간에 유포된 딥페이크 음성 파일 두 편과 함께 극우 정당 리퍼블리카(Republika)가 SNS에 게재한 AI 음성을 이용한 신원 사칭 영상 두 편도 발견했다. 문제가 된 영상 중 하나는 미칼 시메스카 대표를 사칭하는 영상이며, 나머지 하나는 주자나 차푸토바(Zuzana Čaputová) 슬로바키아 대통령을 사칭한 영상이다. 두 편의 영상 속 음성은 가짜로 확인된 음성을 담았다. 해당 영상의 음성은 가짜이며, 영상 속 등장하는 실제 인물의 음성이라고 믿을 정도로 비슷하다. 그러나 총 20초 분량의 영상 중 15초 동안 영상 속 인물의 발언이 특별히 주목받지 않는다. 이를 두고 쿠치타는 파일을 보는 이들을 속이려는 시도로 보았다.

슬로바키아 선거 상황은 폴란드에서도 면밀히 관찰하였다. 폴란드 사실 확인 전문 단체 프라브다 협회(Pravda Association) 회장 자쿠브 슬리즈(Jakub Śliż)는 “물론, AI로 생성한 거짓 정보는 신속히 대응하기 매우 어렵다는 점에서 폴란드에서도 우려하는 대상이다”라고 말했다. 이어, 슬로바키아 선거에서 음성 파일 여러 편으로 거짓 정보가 유포되었다는 동향도 우려한다. 영상이나 사진과 달리 음성 복제 기술은 식별하기 매우 어렵기 때문이다.

힌코바 프란코브스카와 마찬가지로 슬리즈 회장도 AI로 제작하거나 조작된 콘텐츠 확인 과정에 도움을 줄 수 있는 신뢰할 만한 수단이 없다고 말한다. 슬리즈 회장은 “가짜 콘텐츠를 확인할 툴을 활용하여 조작 가능성 점수를 매길 수 있다”라고 말했다. 다만, 복잡하면서 의문스럽다는 문제점이 있다. 슬리즈 회장은 SNS 게시글이 가짜일 가능성을 판단할 방법을 알지 못한다. 이와 관련, “AI로 생성한 콘텐츠일 확률을 구체적으로 확인할 다른 AI 툴이 있다면, 대중에게 어떤 방식으로 메시지를 전달해야 하는가?”라는 의문을 제기했다.

지금까지 폴란드에서는 AI로 생성한 콘텐츠가 확산된 사례가 많지 않다. 슬리즈 회장은 “그러나 많은 이들이 AI로 생성되었을 가능성을 이용하여 사실인 정보의 신뢰도를 떨어뜨린다”라고 지적했다. 현재 폴란드 유권자가 보수 성향의 집권 여당인 사법정의당(Law and Justice party)의 이례적인 세 번째 집권 여부를 심판할 날이 며칠 남지 않았다. 최근, 대규모 유권자 집단이 야당을 지지하기 위해 바르샤바에 모였다. 야당이 통치하는 시 정부는 바르샤바에 유권자 최대 100만 명이 모였다고 추산했다. 그러나 X(구 트위터)에서는 일부 사용자가 바르샤바에 모인 집회에 참석한 이들이 더 많은 것처럼 보이도록 유권자 집회 영상이 AI로 편집됐다고 주장했다.

슬리즈 회장은 AI로 편집한 영상은 다양한 출처를 통해 교차 확인하는 방식으로 손쉽게 사실 확인 작업을 할 수 있다고 전했다. 그러나 슬로바키아 선거와 같이 AI로 생성한 음성 파일이 선거 직전 폴란드에 확산된다면, 사실 확인 작업이 훨씬 더 어려울 것으로 예상한다. 슬리즈 회장은 “사실 확인 담당 기관인 프라브다 협회는 현재 가짜 음성 파일 확산 대응 계획을 확립하지 못했다. 만약, 가짜 음성 파일이 유포된다면, 고통스러운 여파가 이어질 것이다”라고 전했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Slovakia’s Election Deepfakes Show AI Is a Danger to Democracy