By KATE KNIBBS, WIRED US

아마존은 인공지능(AI) 때문에 문제를 겪고 있다. 정확히 지목하자면, 바로 아마존의 '에브리씽 스토어(everything store)'에 봇이 작성한 책이 넘쳐난다는 사실이다. 일부 AI감지 스타트업은 고객을 도울 간단한 해결책이 있다고 주장한다. 바로 AI로 작성한 책을 알려주는 것이다. 그러나 지금까지 아마존은 AI 작성 도서 감지 기술을 적극적으로 받아들이지 않았다.

현재 세계 최대 규모 도서 판매 기업이자 최고 인기를 누리는 자가 출판 체계 제공 사업 킨들 다이렉트(Kindle Direct) 운영 기업인 아마존이 자사 플랫폼에서 판매 중인 도서 중 AI 생성 도서 수는 정확하지 않다. 여행안내, 식량 채집 등 특정 장르 도서는 저급한 제목 때문에 심각한 타격을 받았다. 베스트셀러 도서 목록에 이름을 올린 10대와 20대 독자를 대상으로 한 케이틀린 린치(Caitlyn Lynch) 작가의 로맨스 소설도 마찬가지이다. 린치 작가는 킨들 다이렉트에 AI 생성 도서가 등록되는 것을 보고 "AI의 역설"이라고 비판하는 내용의 트윗을 게재했다.

일부 AI 생성 도서는 인간 작가와 같은 이름과 특성을 그대로 이용한다. 일례로, 2023년 여름, 작가 및 출판 산업 전문가 제인 프리드먼(Jane Friedman)은 별도의 도서 5권이 자신이 아마존에서 판매한 도서로 잘못 분류된 사실을 발견했다. 프리드먼의 도서로 잘못 분류된 도서 제목 중에는 '신속한 전자책 작성 및 출판 방법(How to Write and Publish an eBook Quickly)'도 있었다.

물론, AI 봇은 직접 도서를 작성하지 않는다. (적어도 아직은 봇이 혼자 책을 작성하지 않는다.) 유튜브 영상으로 시청자에게 AI 생성 작품을 대거 생성하여 킨들에 출판하도록 유도하는 이른바 재촉 문화가 있다. 영상은 보통 'AI 생성 작품 감지를 피하면서 아마존 킨들 다이렉트 도서를 출판하는 방법'과 같은 제목으로 게재된다. 안타깝게도 온라인으로 도서를 구매하려는 일반 소비자는 새로운 수익 창출 계획으로는 인간 작가의 우수한 도서를 찾기 어려워질 것이다.

지난 몇 주간 아마존은 AI 생성 도서 문제를 해결할 단계를 택하면서 작가 한 명당 자가 출판할 수 있는 도서 수 상한을 정했다. 또, 자가 출판 작가에게 AI로 도서를 출판했는지 공개할 것을 요구하는 정책도 도입했다. 그러나 AI 감지 스타트업 세 곳 모두 와이어드와의 인터뷰에서 아마존을 비롯한 온라인 도서 판매 플랫폼 모두 자사 서비스를 이용해 AI 작성 도서를 적극적으로 분류할 수 있다고 주장했다.
 
유망한 AI 감지 기술 스타트업 중 한 곳인 리얼리티 디펜더(Reality Defender)는 딥페이크 이미지를 찾는 데 주력하기 시작했으나 이후 AI 생성 텍스트 감지로 서비스 범위를 확장했다. 비자, 마이크로소프트, 미국 국방성, 미국 국토안보부 등 대기업과 정부 기관도 이미 리얼리티 디펜더의 고객사 명단에 이름을 올렸다. 리얼리티 디펜더 공동 창립자 겸 CEO 벤 콜만(Ben Colman)은 리얼리티 디펜더가 현재 아마존이 요청하는 수준의 규모로 AI 도서 감지 역량을 갖추었다고 말한다. 그는 "현재 영어로 작성한 글은 인간이 작성한 글과 AI로 작성한 글을 구분할 수 있다"라고 전했다.

다른 AI 감지 스타트업도 자사의 AI 작성 도서 감지 기술을 확신한다. GPTZero 최고 직원 책임자 조나단 화이트(Jonathan White)는 "GPTZero는 전자상거래 플랫폼에서 AI 생성 콘텐츠를 확실히 감지하는 기술을 제공할 수 있다. 지금은 여러 공급사와 기술 공급 계약을 논의 중이다"라고 말했다.

윈스턴 AI(Winston AI) 창립자 존 레너드(John Renaud)도 윈스턴 AI가 아마존과 같은 전자상거래 플랫폼에서 AI 작성 도서를 정확히 감지할 기술을 갖출 수 있다고 말한다. 윈스턴 AI는 이미 일부 출판 기업을 AI 도서 감지 기술 공급사로 확보했다.

출판 업계에서는 아마존을 포함한 온라인 도서 판매 플랫폼이 적어도 사용자가 읽는 도서 작성자가 인간인지 혹은 기계인지 알려야 할 책임이 있다는 목소리가 갈수록 커지는 추세이다.

제인 프리드먼은 "아마존은 사용자가 읽는 도서가 AI 생성 도서인지 공개할 윤리적 의무가 있다. 작가와 출판사 모두 AI로 작성한 도서를 공개한다. 그러나 작가나 출판사가 이를 공개하지 않는다면, 아마존이 모든 도서 유통사와 배포 기업과 함께 AI 작성 도서 공개를 의무화해야 한다. 만약, 도서 저자의 정체를 제대로 밝히지 않는다면, 출판 업계를 향한 불신과 혼란을 키울 것이다. 작가와 도서 모두 지금까지 누리던 권한을 잃게 될 것이다"라고 주장했다.

작가조합(Authors Guild) CEO 마리 레이젠버거(Mary Rasenberger)는 "출판 업계는 그동안 출판 업계 전체 영역에 걸쳐서 온라인 출판 플랫폼이나 출판사가 AI 생성 콘텐츠를 분류하여 공개하는 것을 요구하는 법안을 지지했다"라고 말했다.

아마존은 AI 생성 도서를 공개하면서 확실히 이익을 누릴 수 있다. 레이젠버거는 "아마존은 고객 만족을 원한다. 그런데 인간이 작성했다고 착각하여 도서를 구매했으나 실제로 AI로 작성한 저급 도서임을 알게 된다면, 만족하지 못할 것이다"라고 설명했다.

그렇다면, 아마존이 AI 도서 감지 툴을 사용하지 않는 이유는 무엇인가? 작가가 직접 AI 사용 사실을 공개할 때까지 기다리는 이유는 무엇일까? 와이어드가 AI 생성 도서 구분 조처를 적극 시행하는 방안을 고려하는지 직접 물어보았을 때 와이어드는 답변을 거부했다. 대신, 아마존 대변인 애슐리 바니섹(Ashley Vanicek)은 아마존의 개정된 지침과 자가 출판 작가에게 적용한 출판 도서 제한을 명시한 공식 성명문을 전달했다. 바니섹 대변인은 "아마존은 새로이 급부상하는 각종 기술을 계속 평가하며, 가능한 범위에서 작가와 고객에게 가장 우수한 쇼핑, 도서, 출판 경험을 제공하는 데 헌신한다"라고 덧붙였다.

물론, 아마존이 AI 감지 툴과 같은 기술을 사용하려는 의도가 있다는 의미는 아니다. 현재 보이지 않는 곳에서 논의 중일 수도 있는 AI 감지 기술 채택 가능성을 숙고하는 데 침묵으로 일관하기만 하고 있다. 아마존이 AI 감지 기술 채택을 두고 신중한 태도를 보이는 이유는 여러 가지이다. 먼저, 아마존은 현재 개발된 AI 감지 기술의 정확도를 비관적으로 본다.

2022년 3월, 메릴랜드대학교 연구팀이 AI 감지 툴의 정확도가 낮다는 연구 논문을 게재했다. 연구팀은 "AI 감지 기술은 실질적인 상황에서 신뢰할 수 없다"라는 결론을 내렸다. 그리고 2023년 7월, 스탠퍼드대학교 연구팀은 AI 감지 기술이 비영어권 작가를 향한 부정적인 선입견을 보여줄 수 있다는 점을 강조한 연구 논문을 게재했다.

일부 AI 감지 툴은 AI 콘텐츠 감지 능력이 충분하지 않다는 판단 후 서비스 제공을 중단했다. 오픈AI는 정확도가 낮다는 비판 이후 자체 AI 분류 기능 개발을 중단했다.

AI 감지 시 발생한 거짓 양성 문제는 일부 대학 기관이 학생 논문 검토 시 다양한 AI 감지 툴을 사용하는 결과로 이어졌다. 2023년 8월, 밴더빌트대학교 교수 마이클 콜리(Michael Coley)는 터니틴(Turnitin)의 AI 감지 프로그램 실험 실패 후 논문에 "AI 감지 소프트웨어가 개발 목적만큼 효과적인 수단은 아니라고 본다"라고 작성했다. 미시간 주립대학교와 텍사스대학교 오스틴 캠퍼스도 터니틴 AI 감지 소프트웨어 사용을 중단했다.

작가 조합은 AI 도서 감지를 독려하지만, 레이젠버거는 거짓 양성 반응이 작가에게 문제가 될 것으로 예상한다. 레이젠버거는 "결과적으로 AI 생성 도서의 거짓 양성 반응 문제 사례를 여러 차례 듣게 될 것을 확신한다"라고 말했다.

현재 개발된 AI 감지 프로그램의 정확성 우려는 전체적으로 민감한 문제이며, 가장 구체적인 감지 프로그램도 절대로 결함을 알 수 없을 것이다. 다만, AI 도서 구분이 온라인 도서 구매자를 적극적으로 받아들이는 데 어떠한 피해도 주지는 않을 것이다. 특히, 인간 전문가의 저서를 기대한 비소설 작품을 검색하는 사용자에는 AI 감지 프로그램의 정확도 문제가 도서 구매자에게 피해를 줄 일은 없을 것이다. 프리드먼은 "독자가 구매하고자 하는 도서 제공 책임을 신경 쓰는 것이 논란이 되거나 비합리적인 일은 아니라고 본다"라고 언급했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
AI Detection Startups Say Amazon Could Flag AI Books. It Doesn't