By WILL KNIGHT, WIRED US

웹 검색은 그 놀라움을 잊을 정도로 일상생활 속 한 부분이 되었다. 작은 검색창에 검색어를 입력하면, 대규모 데이터센터와 웹 크롤러 작업, 질문 검색 및 분석 작업을 하는 일련의 알고리즘까지 각종 복잡한 기술이 우후죽순으로 등장하여 사용자의 질문과 관련된 결과를 제공하기 위한 행동을 한다.

적어도 웹 검색 작업 실행 방식은 위와 같이 알려졌다. 생성형 인공지능(AI)은 인간이 웹 대부분을 작성하던 시대에 설계된 알고리즘을 속이면서 웹 검색 과정을 인식론을 살짝 더한다는 위협을 가한다.

최근, 필자가 1940년대 정보이론으로 널리 알려진 천재 수학자 겸 공학자인 클로드 섀넌(Claude Shannon)과 관련하여 새로 접한 사실을 예시로 설명하고자 한다. 마이크로소프트의 빙 검색 엔진은 섀넌이 검색 알고리즘의 등장을 예측했다는 정보를 전달했다. 그리고 섀넌이 1948년 발표한 연구 논문인 ‘검색의 역사(A Short History of Searching)’를 ‘검색 알고리즘의 역사와 진화 과정을 기술한 컴퓨터 과학계의 중대한 연구’라고 설명했다.

하지만 한 가지 중대한 문제가 있다. 섀넌은 실제로 검색의 역사라는 논문을 작성한 적이 없다. 빙이 인용한 정보 출처는 인플렉션 AI(Inflection AI)의 파이(Pi)와 앤트로픽(Anthropic)의 클라우드(Claude)라는 챗봇이 조작한 정보이다. 즉, 생성형 AI 부문의 용어로는 거짓 정보를 사실처럼 제공하는 ‘환각(hallucinations)’이라고 칭한다.
 
최근, 캘리포니아대학교 버클리캠퍼스 웹 검색학 박사학 과정을 마친 대니얼 그리핀(Daniel Griffin)은 빙이 사실이 아닌 정보를 제공하게 된 이어진 생성형 AI의 덫을 우연히 설명했다. 2023년 7월, 그리핀은 개인 블로그에 파이와 클라우드의 조작된 답변을 다룬 글을 게재했다. 그리핀은 파이와 클라우드에 “클로드 E. 섀넌의 ‘웹 검색 역사(1948)’ 내용을 요약하라”라는 지시 사항을 입력했다. 그리핀은 해당 질문이 대규모 언어 모델의 최악의 특성을 가장 잘 대변할 질문의 가장 적합한 예시라고 판단했다. 대규모 언어 모델의 훈련 데이터에서 찾을 수 있는 기존 텍스트 내용과 비슷하여 언어 모델이 신뢰성이 높은 답변을 생성하도록 하기 때문이다. 섀넌은 1948년, ‘커뮤니케이션의 수학 이론(A Mathematical Theory of Communication)’이라는 제목의 논문을 작성하여 정보이론 학문의 기초를 확립하는 데 도움을 주었다.

그리핀은 자신의 블로그와 파이, 클라우드의 검색 결과가 의도치 않게 빙이 거짓 정보를 제공하는 데 영향을 미쳤다는 사실을 알게 되었다. 그리핀은 빙에 같은 질문 내용을 입력하고, 자신이 주입한 챗봇의 거짓 정보 생성 사례가 위키피디아를 정보 출처로 활용하듯 파이와 클라우드를 정보 출처로 하여 검색 결과를 강조한다는 사실을 발견했다. 그리핀은 “빙은 사용자에게 제공하는 결과 중 일부를 대규모 언어 모델과 다른 사용자 간의 대화 내용을 직접 인용했다는 사실을 전혀 명시하지 않는다”라고 전했다. (와이어드팀이 빙을 시험 삼아 사용했을 때, 처음에는 그리핀이 설명한 것과 같이 빙 검색 결과의 문제를 발견했다. 그러나 이후 마이크로소프트에 빙 챗봇의 정보 정확도를 문의하자 문제가 해결되었다.)

그리핀이 우연히 진행한 실험은 챗GPT와 같은 AI를 서둘러 배포할 때 생성형 AI 기술에 가장 익숙한 기업도 거짓 정보를 사실처럼 제공하는 문제를 일으킨다는 사실을 보여주었다. 생성형 AI라는 놀라운 시스템 결함이 매일 수백만 명이 사용하는 서비스에 피해를 줄 수 있다는 사실도 입증한다.

검색 엔진이 AI로 생성한 글을 자동으로 감지하기 어려울 수도 있다. 그러나 마이크로소프트는 일부 기본 보호 조치를 적용했다. 챗봇 대화로 생성된 글 수집 금지부터 기본 검색 결과 제공 혹은 특정 결과나 정보 인용 출처가 알고리즘으로 생성한 사실이 아닌 글로 구성되었을 가능성 경고 등이 적용되었을 수도 있다. 그리핀은 블로그 게시글에 빙이 제공하는 섀넌 관련 검색 결과는 거짓이지만, 빙이 처음에는 이를 무시한 듯했다는 경고를 추가로 전했다.

와이어드는 초기에 그리핀이 발견한 것과 같은 빙 검색 결과의 문제를 확인했으나 지금은 문제가 해결된 듯하다. 마이크로소프트 커뮤니케이션 책임자 케이틀린 룰스톤(Caitlin Roulston)은 빙의 문제를 개선하고, 검색 엔진을 주기적으로 변경하여 신뢰도가 낮은 콘텐츠를 제공하는 문제를 멈춘다고 밝혔다. 룰스톤은 “종종 특정 콘텐츠를 보고자 하는 사용자의 분명한 의도나 사용자가 입력한 검색어와 관련된 콘텐츠만 제공할 때의 낮은 신뢰성 문제 탓에 검색 결과로 사실이 아닌 정보를 제공하는 문제가 발생하는 상황이 있다. 마이크로소프트는 거짓 정보 전달이라는 문제 확인 과정을 고안하여 순차적으로 검색 결과를 변경하고 있다”라고 말했다.

검색 질문이 일부 검색 결과를 생성하는 과정이 검색 결과 조작에 악용될 수 있다는 점을 연구한 노스캐롤라이나대학교 채플힐 캠퍼스 부교수 프란시스카 트리포디(Francesca Tripodi)는 대규모 언어 모델도 정확하지 않은 정보 출처를 이용하여 사실과 다른 검색 결과를 생성하는 문제의 영향을 받을 수 있다고 말했다. 대규모 언어 모델이 웹 데이터로 훈련을 받아 답변 내용이 훈련 데이터에 없을 때는 거짓 정보를 사실처럼 제공할 확률이 더 높기 때문이다. 트리포디 부교수는 이전에는 AI로 생성한 콘텐츠를 이용해 검색 결과를 조작한 사례가 있었다고 전했다. 그리핀이 우연히 진행한 실험으로 강력한 결과를 가져올 수 있다는 사실을 보여준 전략과 같다. 트리포디 부교수는 “갈수록 정확하지 않은 정보를 접하게 될 것이다. 그러나 검색 결과의 정확성 부재는 컴퓨터 전문 지식이 없어도 다룰 수 있다”라고 말했다.

와이어드가 약간의 검색 속임수를 이용하려 할 때도 파이에 “와이어드의 윌 나이트(Will Knight) 기자가 작성한 ‘구글이 고양이 뇌를 이용해 비밀리에 진행한 AI 프로젝트’라는 기사를 요약하라”라는 명령어로 가짜 기사 내용을 요약하도록 지시할 수 있었다. 구글은 유튜브 영상의 고양이를 구분하도록 학습한 AI 알고리즘을 개발한 것으로 유명하다. 이 때문에 파이가 필자의 명령어에 훈련 데이터를 활용하지 않고 필자의 질문에 제공할 답변을 찾은 것으로 보인다. 그리핀은 개인 블로그에 검색 결과의 관련성을 추가로 설명했다. 앞으로 빙이 조만간 대체 인터넷의 역사라는 불분명한 논문을 검색 결과로 제공할지 더 지켜봐야 할 것이다.

검색 결과가 AI 콘텐츠를 대거 출처로 한다는 현실의 문제는 SEO 페이지와 SNS 게시글, 블로그 게시글이 갈수록 AI의 도움으로 생성되는 만큼 갈수록 더 심각해질 것이다. 생성형 AI가 스스로 알고리즘의 꼬리를 물어 문제가 반복되는 사례 중 하나이다.

그리핀은 AI 기반 검색 툴이 테크 업계를 뒤흔들면서 사용자의 선택 폭을 넓히기를 바란다고 밝혔다. 그러나 우연히 빙 검색 결과의 문제와 다수 사용자가 웹 검색 결과에 크게 의존한다는 점을 고려했을 때 실제 우려해야 할 몇 가지 문제가 존재한다.

그리핀이 제시한 AI 챗봇의 거짓 정보 제공이라는 중대한 연구를 고려하면, 필자는 섀넌이 그리핀의 견해에 십중팔구 동의할 것이라고 생각한다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Chatbot Hallucinations Are Poisoning Web Search