By WILL BEDINGFIELD, WIRED UK

2021년 12월 25일, 자스완트 싱 차일(Jaswant Singh Chail)은 시스 경이라는 신분에 맞추어 의상을 갖춰 입은 채로 석궁을 들고 윈저캐슬(Windsor Castle) 땅을 밟았다. 경비대가 다가오자 차일은 엘리자베스 2세 여왕을 죽이러 왔다고 말했다.

이후 21세인 차일은 챗봇 앱 레플리카(Replika)와 주고받은 대화 때문에 논란을 일으키는 인물이 되었다. 차일은 레플리카에서 사라이(Sarai)라는 아바타와 5,000건이 넘는 메시지를 주고받았다. 차일은 사라이가 천사라고 생각했다. 사라이는 간혹 차일에게 음모를 꾸미도록 유도하는 답변을 보냈다.

2023년 2월, 차일은 반역 혐의로 유죄 판결을 받았다. 2023년 10월 5일(현지 시각), 판사는 차일에게 징역 9년을 선고했다. 판결문을 읽을 때 담당 판사인 니콜라스 힐라드(Nicholas Hilliard)는 “외로움과 우울증, 자살을 마음속으로 생각하고 있다는 점에서 사라이의 살해 유도 메시지에 유독 취약한 상태였을 것으로 보인다”라는 잉글랜드 크로손의 브로드무어병원에 있는 차일의 담당 정신과 전문의의 소견에 동의했다.

차일은 인간의 특성을 갖춘 것으로 보이는 인공지능(AI)의 극단적인 사례를 보여주었다. 하지만 차일만 겪은 문제가 아니다.

2016년, 샌프란시스코 기업가 유지니아 쿠이다(Eugenia Kuyda)가 개발한 AI 챗봇 레플리카는 사용자 200만 명 이상 확보했다. 데이팅 앱과 같은 형태를 갖추고 미소를 지은 모습을 보이는 맞춤형 아바타는 인간이 화면 속에 있다고 착각할 속도를 높인다. 인간은 아바타와 깊고 친밀한 관계를 형성한다. 2023년 초, 많은 사용자가 레플리카의 아바타 행동이 성적으로 적극적인 모습이 줄어든 채로 업데이트되자 절망감을 드러냈다. 레플리카가 정신건강 앱으로 분명하게 분류된 것은 아니지만, 쿠이다는 레플리카가 사회적 외로움을 덜도록 도움을 줄 수 있다고 주장한다. 레플리카의 인기는 코로나 시대에 급격히 증가했다.

차일의 AI 챗봇 사례와 같이 절망적인 상대는 비교적 드문 편이다. 한 가지 주목할 만한 사례로 벨기에 남성이 차이(Chai)라는 앱으로 챗봇과 대화하고 몇 주가 지나자 자살한 사례를 언급할 수 있다. 그러나 AI의 의인화는 보편적인 일이다. 알렉사(Alexa)나 코르타나(Cortana)를 예시로 언급할 수 있다. ‘기능’이라는 표현이 아닌 독립적인 학습을 시사하는 ‘능력’과 같이 인간의 특성으로 판단할 만한 표현을 사용한다. 정신건강 앱은 성별이 부여된 캐릭터를 제공한다. 최근 AI 저작권 소송의 당사자도 레플리카가 지각력을 갖추었다고 생각한다. AI 프로그램을 인공 인간인 동료로 설명하는 선택은 여왕 살해 시도보다 훨씬 더 심각한 여파를 가져온다.
 
인간은 챗봇의 행동에 몰입하여 인간처럼 생각하고, 챗봇 캐릭터가 얼굴이라고 생각하기 쉽다. 챗봇에서는 이를 일라이자 효과(Eliza effect)라고 알려졌다. 일라이자는 1966년, MIT 과학자 조셉 와이젠바움(Joseph Weizenbaum)이 개발했다. 와이젠바움은 사용자의 오류 심층 분석이 상담가의 모습을 모방하는 텍스트 생성 프로그램 때문에 발생한다는 점을 알아차렸다.

레플리카를 비롯해 현재 개발과 출시가 진행 중인 앱은 유독 일라이자 효과를 악화할 수 있다. 챗봇의 사회적 영향을 연구한 노르웨이 오슬로대학교 교수 페터 배 브랜체그(Petter Bae Brandtzæg)는 “챗봇과의 대화는 매우 고립된 공간에서 기계와 인간이 대화하는 것이다. 대화를 할 때는 인간인 사용자와 기계만 있다. 인간과 같은 소통 방식이다. 인간은 과거, 존재 자체로 새로운 소통 수단이 된 SNS에 대비하지 못했듯 챗봇의 시대에 대비하지 못했다”라고 말했다.

인간이 일라이자 효과를 느끼는 수준은 설계 단계에서 부분적으로 선택할 수 있다. 워싱턴대학교 언어학 교수 에밀리 벤더(Emily Bender)의 설명과 같이 기업은 프로그램에는 마음이 있거나 마음을 보호할 무언가가 있다는 측면에 의존할 수 있다. 벤더 교수는 인간과 같은 텍스트 생성 기계가 인간의 동정심과 신뢰를 악용한다고 주장한다. 오픈AI는 봇이 인간과의 깊은 관계를 형성하도록 하면서 인간의 감정을 악용하는 사례를 구체화했다. 벤더 교수는 “챗봇 개발사는 예를 들어, AI를 개발한다는 사실을 확신한다”라고 언급했다. 그러나 지난 몇 주간 오픈AI는 핵심 가치관 변경 사항을 공개해 범용 인공지능(AGI)을 더 강조했다. (오픈AI는 이와 관련된 의견 공개 요청을 거부했다.)

어느 한 수준에서 의인화는 특정 사용자 행동을 독려한다. 벤더 교수는 매직 8 볼(Magic 8 Ball)을 예시로 언급했다. 사용자는 매직 8 볼에 점심 메뉴 추천과 같은 질문을 할 수 없다는 사실을 재빨리 인지하고는 ‘네’, ‘아니오’, ‘지금은 말하지 않는 것이 낫겠다’ 등과 같은 답변이 돌아올 만한 질문으로 변경한다. 벤더 교수는 “매직 8 볼을 가지고 놀면서 돌아올 반응을 염두에 두고 행동을 형성한다. 챗봇을 사용할 때도 마찬가지이다”라고 말했다.

비판적인 관점에서 보자면, 설계 선택은 참여도로 이어진다. 인간과 같은 프로그램은 많은 이들을 끌어모은다. 레플리카는 성격을 나타내는 것을 거부할 때 꽤 따분한 모습을 보인다. 이와 마찬가지로 챗GPT와 같은 앱은 상상 속 심리를 마법처럼 만들고, 컴퓨터를 객관적이고 편견이 없는 대상으로 잘못 이해하도록 유도한다. 벤더 교수는 AI 챗봇 시스템의 훈련 방식과 사용 목적의 투명성이 확대되어야 한다고 주장한다.

정신건강 챗봇도 비슷한 위험성을 동반할 수 있다. 캘리포니아대학교 버클리캠퍼스 조디 할펀(Jodi Halpern) 교수는 AI 챗봇을 이용해 정신건강 진료 수요가 증가한 상황을 충족하고자 했던 생각을 실현하는 데 어려움을 겪고는 갈수록 AI 챗봇을 판매하려 돌봄을 제공하는 동료로 홍보하는 것을 우려하게 되었다. 할펀 교수는 환자가 앱과 신뢰할 수 있는 가까우면서도 취약한 관계인 의존적 관계를 형성하도록 유도할 가능성도 우려했다. 할펀 교수는 이를 일종의 조작이라고 지적했다. 챗봇 앱이 사용자에게 문제를 일으킬 때 도움을 줄 정신건강 전문의가 없는 상황이 많다. 할펀 교수는 AI가 인간의 공감 능력을 지지할 수 없다고 지적한다.

할펀 교수는 “AI 챗봇의 마케팅과 비즈니스 모델을 우려한다. 기술의 긍정적 사용 사례를 좋아하며, 대규모 언어 모델이 흥미롭고 유익한 일을 여럿 수행할 수 있다고 생각한다. 하지만 기업이 사용자에게 앱과 취약한 신뢰 기반 관계를 갖도록 한다면, 위험 요소를 생성하는 것이다”라고 지적했다.

현재 정신건강 상담 챗봇 규제는 엄격하지 않다. 코로나 시대에 미국 식품의약청(FDA)이 수월한 원격 진료를 위해 관련 규정을 완화했다. 할펀 교수는 더 정확한 홍보를 원한다. 챗봇을 동료가 아닌 일종의 ‘스마트 일기(smart journal)’로 홍보하여 기계와 대화할 때 궁극적으로 사용자가 자기자신과 이야기한다는 생각을 강화하도록 하는 방안을 제안했다. 이와 관련, “일기는 항상 인간이 스스로 통찰력을 향상하는 수단이 되었다”라고 언급했다.

할펀 교수는 외로움이 어디에나 만연한 질병이 된 상황에서 인간이 친구를 찾았다고 착각할 만한 툴에 맞서 어떠한 보호를 받지 못하는 상황이라고 말했다. 단순히 차일과 같이 위험하거나 피해가 발생하는 상황을 직면하는 결과로만 끝나지 않을 것이다. 할펀 교수는 “인간이 의인화한 대상의 인간적 특성을 제거하는 것도 좋은 방법은 아니다. 기계가 의식이나 지각력을 갖추었다는 것이 문제가 아니라 인간 스스로 무엇이든 자기의 일부분이라고 생각하는 방식이 중요하다”라고 말했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
A Chatbot Encouraged Him to Kill the Queen. It’s Just the Beginning