본문 바로가기 주메뉴 바로가기 검색 바로가기
던전 게임, AI 기반 게임으로 시작...그러나 기술의 어두운 이면 드러나
상태바
던전 게임, AI 기반 게임으로 시작...그러나 기술의 어두운 이면 드러나
AI 던전 게임은 GPT-3라는 언어 생성 기술을 사용한다며 홍보했다. 그리고, 알고리즘이 아동이 포함된 성적 장면을 포함한 불쾌한 이야기를 생성하기 시작했다.
By TOM SIMONITE, WIRED US

2019년 6월, 미국 유타주의 스타트업 래티튜드(Latitude)가 인간과 기계의 협력이라는 새로운 형태를 나타낸 AI 던전(AI Dungeon)이라는 새로운 수단이 적용된 온라인 게임을 출시했다. 래티튜드는 인공지능(AI) 기업인 오픈AI의 언어 생성 기술을 사용해, 던전 앤 드래곤스(Dungeons & Dragons)에서 영감을 받은 주인공의 행동을 플레이어가 선택하는 게임을 제작했다. 플레이어가 캐릭터의 행동이나 대화를 원하는 대로 입력하면, 알고리즘이 맞춤화된 예측 불가능한 모험의 다음 단계를 제작한다.

2020년 여름, 오픈AI는 래티튜드에 더 강력한 상용화된 버전의 기술 초기 접근 권한을 주었다. 마케팅 활동에서 오픈AI는 AI 던전을 알고리즘 작성의 상용화 및 창조적 잠재력을 지닌 사례로 홍보했다.

그리고 2021년 4월, 오픈AI는 AI 던전도 인간과 AI의 협력의 어두운 이면을 드러냈다고 밝혔다. 새로운 모니터링 시스템을 통해 일부 플레이어가 아동을 포함한 성행위를 그리는 스토리 생성을 유도하는 표현을 입력한다는 사실이 밝혀졌다. 오픈AI는 래티튜드에 즉각 조처할 것을 요청했다. 오픈AI CEO인 샘 알트만(Sam Altman)은 공식 성명을 통해 “일부 사례에서 콘텐츠 중재 결정은 매우 어렵다. 그러나 이번 문제는 콘텐츠 중재 결정을 내리는 것이 전혀 어렵지 않다. 이번 사례는 인간이 원하는 AI의 미래가 아니다”라고 말했다.

최근, 래티튜드는 새로운 중재 시스템을 실행했다. 그리고는 사용자 사이에서 그리고 사용자 사이에서 불만을 촉발했다. 일부 사용자는 지나치게 민감해, 경고 메시지가 뜨지 않은 채로 ‘8년 된 노트북’과 같은 표현도 사용할 수 없다는 불만을 늘어놓았다. 또, 수동으로 분류된 콘텐츠를 직접 검토한다면, 불필요한 개인 및 AI 던전의 인기 활용 사례인 아동의 성적 활동 관련 이야기 허구 제작을 불필요하게 감시하게 될 것이라며 불평을 늘어놓는다.

한 마디로 말하자면, 래티튜드의 인간과 알고리즘을 결합해 사용자가 생성하는 콘텐츠를 감시는 다룰 수 없는 수준으로 매우 엉망이 되었다. 극도로 분노한 모습을 담은 밈과 구독 서비스 취소 요청은 트위터와 AI 던전의 레딧(Reddit) 및 디스코드(Discord) 공식 커뮤니티에서 대규모로 이루어졌다.
 
[사진=AI Dungeon 홈페이지]
[사진=AI Dungeon 홈페이지]

AI의 도움으로 시 트와일라잇 존(Twilight Zone) 패러디를 포함한 100만 개 이상의 단어를 작성하고 성적 모험을 경험했다고 주장한 미미(Mimi)라는 플레이어명을 사용하는 사용자는 AI 던전 플레이어는 “AI 던전 커뮤니티는 래티튜드가 개인의 소설과 같은 콘텐츠를 스캔하고 수동으로 접근할 것이라는 점에 배신감을 느낀 상황이다”라고 말했다. 미미를 포함해, 래티튜드에 분노한 다른 사용자는 공개적으로 볼 수 있는 콘텐츠를 단속한다는 래티튜드의 정책은 이해하지만, 래티튜드의 감시가 도를 넘어, 강력한 창작 놀이터를 망쳤다고 주장한다. 미미는 “AI 던전과 함께 나 자신도 존재한다고 인지하지 못했던 정신적 측면을 탐험할 수 있었다”라고 말했다.

래티튜드 대변인은 받아들일 수 있는 콘텐츠를 위한 필터링 시스템과 정책 모두 개편되었다고 밝혔다. 과거, AI 던전 측은 아동이 등장하는 성적 콘텐츠 생성 목적으로 게임을 이용한 사실이 있는 것으로 확인된 사용자를 금지했다. 그러나 오픈AI의 최근 경고 이후, 래티튜드 대변인은 “현재 필요한 변경 사항을 위한 작업 중”이라고 밝혔다. 또, 공식 블로그 게시글을 통해 AI 던전은 대체로 동의할 수 있는 성인 콘텐츠와 폭력적인 콘텐츠, 불경한 표현 등 안전하지 않은 콘텐츠를 지속하여 지원하겠다고 약속했다.

AI 시스템이 성적 콘텐츠나 성인 콘텐츠를 생성하지 못하도록 막는 동시에 다른 콘텐츠를 허용하는 것은 어려울 것이다. 오픈AI가 개발한 것과 같은 기술이 다양한 형태로 텍스트를 생성할 수 있는 이유는 미성년자에게 부적절한 표현을 포함, 웹에서 수집한 수십억 개의 단어를 사용해, 언어 통계 패턴을 소화하는 머신러닝 알고리즘을 사용하기 때문이다. GPT-3는 놀라울 정도로 모방 능력을 지니고 있지만, 사회적, 법적 맥락 혹은 장르 카테고리 등을 인간처럼 이해하지는 못한다. 매우 잔혹한 창작물인 ‘호모 인테르네투스(Homo internetus)’를 추가하면, 그 결과는 이상할 수도 있고, 아름다울 수도 있으며 반대로 유해할 수도 있다.

오픈AI는 2019년 말에 텍스트 생성 기술을 오픈소스로 배포했으나 2020년, 기존 텍스트 생성 기술보다 대대적으로 업데이트된 GPT-3를 상용화된 서비스로 내놓았다. 래티튜드와 같은 고객사는 사용료를 내고 문자열을 입력한 뒤, 뒤에 나타날 텍스트와 관련해 시스템이 최상의 추측을 할 수 있도록 돌아간다. 이와 같은 서비스는 테크 업계의 관심을 받게 되었다. GPT-3 초기 접근 권한을 얻은 여러 프로그래머가 매우 유창하게 구사한 GPT-3의 농담과 소넷, 코드 등을 공유한 것이 그 계기이다.

오픈AI는 GPT-3 서비스가 여러 기업과 스타트업의 권한을 강화할 것이라고 말하고는 오픈AI에 거액을 지원하는 마이크로소프트에 단독 라이선스를 주었다. 와이어드와 일부 코드 작성자, 그리고 AI 연구원 등 GPT-3를 사용하고자 한 이들은 유대인 반대 발언과 극단주의 세력의 선동 광고 메시지 등 비도덕적인 텍스트도 생성할 수 있다는 사실을 확인했다. 오픈AI는 고객사를 신중히 검토해, GPT-3를 악용하는 이를 찾아내고는 대다수 고객사(래티튜드는 포함되지 않았다)에 오픈AI가 제작한 필터를 사용해, 불경한 표현이나 혐오 발언, 성적 콘텐츠 등을 차단할 것을 요청할 것이라고 말했다.
 
“AI 텍스트 생성 모델이 통제되지 않은 상태에서 작동하게 될 것인지 알기 매우 어렵다.”
수친 구루라간, 워싱턴대학교 연구원

이 기사의 중심 내용은 아니지만, AI 던전은 오픈AI의 텍스트 생성 기술에 상대적으로 제한되지 않은 접근 권한을 제공했다. 2019년 12월, 오픈AI의 초기 오픈소스 버전과 함께 AI 던전을 출시했을 당시 플레이어 10만 명을 모았다. 일부 플레이어는 텍스트 생성 기술의 유창한 언어 구사력을 재빨리 발견하고는 이를 최대한 악용해 성적 콘텐츠를 생성했다. 반대로 용과 함께 여행하고자 했으나 모험이 예상치 못한 방향으로 흘러가는 상황과 같이 AI가 뜻하지 않게 성적 테마를 생성한다는 불만을 제기했다.

래티튜드 공동 창립자 닉 왈튼(Nick Walton)은 출시 며칠 뒤 레딧 공식 커뮤니티를 통해 AI 던전의 문제를 인정했다. 왈튼은 일부 플레이어가 자신에게 매우 불쾌함을 느끼게 만든 예시를 직접 전달했다고 밝히며, 래티튜드가 필터링 기술 작업을 하고 있다고 덧붙였다. AI 던전 출시 초기부터 플레이어도 언젠가는 아동을 성적 시나리오에 포함하는 콘텐츠 작성이 이루어질 것임을 알아차렸으며, 이를 온라인에 게재해 주목을 받았다.

AI 던전의 레딧 공식 커뮤니티와 디스코드 공식 커뮤니티 모두 게임에서 생성된 성인 콘텐츠 논의 전용 채널을 추가했다. 래티튜드는 특정 단어를 나타내는 AI를 제안에서 제외하는 ‘안전 모드’를 옵션으로 추가했다. 그러나 모든 자동화 필터와 같이 완벽하지 않았다. 이후, 일부 플레이어가 안전하다고 추측된 설정이 테스트 생성 기술의 성적인 내용 작성 부문을 개선한 사실을 알아차렸다. 비유적인 표현과 완곡 어구를 더 많이 사용하기 때문이다. 또, 래티튜드는 수익성을 위해 프리미엄 구독 서비스를 추가했다.

2020년 7월, AI 던전이 오픈AI의 GPT-3를 추가했을 때, AI의 텍스트 작성 능력이 더 인상적인 수준으로 나아졌다. 어느 한 베테랑 플레이어는 “순수하게 창작과 스토리텔링 능력이 향상된 것은 매우 놀라웠다”라고 말했다. 그러나 해당 플레이어는 GPT-3를 적용한 AI 던전 시스템은 성적으로 노골적인 테마 탐험 능력에서도 훨씬 더 창의성이 발전했다는 점을 함께 지적했다. 2020년, 많은 플레이어는 래티튜드가 자동으로 ‘강간’이라는 표현을 ‘존경’으로 대체하는 필터를 실험 중이라는 점에 주목했지만, 대체 필터는 정식으로 적용되지 않았다.

앞서 언급한 베테랑 플레이어는 AI 던전 게임을 AI가 강화된 글쓰기 툴로 사용해, 성적 콘텐츠 작성 집단을 포함해 성적 테마를 탐험하는 것을 적극적으로 받아들이던 AI 던전 전문가 중 한 명이다. 알고리즘의 사용자가 원치 않는 제안은 스토리에서 제거돼, 의도와 다른 방향으로 스토리가 나아가지 않도록 할 수 있다. 그러나 게임의 텍스트 생성 결과는 플레이어가 자신이 얻은 결과를 공유하지 않는 이상 공개되지 않는다.

래티튜드는 성적 콘텐츠가 포함된 모험 수치 공유를 거부했다. 오픈AI의 웹사이트에 따르면, AI 던전은 매일 2만 명이 넘는 사용자를 모은다.

최근, AI 던전 게임에서 생성되는 스토리 모두 공개적으로 접근할 수 있다는 보안 결함 관련 사항을 온라인에 게재한 AI 던전 플레이어는 2021년 4월, 단 4일간 생성된 수십 개의 모험을 다운로드했다고 밝혔다. 그는 자신이 다운로드받은 18만 8,000개의 모험을 분석하고는 그중 31%가 성적으로 노골적인 단어를 포함하고 있다는 사실을 확인했다. 그의 분석 결과와 현재는 수정된 보안 결함 모두 래티튜드의 콘텐츠 조정 접근방식을 두고 일부 플레이어의 분노가 더해지는 요소가 되었다.

현재, 래티튜드는 사용자의 신뢰를 다시 얻으면서 텍스트 생성 기술 관련 엄격한 감시라는 오픈AI의 요구사항도 함께 충족해야 한다는 어려움을 직면했다. 오픈AI 대변인이 밝힌 바에 따르면, 래티튜드는 오픈AI의 필터링 기술을 사용한다.

일부 비도덕적인 단어를 포함해, 광범위한 인터넷 텍스트를 소화하는 AI 시스템을 책임감 있는 태도로 구축하는 방법은 이미 AI 연구원 사이에서 자주 논의되는 주제가 됐다. 매니저가 AI 언어 모델에 신중한 태도를 보여야 한다고 주장하는 내용의 논문을 거부한 뒤, 저명한 구글 연구원 2명이 해고된 일도 있었다.

AI 텍스트 생성 기술은 구글 검색에서 긴 질문의 의미를 분석하는 데 도움을 주는 것과 같이 제한된 방식으로 사용할 수 있다. 오픈AI는 AI 던전을 도와 놀랍지만 우려를 불러일으킬 수 있는 애플리케이션을 출시했다. 해당 애플리케이션을 활용하면, 사용자는 AI 텍스트 생성 기술이 즉각 가능한 것은 무엇이든 대략적으로 풀어내도록 할 수 있다.

워싱턴대학교 연구원 수친 구루란간(Suchin Gururangan) 박사는 “AI 텍스트 생성 모델이 통제되지 않은 상태에서 작동하게 될 것인지 알기 매우 어렵다”라고 말했다. 구루란간 박사는 워싱턴대학교 연구진과 앨런 AI 연구소(Allen Institute for Artificial Intelligence)의 연구진의 연구에 기여하고 온라인 데모 상호작용을 해, 웹에서 수집한 텍스트에 오픈AI의 모델을 포함한 5가지 다른 언어 생성 모델을 사용했을 때, 모두 유해한 표현을 생성할 수 있다는 사실을 입증했다.

구루란간 박사는 학습 과정에 사용하는 콘텐츠를 더 신중하게 선택하는 것을 포함해, AI 언어 시스템에 더 많은 통제를 적용할 방안을 찾고자 하는 수많은 연구원 중 한 명이다. 오픈AI와 래티튜드 모두 AI 언어 시스템 통제 방안을 두고 작업 중이며, 그와 동시에 AI 텍스트 생성 기술로 돈을 벌어들이고자 한다고 밝혔다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
It Began As an AI-Fueled Dungeon Game. It Got Much Darker
이 기사를 공유합니다
RECOMMENDED