인공지능(AI) 챗봇이 제공하는 답변은 무엇이든 믿어서는 안 된다. 마찬가지로 개인 정보도 신뢰해서는 안 된다. 새로 발표된 연구 보고서가 지적한 바와 같이 ‘AI 여자 친구’나 ‘AI 남자 친구’와의 대화에서는 챗봇의 답변과 개인 정보 모두 더더욱 신뢰해서는 안 된다.
모질라 재단은 2024년 2월 14일(현지 시각), 이른바 로맨스 챗봇과 동반자 챗봇 11종을 조사한 분석 결과를 통해 챗봇의 보안, 프라이버시 우려 사항을 대거 발견했다는 사실을 발표했다. 모질라 재단이 조사한 챗봇의 안드로이드 기기 내 총 다운로드 횟수는 1억 건 이상이며, 사용자 데이터 다량 수집, 구글, 페이스북 및 중국, 러시아 기업으로 정보를 전송하는 트래커 사용, 사용자의 보안 수준이 허술한 패스워드 사용 허용, AI 챗봇 소유권 및 챗봇의 근간이 되는 AI 모델 관련 투명성 부재 등과 같은 문제가 발견됐다.
2022년 11월, 오픈AI의 챗GPT 출시 후 세계 각지의 개발자 사이에서 대규모 언어 모델과 사용자의 상호 작용 및 유료 구독 서비스가 가능한 챗봇 개발을 위한 경쟁을 펼쳤다. 모질라 재단 연구팀은 서둘러 AI 챗봇 개발 기회에 뛰어들려 한 반면, 많은 이들이 프라이버시에 소홀했던 사실과 신흥 기술 간의 긴장 관계, 챗봇의 사용자 데이터 수집, 이용 방식 등을 살펴보았다. 사용자의 대화 메시지를 해커가 악용하는 과정도 조사했다.
이른바 AI 여자 친구나 로맨틱 챗봇 서비스 다수는 비슷하다. 보통 성적으로 표현하거나 유혹적인 메시지를 전송하는 AI로 생성한 여성 이미지가 등장한다. 모질라 재단 연구팀은 대규모 앱과 소규모 앱을 포함하여 여러 챗봇을 조사했다. 그중 일부는 사용자의 여자 친구 행세를 하도록 설계되었다. 혹은 우정이나 성적 관계를 나타내면서 사용자를 지원하거나 역할극, 혹은 사용자의 각종 환상을 실현시키는 챗봇도 있다.
모질라 재단 산하 프라이버시 포함 금지(Privacy Not Included) 프로젝트 책임자 젠 칼트라이더(Jen Caltrider)는 “AI 여자 친구와 같은 챗봇 앱은 개인 정보를 대거 수집하도록 설계되었다. 사용자와 메시지를 주고받으면서 역할극이나 성적 표현, 성적 관계 형성, 기타 다양한 정보 공유 등을 유도한다”라고 말했다. 예를 들어, 에바 AI(EVA AI) 챗봇 에바의 대화 스크린샷에는 “사진과 음성을 보내줄 때마다 사랑한다”라는 메시지와 함께 사용자에게 모든 비밀과 욕망을 공유할 준비가 되었는지 질문한 내용이 담겨있었다.
칼트라이더는 AI 여자 친구 기능을 지원하는 챗봇과 웹사이트에는 여러 문제가 있다고 말했다. 다수 앱이 외부 기관에 공유하는 데이터, 서비스 제공 기업의 위치, 챗봇 개발자 정보 등을 분명하게 밝히지 않았다. 게다가 일부 사용자가 허술한 패스워드를 생성하도록 두면서 AI가 사용하는 정보는 거의 공개하지 않는 문제점도 지적했다. AI 챗봇이 분석한 모든 정보는 사용 사례와 취약점 모두 제각각이다.
[사진=Freepik]
사용자의 개인 AI 여자 친구 생성 기능을 지원하는 로맨틱 AI(Romantic AI) 예시를 살펴보자. 로맨틱 AI의 홍보 홈페이지에는 챗봇이 “란제리를 새로 구매했다. 한번 볼래?”라는 메시지를 전송한 모습을 담은 이미지가 있다. 모질라 재단은 로맨틱 AI의 프라이버시 문서에는 사용자 데이터를 판매한다는 내용이 없다는 분석 결과를 공개했다. 그러나 연구팀이 직접 로맨틱 AI 앱을 테스트한 뒤 단 1분간 사용하는 동안 광고 트래커 2만 4,354개가 전송된 사실을 확인했다. 로맨틱 AI는 연구팀이 연구 보고서를 통해 강조한 대다수 앱 개발 기업과 마찬가지로 와이어드의 프라이버시 관련 의견 공개 요청에 답하지 않았다. 모질라 재단이 조사한 다른 앱도 광고 트래커 수백 개를 전송했다.
전반적으로 칼트라이더는 AI 여자 친구가 공유하거나 판매하는 데이터 정보가 불확실하거나 수집한 일부 정보를 사용하는 방식 등이 정확하지 않다고 설명했다. 칼트라이더는 “법률 문서 내용은 모호하고, 이해하기 어려우면서 구체적이지 않다. 컴퓨터 프로그램이 다른 문서를 거의 똑같이 복사한 것처럼 보인다”라며, 사용자의 신뢰도가 줄어들 또 다른 문제점이라고 지적했다.
AI 챗봇 소유자나 운영자, 개발 기업 정보도 정확하지 않다. 사용자의 AI 친구를 자처하는 미미코(Mimico)라는 AI 챗봇 웹사이트 내 운영자 정보에는 ‘안녕’이라는 단어만 있다. 다른 기업은 소유자나 위치 정보 목록을 나열하지 않거나 일반적인 도움이나 지원 연락처 정보만 게재했다. 칼트라이더는 “미미코와 같은 앱 개발자는 이름과 얼굴, 위치 정보가 없는 영세 규모 앱 개발자이다”라고 말했다.
모질라 재단은 사용자 패스워드 생성 측면에서 일부 기업이 허술한 보안 관행을 채택한 점도 강조했다. 연구팀은 AI 여자 친구, AI 남자 친구를 제공하는 AI 챗봇인 애니마 AI(Anima AI)에서 숫자 1 하나로만 패스워드를 생성하고는 계정 로그인까지 할 수 있었다. 그와 비슷한 다른 앱도 짧은 패스워드 생성을 허용했다. 해커가 키보드 임의 입력 공격으로 사용자 계정을 탈취하고, 개인 대화 데이터에 접근하기 수월해질 수도 있는 부분이다.
에바 AI 브랜드 사장 카밀라 사이푸리나(Kamilla Saifulina)는 와이어드에 보낸 메일을 통해 “현재의 패스워드 요구사항이 잠재적 취약점을 생성할 수 있다”라고 인정하며, 패스워드 정책을 검토하겠다고 답변했다. 사이푸리나는 사용자가 챗봇에 메시지로 전송해서는 안 되는 주제를 상세히 다룬 에바 AI의 안전 지침을 지목했다. 지침에는 다른 AI 모델이 위반 사항을 잡아낼 목적으로 사용자 메시지를 검토한다는 내용도 명시되었다. 사이푸리나는 “사용자의 모든 정보는 비공개 상태를 유지한다. 에바 AI가 자부하는 부분이다. 또한, 사용자 대화는 AI 모델 사전 훈련용으로 사용하지 않는다. 수동으로 작성한 데이터베이스만 사용한다”라고 전했다.
모질라 재단은 데이터 공유, 보안 문제 이외에도 챗봇의 기능을 지원하는 구체적인 기술 정보도 확실히 알 수 없다는 점을 강조했다. 칼트라이더는 “AI 기능 실행 방식에는 투명성이 전혀 없다”라고 언급했다. 일부 앱은 사용자가 메시지를 삭제할 수 있는 관리 옵션도 없다. 간혹 챗봇에 사용한 생성 모델 종류나 사용자가 추후 미래 AI 모델 훈련 데이터에서 대화 기록을 제외할 수 있는지 분명히 알리지 않은 AI 챗봇도 있다.
모질라 재단이 연구 보고서에서 가장 큰 문제로 언급한 앱은 사용자의 동반자 앱으로 홍보하는 ‘레플리카(Replika)’라는 앱이다. 레플리카는 과거, 규제 당국의 감독 대상이 된 적이 있는 앱이기도 하다. 모질라 재단은 2023년 초반 당시 레플리카의 보안 문제를 처음 조사했다. 레플리카 창립자 겸 CEO 유지나 쿠다(Eugenia Kuyda)는 2023년 처음 발행한 장문의 공식 성명을 통해 “사용자와 레플리카 간 대화 데이터를 광고, 마케팅 목적으로 이용하지 않는다”라고 주장하며, 모질라 재단의 연구 결과를 두고 언쟁을 벌었다.
모질라 재단이 분석한 챗봇 대부분 유료 구독 서비스 가입자만 특정 기능에 접근할 수 있으며, 생성형 AI 열풍 시작 후 2년 이내로 출시되었다. 챗봇은 종종 인간과 같은 수준의 메시지를 흉내 내고, 사용자의 신뢰와 성적 관계 형성을 유도하도록 설계되었다. 실제로 어느 한 챗봇 사용자에게 대화 도중 엘리자베스 2세 여왕 살해 교사를 하여 논란이 된 적이 있다. AI 챗봇과 6주간 대화한 뒤 자살한 사용자도 있다. 일부 AI 챗봇 앱은 어디서나 만연한 앱이 된 것에 그치지 않고, 역할극 수행 부문에서 유용한 수단이 되기도 했다. 로맨틱 AI 홈페이지에는 챗봇이 정신 건강을 유지하기 위해 존재한다는 홍보 문구가 있다. 그러나 로맨틱 AI의 사용 약관에는 의학 혹은 정신건강 서비스 앱이 아니라는 점이 명시되었다. 게다가 로맨틱 AI 측은 전문가의 도움 대변, 보장, 공식 인증을 하지 않는다.
레이크포레스트대학 심리학 부교수 비비안 타존슨(Vivian Ta-Johnson)은 일부 사용자는 보통 타인과 이야기하지 않는 주제로 챗봇과 대화하면서 마음의 안정을 느낄 수 있다고 전했다. 그러나 챗봇 서비스 운영사가 서비스를 중단하거나 시스템 운영 방식을 변경한다면, 그동안 챗봇과 가까운 관계를 유지한 사용자에게 후유증을 남길 수 있다고 경고했다. 타존슨 부교수는 “AI 챗봇 기업은 사용자가 챗봇과 형성한 감정적 유대 관계를 진지하게 생각하고, 챗봇 기능의 중요한 변경사항이 사용자의 사회적 지원, 정신 건강 등에 중대한 악영향을 미칠 수 있다는 점을 이해해야 한다”라고 말했다.
일부 사용자는 챗봇에 제공하는 정보를 신중하게 고려하지 않을 수도 있다. AI 여자 친구를 둔 사용자는 성적 취향이나 성적 욕구, 위치, 사적인 감정 등을 챗봇에 그대로 표현할 수 있다. 결국, 해당 챗봇 시스템 해킹이나 데이터 유출 사태가 발생한다면, 의도치 않게 사용자의 명예가 실추될 수 있다. 보안 기업 프루프포인트(Proofpoint) 유럽, 중동 및 아프리카 사이버 보안 전략 부사장 아데니케 코스그로브(Adenike Cosgrove)는 사이버 범죄 세력이 사용자의 신뢰를 주기적으로 악용하여 사기나 신원 정보를 악용하며, 개인 데이터를 다량으로 수집하는 서비스에는 잠재적인 보안 위험 요소가 내재했다고 경고했다. 이어, “다수 사용자는 누군가가 악용할 수 있는 상황에 노출된 개인 데이터의 프라이버시 여파를 종종 간과한다. 특히, 감정적으로 취약한 상황을 드러내는 정보라면, 유출 후 여파가 심각하다”라고 설했다.
AI 여자 친구나 특수 목적을 지닌 AI 챗봇과 관련, 칼트라이더는 사용자가 연애 감정을 이용하는 데 주의하면서 최선의 보안 관행을 채택해야 한다고 강조했다. 보안 수준이 강력한 패스워드 사용, 페이스북이나 구글 계정을 이용한 앱 접속 금지, 데이터 삭제, 가능한 상황에서는 데이터 수집 비활성화 설정 등을 그 대표적인 예시로 언급할 수 있다. 칼트라이더는 “AI 챗봇 사용 시 개인 정보 공유 범위를 최대한 제한해야 한다. 실명, 위치 정보, 나이 등을 챗봇에 알려주어서는 안 된다”라며, “일부 앱에서는 개인 정보 공유 수준 제한 만으로는 부족하다. AI 여자 친구와 같은 챗봇을 사용하는 것 자체만으로도 가장 강력한 보안 관행만큼 안전한 상태를 유지하지 못할 수도 있다"라고 경고했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Freepik]](/news/photo/202402/5369_6954_231.jpg)
뉴스레터 신청