By LILY HAY NEWMAN, WIRED US

자연어 처리 과정(NLP)은 계속 예상하지 못한 문제에 도달하는 문제를 찾게 된다. 이번에는 피싱 메일 관련 문제가 등장했다. 어느 한 연구팀은 소규모 연구에서 딥러닝 언어 모델인 GPT-3를 다른 여러 가지 ‘서비스로서의 인공지능(AIaas)’을 함께 사용해 매우 놀라운 수준의 낮은 장벽으로 대규모 스피어피싱 메일 공격을 생성할 수 있다는 사실을 발견했다.

연구팀은 오랫동안 해커가 꽤 흥미로운 피싱 메일을 생성할 수 있는 머신러닝 알고리즘을 훈련할 가치가 있을지 논의했다. 대규모 피싱 메시지는 간단하면서 정해진 공식을 따라 결과적으로 매우 효과적이다. 그러나 고도로 대상을 설정하고 제작한 ‘스피어피싱’ 메시지는 더 많은 노동력이 필요하다. 여기서 NLP를 놀라울 정도로 간단하게 활용해 스피어피싱 메일을 작성할 수 있다.

2021년 8월, 라스베이거스에서 개최된 블랙햇(Black Hat) 및 데프콘(DEF CON) 콘퍼런스에서 싱가포르 정부 기술국(Government Technology Agency)이 최근, 대상을 지정하고 직접 작성한 피싱 메일과 AIaas로 자동 작성한 피싱 메일을 동료 200여 명에게 전송하는 실험을 보여주었다. 그러나 두 가지 메시지 모두 실제 악성 정보는 없으나 단순히 링크 클릭 비율을 연구팀에 보고하는 링크를 메시지에 포함했다. 놀랍게도 인간이 직접 작성한 메일보다는 AI가 생성한 메일에 포함 링크를 클릭할 확률이 훨씬 더 높은 것으로 확인됐다.

싱가포르 정부 기술 관리국 소속 전문가 유진 림(Eugene Lim)은 “연구팀은 AI가 어느 정도 전문 능력을 갖추어야 한다고 말한다. 실제 훌륭한 모델을 훈련하는 데 수백만 달러가 소요된다. 다만, AIaas는 단 몇 센트만 지출하며 상대적으로 쉽게 사용할 수 있다. 그저 텍스트를 작성하고 전송하기만 한다. 코드 실행도 필요하지 않고, 즉시 명령을 시행하면서 결과를 보여줄 것이다. 따라서 상당수 사용자의 진입 장벽을 낮추면서 잠재적인 스피어피싱 공격 대상을 늘린다. 갑자기 대규모로 작성된 모든 이메일이 개인 수신자별 맞춤 작성 과정을 거치게 된다’라고 설명했다.
 
연구팀은 오픈AI의 GPT-3와 다른 AIaas를 함께 사용해 개인 분석에 초점을 맞추어 동료의 출신 배경과 특성에 따른 맞춤형 피싱 메일을 생성했다. 개인 특성에 초점을 맞춘 머신러닝은 행동 입력을 기반으로 개인의 성향과 정신적인 요소를 예측한다. 여러 서비스로 결과를 실행한 뒤, 연구팀은 이메일을 세련되게 정리하고 변경하기 전, 메일의 버전을 관리하고는 여러 애플리케이션에 사용할 수 있었다. 연구팀은 그 결과가 인간이라기에는 이상한 표현을 담고 있으며, 플랫폼은 놀라운 특수 정보를 자동으로 공급한다. 일례로, 플랫폼은 싱가포르 거주자를 대상으로 피싱 메일을 작성할 때, 자동으로 싱가포르 법률 규정을 언급한다.

연구팀은 AIaas로 생성한 메일의 품질과 보안 전문가 연구의 악성 링크 클릭 비율이 안간이 제작한 메일보다 더 높다는 사실에 감탄하는 한편, 연구팀은 전문 지식이 AIaas를 함께 이용한 피싱 메일 생성의 첫 단계라는 점에 주목한다. 예시 규모는 상대적으로 작았으며, 최대 공격 대상이 고용 상태와 지리적 지역 측면에서 매우 단일했다. 또, 인간이 직접 작성한 피싱 메일과 AIaas가 생성한 피싱 메일 모두 먼 곳에서 적절한 어조로 메일을 작성하고자 하는 외부 해커가 아닌 내부 보안 연구원이 작성한 메일이다.

정부 관리 기술국 소속 사이버 보안 전문가인 탄 키 혹(Tan Kee Hock)은 “고려해야 할 여러 가지 변수가 많다”라고 언급했다.

여전히 AIaas의 피싱 능력 작성 능력 발견 사실은 연구팀이 AIaas가 피싱과 스피어피싱 공격에서 앞으로 어떤 역할을 할 것인지 더 깊이 생각하도록 유도했다. 일례로 오픈AI는 오랫동안 자체 서비스나 다른 비슷한 기술을 악용할 위험성을 우려해왔다. 연구팀은 다른 신중한 AIaas 서비스 공급사가 분명한 시행 규정을 두고 악의적인 활동에 악용될 가능성을 두고 플랫폼을 감사하거나 사용자 정체를 어느 정도 검증하려 한다는 사실에 주목한다.

오픈AI는 와이어드에 보낸 공식 성명을 통해 “언어 모델 악용은 안전하면서 책임감 있는 AI 배포 약속의 일부에 매우 심각한 문제를 일으킨다. 오픈AI는 자체 API를 통해 GPT-3 접근 권한을 부여하며, GPT-3를 사용하는 모든 제품 생성을 검토한 뒤 실제 활용할 수 있도록 한다. 오픈AI는 비율 제한 등 기술적 조치를 시행해 API 사용자의 GPT-3 악용 때문에 문제가 발생할 위험성과 그 여파를 줄인다. 오픈AI의 적극적인 모니터링 시스템과 감사 활동은 초기 단계에서부터 악용할 잠재적인 증거를 드러내고 계속 안전 툴의 정확도와 효과를 개선하기 위한 작업을 이어간다”라고 밝혔다.

오픈AI는 악용 방지 조치 관련 자체 연구를 진행하며, 정부 기술국 연구팀은 오픈AI에 GPT-3와 AIaas의 피싱 메일 작성 위험성을 알렸다.

그러나 연구팀은 실질적으로 서비스의 악용 위험성 감시와 합법적인 플랫폼 사용자의 권리를 침입하는 감시 시행 간 대립이 있다. 더 복잡한 요소는 모든 AIaas 공급사가 플랫폼 악용 문제를 줄이는 데 신경 쓰지 않는다는 사실이다. 더 나아가 일부 공급사는 사기꾼에게 서비스를 제공하기도 한다.

림은 “실제 AI API에 접근하기 쉽다는 사실에 놀랐다. 오픈AI와 같은 일부 기업은 매우 엄격하면서도 강력한 대처를 하지만, 다른 여러 공급사는 무료 시험판 서비스를 제공하면서 사용자 이메일 주소 검증이나 신용카드 정보 확인 과정도 거치지 않는다. 그저 새로운 무료 시험판만 계속 사용하고는 콘텐츠를 마구 생산할 수 있다. 엄밀히 말하자면, 사이버 공격 세력이 쉽게 접근할 수 있는 첨단화된 자원을 쉽게 접근할 수 있다”라고 말했다.

연구팀은 싱가포르 정부와 유럽연합이 개발하는 AI 관리 프레임워크도 악용 문제를 해결하는 데 기업에 도움을 줄 수 있다고 말한다. 그러나 딥페이크와 AI가 생성한 가짜뉴스 확산 문제에서 주목을 받은 것과 같은 난제인 인간이 직접 작성한 피싱 메일이나 AI가 생성한 피싱 메일을 감지할 잠재적인 능력을 지닌 툴 연구에 초점을 맞추기도 한다. 연구팀은 또다시 오픈AI의 GPT-3와 같은 딥러닝 언어 모델을 이용해 AI가 생성한 텍스트와 인간이 직접 작성한 텍스트의 차이를 인지할 수 있는 틀을 개발했다. 이메일에서 인간이 직접 작성한 글을 분류해 AI가 생성할 수도 있는 피싱 메시지를 더 쉽게 찾아내기 위한 메커니즘을 구축하는 것이다.

다만, 연구팀은 인간이 직접 작성한 메일이 고객 서비스 소통과 마케팅 등 갈수록 더 합법적인 기능에 활용되므로 피싱 메시지만 분류하는 감시 툴을 개발하기 더 어려워질 것이라는 점에 주목한다.

정부 기술국 소속 사이버 보안 전문가인 글레니스 탄(Glenice Tan)은 “피싱 메일 감지는 중요하지만, 일반적으로 매우 매력적이면서도 신뢰할 수 있는 메시지를 준비할 수도 있다. 여전히 보안 훈련 역할이 필요하다. 이에 주의하고, 회의적인 관점을 유지해야 한다. 안타깝게도 피싱 메일 감지 문제를 비판적으로 보는 것이 중요하다”라고 말했다.

또, 정부 기술국 연구원 티모시 리(Timothy Lee)가 밝힌 바와 같이 인간을 흉내 내는 AI가 생성한 이메일은 잠재적인 피해자에게 문제가 되는 요소는 위험성이 커지면서 똑같이 존재한다는 점을 의미한다.

리는 “아직은 피싱 메일이 한 번에 피해 정도를 이해하면 된다. 다른 방식으로 작성된 피싱 메일 수 천개를 받아도 상관이 없다. 대비하지 못한 상황에서 AI가 생성한 피싱 메일이 우리를 놀라게 하고는 피해를 준다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
AI Wrote Better Phishing Emails Than Humans in a Recent Test