By LILY HAY NEWMAN, WIRED US

대부분 일상에서 인공지능(AI) 툴을 사용하거나 단순히 AI가 주변에 존재하는 것 자체가 오픈AI의 챗GPT, 구글 바드 등 소수 테크 업계 대기업과 스타트업이 생성형 AI 툴을 새로이 출시하면서 최근 몇 개월 사이에 주류가 되었다고만 생각할 것이다. 하지만 생성형 AI 확산 이면에서 AI는 지난 몇 년간 확산되었으며, 가장 적합한 신규 AI 시스템 평가 및 보안 유지 방법을 두고 다양한 의문을 제기하였다. 그리고 2023년 8월, 마이크로소프트가 2018년부터 AI 플랫폼 공격으로 자사 서비스의 취약점이 드러날 방법을 찾는 작업을 전담한 팀인 AI 레드팀(AI red team)과 관련하여 상세한 사항을 발표했다.

마이크로소프트 AI 레드팀은 설립 5년 동안 기본적인 실험을 진행하던 부서에서 머신러닝 전문가, 사이버 보안 연구원, 소셜 엔지니어 등 여러 인재로 구성된 전체 학제 간 문제를 다루는 부서로 성장했다. AI 레드팀은 디지털 보안의 기존 논의 방식을 이용하여 마이크로소프트 내부와 테크 업계 전반에 걸쳐 발견한 사항을 소통했다. 따라서 AI 레드팀이 다루는 AI 보안은 대다수 개인이나 기관이 아직 보유하지 않은 특수한 AI 지식에 필요한 것보다 접근성이 뛰어나다. 그러나 실제로 AI 레드팀은 AI 보안이 기존 디지털 방어와는 중요한 개념적 차이가 있는 분야라는 결론을 내렸다. AI 레드팀의 접근 방식의 차이점이 필요한 이유이다.

마이크로소프트 AI 레드팀 창립자인 람 샨카르 시바 쿠마르(Ram Shankar Siva Kumar)는 “AI 레드팀을 처음 설립했을 당시 기본적으로 AI 보안 연구 전담팀을 두면서 지닐 차이점과 AI 레드팀이 필요한 이유를 중심으로 다양한 의문점이 제기됐다. 그러나 AI 레드팀을 기존 레드팀으로만 보면서 보안 사고방식만 갖추었다면, 충분하지 않을 것이다. AI를 바로 AI 시스템 실패 책임을 지는 책임감 측면에서 인식해야 한다. 따라서 공격적인 콘텐츠와 근거가 없는 내용을 다룬 콘텐츠를 생성해야 한다. 책임감 있는 AI 형성은 AI 레드팀 형성 시 힘겹게 얻을 수 있는 성과이다. 단순히 보안 결함만 살펴보는 데 그치지 않고, AI 결함에도 책임을 져야 한다”라고 설명했다.
 
샨카르 시바 쿠마르는 일반 디지털 보안 분야와 AI 보안 분야의 차이점을 적용하고는 AI 레드팀의 임무가 실제로 보안과 책임감 있는 AI 형성이라는 두 가지 초점을 강조하는 것이라고 전했다. 이미 마이크로소프트와 비영리 연구·개발 단체 MITRE, 기타 외부 연구원 여러 명의 협력으로 개발된 2020 적대적 머신러닝 위협 매트릭스(2020 Adversarial Machine Learning Threat Matrix)와 같은 기존 보안 툴 개발과 관련하여 수많은 초기 작업이 진행됐다. 2020년, 마이크로소프트는 AI 보안 테스트용 오픈소스 자동화 툴인 ‘마이크로소프트 카운터핏(Microsoft Counterfit)’도 출시했다. 이듬해 레드팀은 추가 AI 보안 위험 평가 프레임워크를 공개했다.

그러나 시간이 지나면서 AI 레드팀은 진화하면서 연구 영역을 확장했다. 머신러닝 결함과 실패를 시급히 다루어야 할 필요성이 더 분명하게 드러났기 때문이다.

AI 레드팀은 운영 초기에 머신러닝 구성요소를 갖춘 마이크로소프트 클라우드 배포 서비스를 평가했다. AI 레드팀은 이미 다른 클라우드 서비스 사용자를 대상으로 발생한 서비스 거부(DoS) 공격 개시 방식을 고안했다. 공격은 악성 요구 사항을 제작하여 머신러닝 구성요소 악용 및 클라우드의 모방 컴퓨터 시스템인 가상 머신 전략적 개발이 이루어지도록 한 결함을 악용하는 방식으로 펼쳐졌다. AI 레드팀은 핵심 위치에 가상 머신을 신중하게 배치하여 다른 클라우드 사용자를 대상으로 한 노이지 네이버(noisy neighbor) 공격을 개시했다. 해당 공격은 특정 사용자의 활동이 다른 사용자의 작업에 악영향을 미칠 수 있는 공격이다.

궁극적으로 AI 레드팀은 실제 마이크로소프트 고객사에 영향을 미칠 위험성 없이 오프라인 버전 시스템을 개발하고는 공격을 개시해 취약점의 존재를 입증했다. 샨카르 시바 쿠마르는 AI 레드팀의 초기 연구 결과는 AI 레드팀의 유용함을 중심으로 제기된 각종 의심이나 의문점을 없애는 역할을 했다고 전했다. 그는 “AI 레드팀의 초기 연구로 공개된 보안 문제를 발표하자 실제로 AI 레드팀이 발견한 결함이 존재한다면, 기업 운영 측면에서 부정적인 영향을 미칠 것이라는 반응이 이어졌다”라고 말했다.

중요한 점은 AI 시스템의 역동성과 다면적 특성은 마이크로소프트가 단순히 AI 플랫폼을 겨냥한 공격 자원을 최대한 갖춘 공격 세력만 연구하는 것이 아니라는 사실을 의미한다. 샨카르 시바 쿠마르는 “일부 신규 공격 세력은 대규모 언어 모델을 표적으로 삼았다. 실제 대규모 언어 모델 공격을 개시한 세력이 비속어를 입에 달고 사는 청소년일 수도 있고, 일반 브라우저 사용자일 수도 있어, 누구든 잠재적인 공격 대상을 간과하려 하지 않는다. 지능형 지속 공격이 존재하지만, 대규모 언어 모델을 공격하고 공격을 모방하려는 새로운 공격자 집단도 존재한다는 사실을 인지한다”라고 설명했다.

마이크로소프트 AI 레드팀은 다른 레드팀과 마찬가지로 단순히 지금 당장 무차별적으로 악용되는 보안 문제만 연구하지 않는다. 샨카르 시바 쿠마르는 AI 레드팀이 특정 공격 유형이 다음에 기승을 부릴 공격 유형이 될 가능성을 예측하는 데 주력한다고 밝혔다. 종종 새로운 AI 책임감을 강조하는 역할도 한다. AI 레드팀이 애플리케이션이나 소프트웨어 시스템에서 기존 취약점을 발견한다면, 단순히 자체적으로 문제 수정 방식 전체를 개발하고 제안하기보다는 주로 마이크로소프트 내 다른 부서와 협력하여 문제를 수정한다.

샨카르 시바 쿠마르는 “마이크로소프트 내 다른 레드팀과 윈도 인프라 전문가를 비롯하여 AI 레드팀에 필요한 모든 인력이 있다. AI 레드팀은 현재 단순한 보안 결함만 다루지 않고, AI 결함 책임도 함께 다룬다”라고 강조했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Microsoft’s AI Red Team Has Already Made the Case for Itself