By WILL KNIGHT, WIRED US

2020년 8월, 군사용 드론과 탱크 같은 로봇 수십 대가 시애틀에서 40마일 떨어진 상공과 도로에 등장했다. 드론과 로봇의 임무는 일부 건물에 숨어있는 테러 용의자를 찾는 것이었다.

수많은 로봇이 테러 용의자 색출 작전에 투입돼, 인간 조작자가 계속 모든 상황을 면밀히 관찰할 필요가 없었다. 따라서 드론과 로봇은 단순히 지시를 받아 적을 찾고는 필요에 따라 적을 제거했다.

해당 임무는 그저 현실 세계 적용 부처인 미국 국방성 고등 연구계획국이 주관한 훈련이었다. 로봇에는 아군 로봇과 적군 로봇 모두와의 상호작용을 촉진하는 무선 송신기 외에 치명적인 장비는 장착되지 않았다.

위의 군사 훈련은 2020년 여름, 인공지능(AI)이 인간이 모든 중요한 결정을 하기에는 너무 복잡하면서 빠르게 움직이는 상황을 포함해 군사 시스템의 자치권 확장에 얼마나 도움이 되는지 시험하기 위해 시행됐다. 또한, 기계가 복잡한 상황을 분석하거나 빠른 속도로 작동하는 능력 면에서 인간을 뛰어넘는 것이 더 확실해지자 미국 국방부의 자동화 무기 관련 생각이 겉으로 크게 드러나지 않을 정도로 미세하게 변한 사실을 반영하기도 한다. 
 
2021년 4월, 미 육군 미래사령부의 존 머레이(John Murray) 장군은 미 육군사관학교 청중에게 수많은 로봇 때문에 어쩔 수 없이 군사 계획과 정책 수립, 사회에 인간이 새로운 자동화 시스템에 있어 치명적인 힘을 사용해 모든 결정을 내려야 하는지 생각해야 할 것이라고 말했다. 머레이 장군은 “어떤 부분에 참여하고, 별도의 100가지 사건에 결정을 내려야 하는가? 심지어 인간이 특정 문제와 관련된 정보를 아는 것이 꼭 필요하기는 할까?”라는 질문을 했다.

다른 군 지휘관의 다양한 의견은 자동화 무기 시스템에 더 개입하는 것에 관심을 두고 있음을 나타낸다. 최근, 미 공군의 AI 콘퍼런스에서 MIT의 공군 AI 가속화 기관의 운영 총괄 마이클 카난(Michael Kanaan)은 자동화 시스템 사용이 진화하고 있다는 생각을 밝혔다. 카난 총괄은 인간이 높은 수준의 결정을 내리는 동안 AI가 잠재적인 목표물을 더 많이 찾아내고 구분하는 임무를 수행해야 한다고 주장했다. 그는 “AI가 더 많은 임무를 수행하는 것이 공군이 나아갈 길이라 생각한다”라고 말했다.
 
또, 같은 자리에서 국방성 전략 및 통합, 요구사항 담당 부총괄인 클린턴 하이노트(Clinton Hinote) 준장은 인간이 치명적인 자동화 시스템에서 영향력을 행사하지 않는 문제는 “곧 시행 예정인 가장 흥미로운 논의 사항 중 하나이다. (그러나) 아직 합의되지는 않았다”라고 언급했다.

2021년 5월, 미 의회가 설립한 자문 단체인 국가안보위원회 AI 부처가 공개한 보고서에는 다른 여러 요소 중, 미국이 국제 사회의 자동화 무기 개발 금지 촉구에 저항할 것을 권고한다고 작성됐다.

동시다발 작전 개시 프로젝트를 담당하는 미국 방위고등연구 계획(Darpa program) 관리자인 티모시 정(Timothy Chung)은 2020년 여름에 진행된 훈련은 인간 드론 조종자가 자동화 시스템 관련 사항을 결정해야 할 때와 하지 말아야 할 때는 탐색하기 위한 의도로 설계됐다고 말한다. 예를 들어, 최전방 일부 지역에서 공격 상황에 직면했을 때, 간혹 인간이 제어하는 데 어려움이 있다. 인간이 공격을 방어하기 충분한 수준으로 빠른 반응을 보일 수 없기 때문이다. 그는 “실제로 자동화 시스템은 누군가의 개입이 없을 때, 군사 작전을 더 훌륭하게 수행할 수 있다”라고 설명했다.

대형 배낭 크기의 드론과 바퀴가 달린 로봇에 전체 목표가 주어진 뒤, AI 알고리즘과 연결해 달성할 계획을 세운다. 드론과 로봇 중 일부는 건물을 둘러쌀 때, 나머지는 감시 활동을 수행한다. 시뮬레이션 폭발 작전에서 드론과 로봇 소수만이 파괴됐다. 또, 일부는 적군의 송신기를 확인하고는 공격 개시를 선택했다.

미국을 포함한 여러 국가가 수십 년 동안 무기 시스템에 자동화 기술을 사용해왔다. 예를 들어, 일부 미사일은 자동으로 사정거리 내의 적을 찾아내고는 공격을 개시할 수 있다. 그러나 AI 알고리즘이 빠른 속도로 첨단화되면서 군대의 자동화 무기 시스템 사용 방식이 바뀔 것이다. 그러나 로봇 제어와 주요 건물과 표적을 확인할 능력이 있으며 높은 신뢰도를 지녔지만, 사용되지 않은 AI 코드는 여러 상황에서 더 광범위한 영역에 지금보다 더 많은 시스템을 배치할 수 있도록 만들 것이다.

그러나 드론의 존재가 부각될수록 AI 사용이 더 만연해진 상황 때문에 간혹 인간이 계속 정보를 인지하기 어려워진다. 이는 문제가 된다는 점을 입증할 수 있다. AI가 편견을 지니고 있거나 예측할 수 없는 방식으로 행동할 수 있기 때문이다. 특정 유니폼을 인식하도록 훈련받은 비전 알고리즘은 훈련 과정에서 본 유니폼과 비슷한 의상을 착용한 인물을 표적으로 잘못 지정하는 실수를 범할 수 있다. 이에, 정은 AI 알고리즘을 추측하는 동시다발 작전 개시 프로젝트가 충분히 신뢰할 수 있을 정도로 안정적으로 적을 구분할 수 있는 시점과 관련된 사항을 개선할 것이라고 밝혔다.

AI 무기 시스템 사용은 지난 몇 년간 논란이 되었다. 2018년, 구글은 프로젝트 메이븐(Maven)을 통해 공군에 AI를 제공하자 직원의 반대 시위와 대중의 분노를 마주했다.

프로젝트 메이븐은 어느 정도 오랜 역사를 지닌 무기 시스템의 자동화의 일환에 해당한다. 그와 동시에 일부 미사일은 인간의 제어 없이 제한된 범위에서 임무를 시행할 능력을 지녔다. 그러나 프로젝트 메이븐은 최근의 AI 발전이 어떤 식으로 특정 상황에서 자동화가 더 매력적이면서 불가피한 요소로 만들었는지도 입증했다. 게다가 여전히 예측할 수 없는 방식으로 행동할 수 있는 기술에 신뢰를 두어야 한다는 사실을 강조한다.

뉴아메리칸 보안 센터(Center for New American Security)의 전문가이자 『아무도 없는 군대: 자동화 무기와 미래의 전쟁(Army of None: Autonomous Weapons and the Future of War)』의 저자인 폴 샤르(Paul Scharre)는 자동화 무기 기술과 관련된 더 복잡한 논의를 할 때라고 주장한다. 그는 “’인간의 특정 문제 정보 인지’를 둘러싼 논의가 단순히 ‘알고 있느냐, 알지 못하느냐’로 단순히 이분법으로 나누는 것보다 더 복잡해야 한다. 인간이 적군 드론의 동시다발적인 공격을 판단하고 개입한다면, 인간이 개인적으로 각각의 표적을 선정할 필요가 있겠는가?”라고 말했다.

2012년 11월, 국방성은 인간의 감시가 필요한 자동화 시스템부터 시작해 자동화 무기 정책을 발표했다. 그러나 이는 군인이 모든 결정을 내려야 한다는 뜻은 아니다.

인간이 치명적인 군사력을 책임질 때, 군대가 AI를 사용해 돌아올 수 없는 선을 넘을 수 있다고 믿는 이들은 다른 식으로 생각한다.

MIT 교수 겸 자동화 무기 반대 비영리단체인 미래 생명 연구소(Future of Life Institute) 공동 창립자인 맥스 테그마크(Max Tegmark)는 “모든 테러범이 구매할 여유가 있을 정도로 저렴한 치명적인 자동화 무기는 미국의 국가 보안 이익이 되지 않는다”라고 말했다.

테그마크 교수는 AI 무기가 생화학 무기처럼 부정적인 낙인이 찍혀 금지돼야 한다고 주장했다. 또, 국가안보위원회 AI 부처의 보고서가 전 세계의 자동화 무기 시스템 금지에 반대하는 것은 전략적인 실수라고 말한다. 그는 “자동화 무기 시스템 금지에 반대한다면, 과거 탈레반이 무장한 것을 보고 후회했을 때보다 더 큰 후회를 하게 되는 순간이 오리라 생각한다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
The Pentagon Inches Toward Letting AI Control Weapons