By WILL KNIGHT, WIRED US

세계는 2021년을 치명적인 자동화 무기가 미래 우려 요소에서 전투 현실로 바뀐 사실을 인지한 해로 기억하게 될 것이다. 또한, 정치계에서 자동화 무기 사용 규제를 합의하지 못한 해이기도 하다.

12월 17일(현지 시각), 국제연합기구(UN) 특정 재래식무기 금지협약(Convention on Certain Conventional Weapons)에 참석한 120개국이 치명적인 자동화 무기 개발 혹은 사용 제한을 두고 합의하지 못했다. 대신, 참석국 모두 계속 논의를 ‘강화’하겠다는 약속만 했다.

제네바에 본부를 둔 인도주의 단체 국제적십자위원회 수석 과학자 겸 정책 자문위원인 닐 데이비슨(Neil Davison)은 “매우 실망스러운 일이며, 치명적인 자동화 무기를 제한할 기회를 놓쳤다”라고 말했다.

이번 합의 실패 9개월 전, UN은 치명적인 자동화 무기가 리비아 내전에서 사상 최초로 무력 전쟁에 동원되었다는 사실을 보고했다.

지난 수년간 더 많은 무기 체계에 자동화 요소가 포함되었다. 일례로, 일부 미사일 무기는 주어진 영역 내에서 특정한 지시가 없더라도 발사할 수 있다. 다만, 일반적으로 인간의 명령에 의존해 공격을 개시한다. 또, 대다수 국가 정부가 주장한 바와 같이 자동화 무기를 사용할 때, 적어도 지금은 인간의 특정 상황 지시에 따라 움직이도록 둘 예정이다.

그러나 인공지능(AI) 알고리즘과 센서, 전자 기기가 발전하면서 첨단 자동화 시스템 개발이 수월해졌다. 그와 동시에 기계가 치명적인 공격을 개시할 때, 스스로 판단할 수 있다는 전망이 제기되었다.

브라질과 남아프리카공화국, 뉴질랜드, 스위스 등 치명적인 자동화 무기를 화학 무기와 생물학 무기, 지뢰처럼 협약에 따라 제한해야 한다고 주장하는 국가가 갈수록 증가하는 추세이다. 독일과 프랑스는 인간을 공격 표적으로 삼는 무기를 포함한 특정 자동화 기기 제한을 지지한다. 중국은 극도로 협소한 제한 범위 적용을 지지한다.

미국과 러시아, 인도, 영국, 호주 등 다른 여러 국가는 치명적 자동화 무기 금지를 거부하며, 전략적 불이익을 줄 수 있는 곳을 피하려는 기술 개발이 필요하다고 주장한다.
 
살인 로봇은 오랫동안 대중의 상상력을 사로잡았으며, 공상과학 캐릭터 생성과 미래의 디스토피아 비전에 모두 영감을 주었다. 최근의 AI 부흥과 특정 세계에서 인간을 뛰어넘는 사고 능력을 지닌 새로운 유형의 컴퓨터 프로그램 생성 모두 어느 정도 테크 업계의 거물급 인사가 첨단 기계가 가하는 존립 위협을 경고하도록 촉발했다.
 
UN 보고서를 통해 터키 드론 카구2(Kargu-2)가 2020년, 리비아 내전에 동원된 사실이 뒤늦게 알려진 뒤 2021년 들어 자동화 무기 문제 해결을 둘러싼 더 심각한 압박이 가해졌다. 통합 정부를 지지한 군사가 군대에 맞설 드론을 배치해 리비아 국민군(Libyan National Army)을 지휘하는 칼리파 하프타르(Khalifa Haftar) 장군을 지원해, 별도로 인간을 표적으로 삼고는 공격한 것으로 알려졌다.
 
UN 보고서에는 “물류 호송대와 후퇴하던 하프타르 장군이 이끄는 리비아 국민군이 무인 전투 무인 항공기를 찾고는 원격 공격에 개입했다. 당시 공격에 동원된 드론 시스템은 시스템 조종사와 장비 간 데이터 연결이 없어도 표적을 공격하도록 설계됐다. 사실상 발사 후 스스로 표적과 공격 경로를 지정할 능력을 지닌 진정으로 위험한 무기이다”라고 작성됐다.

자동화 무기 시스템이 장착된 무기를 내전에 동원한 소식은 자율 기술 향상 속도를 반영한다. MIT 교수 겸 인류가 직면한 존립 위협 해결에 헌신하는 기관인 퓨처 오브 라이프 인스티튜트(Future of Life Institute) 공동 창립자인 막스 테그마크(Max Tegmark)는 “자동화 무기 기술은 군사적, 정치적 논의 진전 속도보다 훨씬 더 빠르게 발전하고 있다. 현재 인류는 기본적으로 최악의 결과를 맞이할 수 있는 상황으로 향하고 있다”라고 말했다.

테그마크 교수는 갈수록 AI 무기에 우려의 목소리를 내는 수많은 기술 전문가 중 한 명이다. 퓨처 오브 라이프 인스티튜트는 두 가지 짧은 영상을 제작해 이른바 ‘대학살 봇’이 제기하는 위험성 인식을 제기했다. 2021년 11월에 공개된 가장 최근의 영상은 자동화 드론이 목표를 지정한 대학살을 범할 위험성을 집중적으로 다룬다.

테그마크 교수는 대학살 봇 확산이 만연해지는 추세 반대가 강력해지는 상황이다. 테크 분야 전문가가 주장하는 바는 모든 군사용 AI 금지가 아닌 인간을 표적으로 삼아 살인 행위를 범하는 무기 반대이다. 따라서 인간을 공격 대상으로 삼는 무기를 금지해야 한다”라고 말했다.

자동화 무기 금지 혹은 감시 상황에서 직면한 문제는 무기 사용 시점을 알아내기 어렵다는 사실이다. 카구2 드론 개발 기업인 STM은 드론이 인간의 제어가 없을 때도 공격 표적 지적 및 인간을 겨냥한 무기 발사가 가능하다는 사실을 공식적으로 확인시켜주지 않았다. STM의 공식 웹사이트에는 현재 인간 조종자가 치명적 공격 목적으로 카구2를 사용하도록 할 것인지 결정할 수 있다고 언급되었다. “정확한 타격 임무는 드론 조종자가 인간 개입의 원칙에 따라 완벽하게 수행한다”라고 작성됐다. 다만, 2021년 6월 기준 캐시 버전 사이트에는 드론의 위험성 경고가 전혀 없다. STM은 웹사이트 경고와 관련된 와이어드의 문의에 답변하지 않았다.

신미국 보안 센터 연구 총괄 겸 부사장이자 『무인 부대: 자동화 무기와 미래의 전쟁(Army of None: Autonomous Weapons and the Future of War)』 저자인 폴 샤레(Paul Sharre)는 “인류는 공격에 동원된 드론의 자동화 수준을 정확하게 알 수 없는 판단이 어렵고 모호한 영역에 들어서고 있다. 책임감과 관련, 매우 어려운 의문점을 제기하게 된다”라고 말했다.

모호함의 또 다른 문제는 2021년 9월, 이스라엘이 AI 보조 무기를 이용해 이란의 저명한 핵 과학자를 암살한 부분에서도 확인할 수 있다. 뉴욕타임스 조사 결과에 따르면, 원격 조종된 기계 총은 자율적 기술 형태를 동원했으나 무기가 인간의 승인 없이 작동할 수 있는지는 확실히 밝혀진 바가 없다.

샤레는 “불확실성은 다수 기업이 기술 역량을 홍보할 때, 자율이라는 표현을 사용하면서 악화되었다”라고 주장했다. 최근의 다른 드론 공격 사례는 세계적으로 강조하는 자동화 무기 기술이 빠른 속도로 발전한다는 사실을 시사한다.

미국에서는 국방성 고등연구 계획국(DARPA)는 인간 조종자의 감시 및 제어가 어려운 방식으로 협업하는 다량의 드론과 지상 교통수단을 동원한 실험을 진행했다. 미 공군은 인간 조종사와 AI 간 일련의 교전이 잇따르는 등 AI가 전투기 조종사를 돕거나 대체할 방안을 조사했다.

샤르는 “자동화 무기 제한 협약이 체결되어도 여전히 규정 준수 측면에서 민주주의 정부와 독재 정권 간의 비대칭 문제가 있다”라고 언급했다. 러시아와 중국 등 미국의 적대국은 자동화 무기 개발 제한에 동의했으나 동의한 사항에 부합하는 책임을 지지 않으면서 무기 개발을 이어가고 있다.

일각에서는 자동화 시스템 작동 속도와 복잡성을 다룰 방어 체계를 갖추었다는 조건이 갖춰진 상태에서만 AI 무기 개발이 필요하다고 주장한다.

2021년 4월, 국방성의 어느 한 관료는 미 육군사관학교에서 진행된 콘퍼런스를 통해 충분한 신속 대응이 불가능한 때는 인간의 명령 체계를 제거하는 방안을 고려할 필요가 있다고 발언했다.

적대국이 자동화 무기로 취할 수 있는 잠재적인 요소는 군사 계획 당사자에게 주된 우려사항이 된다. 엘리엇 애커만(Elliot Ackerman) 작가와 제임스 스타브리디스(James Stavridis) 해군 장성은 와이어드가 인용된 『2034: 다음 세계 대전의 소설(2034: A Novel of the Next World War)』를 통해 “적대국이 사이버 공격 잠행과 AI를 잔혹한 무기와 같은 형태로 개선하고는 미국 공격에 악용하는 등 미국을 겨냥한 대규모 사이버 공격이 발생하는 상황을 상상했다.

과거, 군사 목적으로 AI를 사용하는 것과 관련, 여러 차례 논란이 되었으나 미국 테크 기업은 미국 국방성이 AI 기술 첨단화 수준을 강화하도록 계속 도움을 준다. 구글과 마이크로소프트, 아마존, 오라클 등이 포함되어 AI의 전략적 잠재성 검토를 담당하는 기관인 미국 인공지능국가안보위원회(NSCAI)는 AI에 거액을 투자할 것을 권고한다.

UN의 자동화 무기 제한 논의에 참여한 데이비슨은 기술 발전 속도가 정책 논의 속도보다 더 빠르다고 말한다. 그는 “각국 정부가 기술 문제를 다루기 위해 채택할 새로운 규정 채택 단계를 확고히 해야 할 필요가 있다”라고 덧붙였다.

데이비슨은 UN 외부에서 자동화 기술의 문제 논의가 이루어지더라도 여전히 각국에 어느 정도 제한이 필요하다는 주장을 고수한다. 데이비슨은 각국의 대응은 자동화 무기에 반대한다는 점을 시사한다고 주장했다. 이어, “매우 흥미로운 점은 자동화 무기를 이용해 인간을 직접 겨냥한 혐의는 군대나 정부, 무기 제조사가 개입하여 반박한다는 부분이다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Autonomous Weapons Are Here, but the World Isn’t Ready for Them