와이어드가 입수한 문건을 통해 런던 지하철 이용자 수천 명의 움직임과 행동, 몸짓 언어 모두 인공지능(AI) 소프트웨어가 감시하고, 범죄를 저지르거나 안전하지 않은 상황이 발생하는가 파악한다는 사실이 확인됐다. 머신러닝 소프트웨어는 실시간 CCTV 영상과 통합하여 지하철 선로에 떨어진 승객이나 무임승차자를 찾는 것은 물론이고, 공격적인 행위와 총기나 칼을 휘두르는 위협 행위 등도 감지하려 한다.
2022년 10월부터 2023년 9월 말까지 런던 지하철과 버스 네트워크 체계를 운영하는 런던교통공사(TfL)는 런던 북서부에 있는 지하철역 중 하나인 윌레스던 그린역(Willesden Green Tube station)에서 승객 감시용 알고리즘 11종을 테스트했다. AI 감시 개념 증명 차원에서 진행된 실험은 교통수단에서 AI와 실시간 영상을 결합하여 역내 안전 관리를 담당하는 역무원에게 직접 전송하는 방식으로 진행됐다. 테스트 당시 총 4만 4,000회 이상 경고를 보내고, AI가 탐지한 위험 1만 9,000건은 역무원에게 실시간으로 전송했다.
정보자유법(Freedom of Information Act) 규정에 따른 와이어드의 요청에 응답하여 런던교통공사는 포괄적인 영역에서 승객이 역 안에 있을 때 하는 모든 행동을 추적할 목적으로 컴퓨터 비전을 이용한 방식을 상세히 전달했다. 실시간 AI 감시 실험 전체 내용이 상세히 공개된 것은 이번이 처음이다. 또한, 2023년 12월, 런던교통공사가 발표한 바와 같이 AI 구축 범위를 넓혀서 런던 전역의 지하철 내 무임승차자도 잡아낼 계획이다.
윌레스던 그린역에서 실시간 AI 감시 실험을 진행할 당시 AI 시스템은 잠재적인 안전 사건을 탐지하여 역무원이 도움이 필요한 승객에게 도움을 줄 목적은 물론이고, 범죄자와 범법 행위를 탐지할 목적으로 설치하였다. 런던교통공사가 와이어드에 제공한 문서 3건에는 휠체어와 유모차, 담배, 권한이 없는 지역에 접근하려는 승객, 승강장 구석에 몸을 밀어 넣어 위험한 상황을 초래하는 승객 등을 감지하는 데 AI 모델을 사용한 방법이 상세히 기술되었다.
일부 내용이 편집된 런던교통공사의 문서에는 실험 도중 부모를 따라 개찰구를 이동하는 아동을 무임승차 의심자로 잘못 분류하거나 반으로 접은 자전거와 접지 않은 자전거 간의 차이를 구분할 수 없었던 점 등 AI의 오류 사항도 작성되었다. 경찰관은 CCTV 카메라를 보면서 흉기와 총을 잡는 방식으로 실시간 AI 감시 실험을 지원했다. 지하철역 운영 종료 시각에는 AI 시스템의 무기 탐지 능력을 개선하는 데 도움을 주었다.
런던교통공사의 문서를 검토한 프라이버시 전문가는 문제 행동 감지 알고리즘의 정확성을 두고 의문을 제기했다. 또한, 실시간 AI 감시 실험을 알고 있었던 승객이 얼마나 많은가 불확실하다는 점도 지적하며, AI 감시 시스템이 추후 더 발전한 첨단 기술이나 특정 개인의 신원을 파악하려 하는 안면 인식 소프트웨어를 포함하는 등 적용 범위가 손쉽게 확장될 수 있다는 점을 경고했다. 독립 연구 기관인 에이다러브레이스연구소(Ada Lovelace Institute) 부소장 마이클 버츠위슬(Michael Birtwistle)은 “런던교통공사는 실시간 AI 감시 실험 과정에서 안면 인식 기술을 포함하지 않았다. 그러나 공공장소에서 행동 식별, 몸짓 언어 분석, 보호할 만한 행동 추론 등을 위해 공공장소에서 AI를 사용하는 행위는 안면 인식 기술이 제기한 것과 같은 과학적, 윤리적, 법적, 사회적 의문점을 제기하게 될 것이다”라고 설명했다.
런던교통공사는 정보자유법을 근거로 한 와이어드의 요청에 따라 기존 CCTV 이미지와 AI 알고리즘, 기타 여러 가지 감지 모델을 사용하여 행동 패턴을 감지했다고 답변했다. 런던교통공사 측에서 보낸 답변에는 “역무원에게 승객 움직임과 행동 심층 분석 정보와 알림 사항을 제공하여 역무원이 어떤 상황이든 이전보다 신속하게 대응할 수 있기를 바란다”라는 내용이 기술되었다. 또한, 런던교통공사는 미래의 문제 대응 접근 방식 및 개입 과정에 도움을 줄 무임승차자 심층 분석 정보도 제공하고, 공사 측 자체 데이터 정책과 일맥상통한 데이터를 수집한다고 밝혔다.
[사진=Unsplash]
런던교통공사 정책 및 커뮤니티안전 사장 맨디 맥그레거(Mandy McGregor)는 “실시간 AI 감시 결과를 계속 분석 중이다”라며, “실험 과정에서 수집한 데이터에서 편견과 관련된 증거는 일절 존재하지 않았다”라고 답변했다. 이어, 그는 실험 도중 지하철역에서 AI 감시 툴 테스트 사실을 언급한 안내 표지판이 없다는 점도 언급했다.
맥그레거는 “런던교통공사는 실시간 AI 감시 시스템 2단계 설계와 그 범위를 고려하고 있다. 다른 역에 AI 감시 시스템을 추가로 배치하거나 AI 감시 시스템의 역량을 강화하는 등 AI 감시 시스템 사용 범위를 확장한다는 결정은 아직 이루어지지 않았다. 초기 실험 범위를 넘어서 AI 감시 시스템 구축 범위를 넓히는 일은 지역사회 및 관련 분야 전문가를 포함한 기타 이해관계자의 전체 자문 내용에 따라 다를 것이다”라고 설명했다.
런던교통공사가 실험용으로 사용한 AI 감시 시스템을 포함한 컴퓨터 비전 시스템은 이미지, 영상 속 인물과 사물을 감지하려 하면서 실행된다. 런던교통공사의 실시간 AI 감시 테스트 당시 특정 행동이나 움직임을 감지할 목적으로 훈련받은 알고리즘은 런던 지하철의 20년 된 CCTV 카메라로 촬영한 이미지와 결합했다. 이후 이미지를 0.1초 단위로 분석했다. AI 시스템이 감지한 행동이나 사건 11건 중 1건꼴로 문제 상황이라고 분류할 때 역무원의 아이패드나 컴퓨터로 경고 알림을 보낸다. 런던교통공사는 위험할 수도 있는 상황 1만 9,000건을 대상으로 경고 알림을 전송하고, 분석 목적으로 위험할 수도 있다고 분류한 사건 영상 2만 5,000건을 더 보관했다.
AI 시스템이 식별하고자 한 상황은 혼잡한 군중의 움직임, 허가되지 않은 접근, 안전, 이동 보조, 범죄 및 범법 행위, 선로에 떨어진 승객, 부상자나 환자, 물이나 오물을 흘린 바닥과 같은 위험 요소, 허가되지 않은 물품, 돈이 부족하여 이동이 불가능한 승객, 무임승차 등이다. 각각의 상황에는 하위 범주가 있다.
디지털 권리 비영리단체 액세스나우(Access Now)의 수석 정책 애널리스트 다니엘 로이퍼(Daniel Leufer)는 런던교통공사의 실시간 AI 감시 시스템과 같은 시스템을 볼 때마다 가장 먼저 공격이나 범죄 사항을 실제로 탐지하려 했는가 살펴본다고 밝혔다. 로이퍼는 “카메라는 몸짓 언어와 행동을 식별하는 방식으로 공격 행위나 범죄 행위를 찾아내려 한다. 이와 같은 AI 감시 시스템은 어떤 데이터를 바탕으로 훈련하게 되는가?”라고 질문을 던졌다.
런던교통공사는 실시간 AI 감시 시스템 보고서를 통해 공격 행위를 감지 대상에 포함하고자 하지만, 실제로 공격 행위를 감지하는 데 성공하지 못했다고 밝혔다. 공격 행위를 포함하지 않은 또 다른 이유이기도 한 훈련 데이터 부재라는 문제점도 덧붙여 전했다. 대신, AI 시스템은 누군가가 무기를 꺼낼 때 경고 알림을 전송하고는 보고서를 통해 이를 “보편적인 공격 행위”라고 설명했다.
로이퍼는 “훈련 데이터가 항상 부족한 이유는 이견을 제시할 수 있으나 공격 행위를 구분할 만한 미묘한 차이를 갖춘 데이터세트를 제대로 포착하는 데 미묘한 차이가 있는 데다가 복잡하다는 문제점도 있다”라며, 런던교통공사는 훈련 데이터가 충분하지 않다는 사실을 인정했다. 이어, 그는 “단순히 공공장소에서 용납할 수 있는 행동 유형과 관련하여 기존 사회적 편견을 복제하는 방식만으로는 공격 행위를 신뢰할 수 있는 수준으로 머신러닝 시스템을 이용할 수 있는지 매우 회의적이다”라는 견해를 밝혔다. 훈련 데이터를 포함하여 런던교통공사의 AI 시스템이 잠재적인 공격 행위를 감지하고 알림을 전송한 사례는 총 66건이다.
프라이버시 단체 빅브라더워치(Big Brother Watch) 수석 옹호 책임자 마델레인 스톤(Madeleine Stone)은 지하철 승객 다수는 당국의 AI 감시 대상이 되었다는 사실에 불편해할 것이라고 말했다. 스톤은 알고리즘을 이용하여 특정 인물이 공격 행위를 했는가 판단하는 일에는 매우 큰 결함이 있다고 주장하며, 영국 데이터 당국이 감정 분석 기술 사용을 경고한 사실을 지적했다.
런던교통공사가 제공한 문건에 기술된 바와 같이 윌레스던그린역에서 근무하는 역무원은 AI 감시 실험 도중 포괄적인 영역에서 시뮬레이션을 진행하여 훈련 데이터를 추가로 수집했다. 그중에는 역무원이 선로 아래로 내려가 선로에 떨어진 승객을 탐지할 훈련 데이터를 수집한 상황도 있다. 일부 테스트는 역 운영 시간이 아닐 때 진행되었다. 런던교통공사 문건에 포함된 주석 중 “영국 교통 경찰관이 역 내 여러 장소에서 흉기와 소총을 들고 있는 모습을 볼 수 있다”라는 문장도 있다. 그러나 주석과 함께 추가된 사진은 제거되었다. 실험 도중 역 내 무기 소지 사건 경고 알림은 단 한 건도 없었다.
대다수 경고 알림은 개찰구 위를 점프하거나 개찰구 아래로 기어가는 행위, 개찰구 문을 강제로 여는 행위, 열린 개찰구를 신속하게 통과하는 행위 등 무임승차가 의심되는 이들을 알리는 경고 알림이었다. 런던교통공사는 연간 무임승차 비용이 최대 1억 3,000만 파운드에 육박하며, AI 감시 시스템 실험 도중 무임승차 건수는 총 2만 6,000건이었다고 발표했다.
모든 테스트 도중 승객의 얼굴은 흐리게 표시했으며, 데이터 보관 기간은 최대 14일로 유지했다. 그러나 실시간 AI 감시 실험 6개월 차에 접어들자 런던교통공사는 무임승차 의심자의 얼굴은 흐리게 표시하지 않고, 데이터 보관 기간을 연장했다. 문건에 기술된 바와 같이 무임승차 의심자 얼굴 공개와 데이터 보관 기간 연장은 역무원이 무임승차 경고 알림에 대응하도록 초기에 계획한 사항이었다. 문서에는 “그러나 일일 경고 알림 수가 어느 날은 300건 이상을 기록하는 등 너무 많고, 문제 감지 정확도가 높아 시스템이 경고를 자동 인식하도록 구성했다”라고 작성되었다.
버츠위슬 부소장은 AI 감시 기술을 적용할 때 시민은 강력한 감독과 관리를 기대한다는 점에 주목했다. 버츠위슬 부소장은 “AI 감시 기술을 이용한다면, 대중의 신뢰, 합의, 지원이 있는 상황에서만 사용해야 한다”라고 지적했다.
AI 감시 기술 실험 대부분 역무원이 역 내 상황을 파악하고, 문제에 대응하도록 도움을 준다는 목적으로 진행되었다. 휠체어 감지 알림이 59차례 울린 덕분에 휠체어 접근 시설이 없는 윌레스던 그린역에서 역무원은 승객에게 필요한 돌봄 및 도움을 줄 수 있었다. 승객이 노란색으로 표시된 안전선을 넘어선 사례 경고 알림은 2,200건 전송했으며, 그중 39명은 선로 가장자리에 기대고 있었다. 또, 약 2,000건은 벤치에 오랫동안 앉아있던 이를 알리고자 알림을 전송했다.
문서에는 “AI 감시 시스템 실험 내내 역무원의 공지 건수가 대폭 증가했으며, 승객에게 안전선을 넘지 않도록 안내하는 사례도 증가했다”라는 내용도 작성되었다. AI 시스템은 역 입구의 노숙자와 걸인 경고 알림도 생성하고, 역무원이 상황을 원격으로 지켜보면서 필요한 돌봄과 도움을 줄 수 있었던 점도 확인되었다. 런던교통공사는 AI 시스템 실험이 역무원의 지원 수준 향상, 승객 안전 강화를 지원하고자 진행되었다고 밝혔다.
AI 시스템의 감지 정확도 분석 정보는 문서에 포함되지 않았다. 다만, 여러 측면에서 잠재적인 위험 상황 감지가 변경되었다. 로이퍼는 “문제 행위 감지와 행동 감지는 일반적으로 취약하면서 누구나 손쉽게 시스템을 속일 수 있는 부분이 아니다”라고 말했다. 일례로, 시스템은 실제로 기관사가 역을 떠나려 할 때 승객이 권한이 없는 영역에 접근하려 하는 상황을 알리는 경고 알림을 생성했다. 문서는 카메라에 반사된 햇빛이 시스템의 문제 감지 효과를 낮추는 방해 요소가 되었다는 점도 작성되었다.
AI 감시 시스템 실험 중에는 주로 대중교통 네트워크에서 허용하지 않는 접히지 않거나 접지 않은 자전거, 전기 스쿠터 등을 AI로 감지할 수 있는가 확인하는 과정도 포함되었다. 문서에는 “AI는 접히지 않은 자전거와 일반 자전거, 전기 스쿠터, 아동용 스쿠터 간 차이점을 감지할 수 없었다”라고 기술되었다. 무임승차자 감지 모델은 아동을 무임승차자로 감지하기도 했다. 문서에는 “학교 이동 중 부모와 아동이 함께 이동하는 상황을 무임승차로 잘못 분류하는 사례도 있었다”라고 작성되었다. 시스템은 개찰구보다 키가 작은 승객을 무임승차자로 잘못 식별하지 않도록 변경되었다.
지난 몇 년간 공공장소에서 대중의 행동이나 움직임, 신원 감지용 AI 사용 사례가 증가했다. AI 감시 시스템은 종종 스마트시티 구축 접근방식의 형태로 적용되었다. 2023년 7월, 뉴욕시 일부 지하철역에서 AI를 이용하여 무임승차자를 잡아낸 사례를 발표한 보고서가 여러 건 발행되었다. 2023년 12월, 런던교통공사는 무임승차자 탐지 실험을 다른 역으로도 확대 적용할 계획을 발표했다. 그러나 실험 상황은 알려진 바가 없다.
AI 시스템 다수는 AI 관리 특별법이 제정되지 않은 상황에서 배치되었다. 게다가 영국에서는 규제가 없다는 경고도 잇따랐다. 스톤은 “대중교통 체계에서의 AI 기반 감시가 일반화되는 상황은 감시 상태가 걷잡을 수 없는 수준으로 널리 확산되면서 문제가 발생할 위험성도 있다. 따라서 투명성 강화와 공공 자문이 반드시 이루어져야 한다”라고 지적했다.
로이퍼는 AI 감시 시스템 적용 범위가 확대된다면, 감시 기술이 언제든지 강화될 수 있다고 본다. 그는 “AI 감시 시스템이 존재한다면, AI 감시 시스템의 역할을 강화하는 일은 식은 죽 먹기이다. 앞으로 AI 감시 시스템에 추가될 사항을 생각하면, 우려스럽다. 되돌릴 수 없는 문제가 통제할 수 없는 수준으로 심각해질 것이다”라고 말했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Unsplash]](/news/photo/202402/5361_6946_4911.jpg)
뉴스레터 신청