본문 바로가기 주메뉴 바로가기 검색 바로가기
아마존 기반 AI 카메라, 영국 기차 탑승객이 알지 못하는 사이 ‘감정’ 탐지에 동원
상태바
아마존 기반 AI 카메라, 영국 기차 탑승객이 알지 못하는 사이 ‘감정’ 탐지에 동원
CCTV 카메라와 인공지능을 결합하여 대중 감시와 자전거 절도범 탐지, 무단 침입자 발견 등이 가능하다.
By MATT BURGESS, WIRED US

아마존의 인공지능(AI) 대규모 보급 실험의 일환으로 영국 기차 탑승객 수천 명의 얼굴이 아무도 모르는 사이에 아마존 소프트웨어에 스캔되었을 가능성을 주장하는 새로운 문서가 공개되었다. 아마존의 이미지 인식 시스템은 여행자의 나이, 성별, 잠재적 감정 상태를 예측하는 데 동원되었다. 동시에 데이터를 추후 광고 시스템에 사용할 수도 있는 제안 사항도 등장했다.

지난 2년간 런던 유스턴역과 워털루역, 맨체스터 피카딜리 등 규모가 큰 기차역과 비교적 규모가 작은 기차역 등 영국 내 8개 역에서 역무원에게 안전사고 알림을 전송하고, 특정 범죄를 줄일 가능성을 목표로 CCTV 카메라와 함께 AI 감시 기술을 시험 삼아 사용했다.

철도 기반 시설 기관인 네트워크 레일(Network Rail)의 감독으로 광범위하게 진행된 AI 감시 기술 사용 실험은 영상 피드 속 사물을 식별하는 머신러닝 유형인 사물 인식 기법을 사용했다. 실험에서 채택한 사물 인식 기법은 선로 무단 침입자 감지, 플랫폼 혼잡 상황 관측 및 예측, 달리기나 고성방가, 스케이트보드 탑승, 흡연 등 승강장 내 비윤리적 행위 식별, 자전거 탈취범 탐지 목적으로 사용됐다. 이와 별도로 미끄러운 바닥, 가득 찬 쓰레기통, 흘러넘칠 가능성이 있는 파이프 등을 탐지할 목적으로 무선 센서를 사용한 실험도 진행되었다.

과거 보고되었던 적이 있는 요소인 AI 감시 기술 실험 범위는 시민 자유 단체 빅브라더워치(Big Brother Watch의 정보의 자유에 따라 입수된 문서 보관 사항으로 공개되었다. 빅브라더워치 연구 및 조사 책임자 제이크 허퍼트(Jake Hurfurt)는 “충분한 자문과 대화가 없는 공공장소에서의 AI 감시 배포가 정상화된 상황은 매우 우려할 만한 단계이다”라고 말했다.

AI 실험은 직접 촬영하는 이미지의 사물이나 움직임을 감지할 수 있는 스마트 CCTV 카메라 여러 대와 영상 피드를 보유한 구형 카메라를 결합하여 클라우드 기반 분석 공간에 연결했다. 문서 내용을 통해 실험이 진행된 역마다 카메라나 센서 5~7대가 동원되어 2023년 4월부터 AI 실험이 시작된 것으로 확인됐다. 스프레드시트 문서 중 하나는 AI를 사용했을 가능성이 있는 사례 50건을 나열했으나 실제로 목록의 모든 사례에 AI가 사용된 것은 아닌 것으로 나타났다. 일례로 런던 유스턴역에서는 자살 위험 감지 시스템 때문에 AI 실험을 진행했다. 그러나 문서에는 역 내 설치된 카메라가 위험 상황을 제대로 탐지하지 못하여 역무원은 런던 유스턴역이 종점이라는 점에서 위험 요인을 대체할 필요성을 찾지 못했다는 내용이 기술되었다.

허퍼트는 AI 감시 기술 실험 중 가장 우려스러운 점으로 승객 인구 집단에 초점을 맞춘 사실을 지목했다. 문서에는 인구 집단 특성에 초점을 맞춘 설정이 카메라로 촬영한 이미지를 사용하여 나이, 성별 등 통계 분석 자료를 생성하고는 행복, 슬픔, 분노 등 감정 상태도 분석할 수 있다고 작성되었다.
 
[사진=Unsplash]
[사진=Unsplash]

이미지는 누군가가 개찰구 근처 가상 인계철선을 넘을 때 안면, 사물 분석 능력을 갖춘 아마존의 레코그니션(Rekognition) 시스템으로 전송 후 분석된다. 문서는 이미지 분석 내용을 바탕으로 승객의 만족도도 측정할 수 있다고 언급하며, 이미지 분석 데이터를 광고, 매출 수익을 최대치로 높일 목적으로 이용할 수 있다는 점에 주목했다.

AI 연구원은 AI의 감정 탐지 결과를 신뢰할 수 없다는 점을 자주 경고했다. 일각에서는 음성이나 영상만으로 특정 인물의 감정을 파악하기 어렵다는 점에서 AI를 이용한 감정 분석을 금지해야 한다고 주장한다. 2022년 10월, 영국 데이터 규제 기관인 정보위원회(ICO)는 감정 분석 기술 사용을 경고하는 내용의 공식 성명을 발행했다. 감정 분석 기술의 완성도가 낮다는 점에서 현재는 신뢰할 만한 결과를 제시하지 못하며, 앞으로도 평생 신뢰할 만한 분석 결과를 제공하지 못할 수도 있다고 전했다.

네트워크 레일은 와이어드의 AI 감시 기술 사용 현황, 감정 분석, 프라이버시 우려 등을 포함한 질문에 답변하지 않았다.

네트워크레일 대변인은 “네트워크 레일은 철도 네트워크의 보안을 매우 중요하게 생각하므로 승객과 역무원, 철도 기반 시설을 범죄를 비롯한 각종 위협 속에서 보호하고자 첨단 기술을 사용한다”라며, “AI 등 첨단 기술을 적용할 때는 경찰, 보안 서비스 기관과 협력하여 적절하게 대응한다는 점을 확인하며, 항상 감시 기술 사용 관련 법률을 준수한다”라고 전했다.

감정 감지 기술이 얼마나 만연하게 배포되었는지는 확실하지 않다. 당시 발행된 문서는 AI 감시 기술 사용 사례를 더 조심스레 보아야 할 필요가 있다고 지적했다. 또, 실험이 진행된 역에서 제출한 보고서에는 정확성을 검증할 수 없다는 점이 기술되었다. 그러나 네트워크 레일과 AI 감시 기술 실험에 협력한 데이터 분석 및 컴퓨터 비전 기업 퍼플 트랜스폼(Purple Transform) CEO 그레고리 버틀러(Gregory Butler)는 AI 감시 기술의 기능이 실험 도중 중단되었으며, 기술이 활성화되었을 때 저장한 이미지는 없다고 주장했다.

네트워크 레일의 AI 감시 기술 실험 문서는 카메라가 특정 행동을 탐지했을 때 역무원에게 경고를 보낼 가능성을 포함한 다양한 사용 사례를 설명했다. 카메라가 포착한 인물의 신원과 데이터베이스에 저장된 신원 정보와 일치하는 것을 확인할 목적으로 논란이 되는 안면 인식 기술을 사용한 시스템은 없다.

기차역과 선로 등 18개 도시에서 사용 중인 자신의 분석 시스템인 SiYtE를 추가한 버틀러는 “가장 큰 장점은 무단 침입 사고에 더 신속하게 대응할 수 있다는 점이다”라고 말했다. 버틀러는 지난 한 달간 SiYtE이 선로에서 공을 주우려던 청소년과 고속철도 선로에서 골프공을 줍는 데 5분 이상 지체한 남성 등 도시 두 곳에서 위험한 사례 5건을 탐지했다고 전했다.

버틀러는 런던 이외 지역 중 가장 분주한 지역 중 한 곳인 리즈역에는 SiYtE 플랫폼과 연결된 CCTV 카메라 350대가 설치되었다고 밝혔다. 그는 “영상 분석 작업으로 승객의 이동 흐름을 측정하고, 승강장 혼잡, 무단 침입 등과 같은 문제를 확인한다. AI 기술은 작업복을 기준으로 역무원을 추적 대상에서 제외할 수 있다”라며, “AI는 모든 카메라를 계속 살펴보아야 하는 인간 작업자를 도와 안전 위험과 각종 문제를 신속하게 평가하여 다루도록 돕는다”라고 말했다.

네트워크 레일 문서에는 레딩역에서 사용하는 카메라가 영상 속 자전거를 지목하는 방식으로 경찰의 자전거 절도 조사 속도를 높이는 데 도움이 되었다는 내용도 작성되었다. 문서 파일에는 “분석 기술로는 절도 범죄를 확실히 탐지할 수 없으나 자전거에 탑승한 이를 탐지할 수 있다는 점에서 시스템 분석 작업이 확립되었다”라고 말했다. 레딩역에는 실험에 사용된 새로운 대기질 센서도 추가되어 역무원이 직접 대기질을 측정하는 데 드는 시간을 절약할 수 있었다. AI 사용 사례 중에는 습기 때문에 미끄러울 수도 있는 물기가 스며 나오는 바닥 감지와 청소가 필요할 때 직원에게 경고 알림을 보내는 사례도 있었다.

문서가 AI 감시 기술 실험의 일부 요소를 상술했으나 프라이버시 전문가는 전반적인 투명성 부재와 공공장소에서의 AI 사용 부재를 우려한다. 허퍼트는 AI 감시 기술 시스템의 데이터 보호 문제를 평가하도록 설계된 문서 중 하나는 프라이버시를 우려하는 이들을 무시하는 것으로 나타난 태도를 보인다고 전했다. “특정 시민이 AI 감시 기술을 거부하거나 프라이버시를 침해한 문제를 발견할 수도 있는가?”라는 질문에 직원은 “보통은 아니다. 하지만 일부 시민을 고려하지는 않는다”라고 답변했다.

그와 동시에 AI로 대중을 감시하는 데 사용하는 비슷한 AI 감시 시스템 사용 사례는 세계 곳곳에서 증가하는 추세이다. 2024년 7월 말로 막을 올리는 파리올림픽 기간에는 AI 영상 감시 기술로 수천 명을 감시하고, 군중이 급격히 증가하는 순간과 무기 사용자, 버려진 물건 등을 찾아내고자 할 계획이다.

옥스퍼드대학교 산하 AI 윤리 연구소(Institute for Ethics in AI) 심리학 부교수인 카리사 벨리즈(Carissa Véliz) 부교수는 “시민 신원을 식별하지 않는 AI 감시 시스템은 시민을 식별하는 시스템보다 더 나을 수도 있다. 하지만 되돌릴 수 없는 수준으로 문제가 심각해질 가능성을 우려한다”라고 말했다. 벨리즈 부교수는 런던 지하철에서 진행된 비슷한 AI 실험이 초기에는 무임승차자의 얼굴을 흐리게 표시했으나 이후 얼굴이 선명하게 보이도록 하고 초기 계획보다는 더 오래 이미지 데이터를 보관하는 전략으로 변경한 사례를 언급했다.

벨리즈 부교수는 “감시 범위를 넓히고자 하는 본질적 욕구가 매우 강하다. 인간은 더 많은 것을, 그리고 더 먼 곳을 살펴보고자 한다. 그러나 감시는 통제로 이어지고, 통제는 자유 민주주의를 위협하는 자유 상실로 이어진다”라고 지적했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Amazon-Powered AI Cameras Used to Detect Emotions of Unwitting UK Train Passengers
이 기사를 공유합니다
RECOMMENDED