2019년, 그리스와 헝가리, 라트비아 국경 경비원이 인공지능(AI)을 적용한 거짓말 탐지기를 시범 사용하기 시작했다. 아이보더컨트롤(iBorderCtrl)이라는 이름으로 알려진 해당 시스템은 안면 움직임을 분석해 국경 심사를 받는 이가 거짓말을 한다는 징조를 감지한다. 아이보더컨트롤 시범 사용은 유럽연합 연구 자금으로 500만 달러에 가까운 금액 투자와 20년간 영국 맨체스터 메트로폴리탄대학교의 20여 년간의 투자로 추진되었다.
아이보더컨트롤 시범 사용은 논란을 촉발했다. 심리학 전문가가 신체적 특성으로 거짓말을 감지하도록 구축된 거짓말 탐지기를 비롯한 여러 기술을 신뢰할 수 없다고 널리 선언했기 때문이다. 이내 아이보더컨트롤에도 문제 보고가 이어졌다. 아이보더컨트롤과 관련된 각종 언론보도는 아이보더컨트롤의 거짓말 감지 알고리즘이 효과가 없으며, 아이보더컨트롤의 웹사이트도 아이보더컨트롤 알고리즘이 기본적인 인권 위험을 시사할 수 있다는 사실을 인정했다.
맨체스터 메트로폴리탄대학교에서 분리돼, 아이보더컨트롤의 기반이 된 기술을 개발한 기업인 사일런트 토커(Silent Talker)는 2022년 6월 초 문을 닫았다. 그러나 아이보더컨트롤의 문제가 끝났다는 의미는 아니다. 변호사 단체와 사회 운동가, 국회의원 모두 유럽연합에 이민 과정에서 인간의 거짓을 탐지할 수 있다고 주장하는 시스템을 금지할 AI 규제 법안을 촉구했다. 이 과정에서 아이보더컨트롤을 거짓말 탐지 능력을 주장하는 AI의 문제 사례로 언급했다. 와이어드팀은 사일런트 토커의 전 경영진과 연락에 실패했다.
국경에서의 AI 거짓말 탐지 기술 사용 금지는 유럽연합 회원국 관료와 유럽의회 소속 국회의원이 도입을 고려하는 AI법(AI Act)의 수많은 개정 사항 중 하나이다. AI법은 차별 금지, 난민 지위 신청 자유 등과 같은 유럽연합 시민의 기본 권리를 보호할 의도로 제정된 법률이다. 법률은 일부 AI 사용 사례를 ‘위험성이 매우 높음’으로 구분하며, 일부 사례는 ‘위험성이 낮음’으로 구분하기도 한다. 그리고 그 외 나머지 사례에는 엄격한 AI 사용 금지 규정을 적용한다. AI법 개정 로비 세력 중에는 인권 단체와 노동조합, 그리고 AI법으로 일반용 AI 시스템 개발 기업과 특수 목적으로 AI를 구축하는 집단 간 구분을 원하는 구글, 마이크로소프트 등 테크 업계 주요 기업도 있다.
2022년 5월, 유럽 디지털 권리(European Digital Rights)와 불법체류자 대상 국제협력 플랫폼(Platform for International Cooperation on Undocumented Migrants, PICUM) 등을 포함한 옹호 단체는 눈의 움직임이나 어조, 표정 등을 측정하는 AI 거짓말 탐지기를 국경에서 사용하는 사례를 금지하기 위한 행동을 촉구했다. 비영리 시민 자유 단체인 스테이트워치(Statewatch)는 AI법에 작성된 규정이 공적 자금 지원 국경 AI 생태계에 더해 아이보더컨트롤과 같은 시스템을 사용하도록 둘 것이라고 경고하는 분석 보고서를 발행했다. 분석 보고서는 지난 20년 동안 이민자 프로필 생성을 포함해 국경에서의 AI 사용 자금 3억 4,100만 유로(3억 5,600만 달러) 중 약 50%를 민간 기업이 받았다고 계산했다.
비영리단체 난민법 연구소(Refugee Law Lab) 부소장 페트라 몰나(Petra Molnar)는 국경에서의 AI 거짓말 탐지기 사용이 기술을 통해 새로운 이민 정책을 효과적으로 생성하여 국경에서 심사를 받는 모든 이를 의심스러운 인물로 분류할 수 있다고 주장한다. 몰나 부소장은 "스스로 난민임을 입증해야 한다. 그러나 난민임을 직접 입증하지 못하면, 의심받게 된다. 직접 난민이라는 사실을 입증하지 못한 이를 의심한다는 논리는 모든 것을 정당화한다. AI 거짓말 탐지기를 정당화하며, 국경에서의 감시 증가와 반발을 정당화하기도 한다"라고 말했다.
이민법 전문 변호사인 몰나 부소장은 인간은 보통 문화나 종교, 트라우마 등과 같은 요인 때문에 악의 없이 국경 심사 관료나 이민국 관료와의 눈 맞춤을 피하지만, 간혹 무언가를 숨긴다고 오해하는 사례가 있다는 사실을 지적했다. 인간은 종종 다른 문화권 출신인 이들이나 트라우마를 경험한 이들과의 대화에 난항을 겪는다. 그런데 기계가 인간보다 타인을 더 정확하게 감지한다고 믿는 이유는 무엇인가?
[사진=Unsplash]
2021년 4월 자로 처음 공개된 AI법 초안은 사회 신용 점수와 공공장소에서 사용하는 실시간 안면 인식 기술을 전면 금지해야 한다는 규정을 포함했다. 국경이나 법률 집행 기관의 감정 인식 AI와 AI 거짓말 탐지기를 위험성이 높은 기술로 분류했다. 즉, 해당 기술을 배포할 때, 공개 등록 대상에 포함될 수 있다는 의미이다. 몰나 부소장은 해당 규정만으로는 충분하지 않으며, 국경과 법률 집행 기관의 AI 거짓말 탐지기를 금지 목록에 추가해야 한다고 말했다.
AI법 개정 과정을 이끌기 위해 유럽의회가 임명한 조사 위원 두 명 중 한 명인 드라고스 투도라체(Dragoș Tudorache)는 국회의원이 2022년 6월, AI법 개정안을 제출했으며, 2022년 말이면 개정안을 두고 투표를 진행할 것으로 예상한다. 4월, 유럽의회 조사 위원은 예측 순찰 기술을 금지 기술에 추가하도록 권고하며, 무고한 이를 대상으로 한 추측 조건은 물론이고 인간 존엄성을 해친다고 주장했다. 그러나 국경의 AI 거짓말 탐지기를 금지 기술 목록에 추가하도록 권고하지는 않았다. 또한, 헬스케어의 환자 평가 시스템이나 개인의 건강 보험 혹은 생명 보험 지급 여부를 판단하는 시스템도 금지 목록으로 추가하도록 권고했다.
유럽의회가 AI법 개정 과정을 거칠 때, 유럽연합 이사회도 AI법 개정을 고려할 수 있다. 네덜란드 소재 비영리 단체인 ECNL(European Center for Not-for-Profit Law)의 요청으로 정보의 자유에 따라 확보한 문건에 작성된 바와 같이 네덜란드와 프랑스를 포함한 유럽연합 이사회 관료는 국가 안보 문제는 AI법 적용 예외라고 주장했다.
ECNL 프로그램 국장인 반자 스코릭(Vanja Skoric)은 국가 안보를 예외 사항으로 인정한다면, AI 거짓말 탐지기와 같이 인권 침해 위험성을 제기하는 AI 시스템이 경찰이나 국경 감시국의 손으로 재빨리 넘어가도록 하는 허점을 생성할 것이라고 주장했다.
AI법 개정안 통과나 반대를 결정할 마지막 조치는 2023년 하반기에 시행될 것이다. 유럽의회가 6월 1일 자로 개정안을 제출했을 당시 투도라체는 와이어드에 "일각에서 예측한 것처럼 수천 가지 개정 사항을 받아들인다면, 실제로 수천 가지 개정 사항 중 일부 문제가 매우 심각해질 것이다"라고 말했다. 투도라체는 현재 AI법 개정안 약 3,300가지를 받아들였으나 AI법 입법 과정이 2023년 중반에 완료될 것으로 예상한다.
데이터 기반 예측의 차별 가능성을 둘러싼 각종 우려는 단순히 이론적으로만 제기된 문제가 아니다. 네덜란드 세금 당국이 2013년부터 2020년 사이에 발생한 아동 수당 사기 의심 사례 감지를 위해 구축한 기술이 수만 명에게 피해를 주었으며, 1,000명이 넘는 아동이 가정 위탁 대상이 되도록 했다. 결함이 있는 시스템은 이중 국적자 여부 등과 같은 데이터를 조사를 암시하는 요소로 사용했으며, 이민자에게 매우 심각한 영향을 미쳤다.
스코릭 국장의 주장에 따르면, 네덜란드 당국이 AI법안에 작성된 바와 같이 의심 사례를 경고하도록 시스템 영향 평가를 생성했더라면 수당 파문 발생을 막거나 피해 수준을 줄일 수 있었을 것이다. 스코릭 국장은 AI법이 AI 시스템이 특정 기준으로 분류된 이유를 명확히 설명해야 한다고 주장한다. 예를 들어, 조사 위원이 예측 순찰 시스템을 위험성이 높은 기술에서 금지 권고 기술로 변경한 타당한 이유를 분명하게 설명해야 한다.
독립 연구 기관이자 인권 단체인 영국 에이다 러브레이스 연구소(Ada Lovelace Institute) 유럽 공공 정책 국장인 알렉산드루 서시우마루(Alexandru Circiumaru)는 스코릭 국장의 주장에 동의하며, AI법이 금지 목록에서 위험성이 높은 기술로 변경되거나 이처럼 다른 기준으로 분류 기준 변경 시 적용한 방식을 더 나은 방식으로 설명해야 한다고 말했다. 이어서 "AI 시스템이 지금과 같은 기준으로 분류된 이유는 무엇인가? 그리고 과거 위험성 분류 기준을 적용하게 된 원인은 무엇인가? AI 시스템의 위험성 기준을 분류하는 데 적용한 테스트는 무엇인가?" 등과 같은 질문을 했다.
암스테르담대학교 시민AI 연구소(Civic AI Lab) 창립자이자 소장인 세나이 게브립(Sennay Ghebreab)이 언급한 바와 같이 AI 시스템 분류 기준을 더 명확히 설명하려면, AI법이 권리를 강화할 잠재적 가능성을 지닌 알고리즘을 거부하는 일을 막는 것도 필요하다. 프로필 생성은 네덜란드의 수당 파문처럼 인간에게 피해를 줄 수 있으며, 게브립 소장은 예측 순찰 기술 금지를 지지한다. 하지만 다른 알고리즘은 유용할 수도 있다고 본다. 그 예시로 출신 배경과 능력을 기준으로 난민 프로필을 생성한다면, 난민의 재정착을 도울 수 있다는 점을 제시할 수 있다. 2018년, 사이언스(Science)에 게재된 어느 한 연구 논문은 머신러닝 알고리즘 사용 시 최소 비용으로 난민 고용 기회를 미국과 스위스 각각 40%, 70% 이상 높일 수 있다고 계산했다.
게브립 소장은 "완벽한 시스템을 개발할 수 있다고 믿지는 않는다. 그러나 문제를 계속 지켜보면서 인간과 지역 사회의 피드백을 받아 AI 시스템을 꾸준히 개선할 수 있다고 믿는다"라고 말했다.
AI법의 제안된 개정 사항 수천 가지 중 다수는 최종 개정안에 통합되지 않을 것이다. 하지만 AI법 개정 과정에서 아이보더컨트롤과 같은 시스템 금지를 포함하여 20여 가지 사항 변경을 제안한 몰나 부소장은 금지나 특별 관리 대상이 될 AI 시스템의 형태를 분명하게 확립할 중요한 시기라고 본다.
몰나 부소장은 "AI법 개정은 AI 사용과 규제 측면에서 단순한 법률을 넘어 실제로 원하는 세계의 모습과 지역 사회의 모습, 현실적으로 인권 규정을 준수하는 데 의미하는 바를 생각할 중요한 기회이다. 이제는 AI법으로 형성하는 세계의 모습, 그리고 AI법 개정 시 배제된 이들과 관련된 요소를 두고 서로 윤리적 의무를 다해야 한다"라고 말했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Unsplash]](/news/photo/202207/4047_5365_5459.jpg)
뉴스레터 신청