By WILL KNIGHT, WIRED US

2021년 5월, 트위터는 이미지 자동 편집 과정에서 백인과 여성 얼굴을 선호하는 것으로 확인된 인공지능(AI) 알고리즘 사용을 중단한다고 발표했다.

이제 차별 문제를 일으키는 AI 프로그램 검증이라는 기이한 경쟁과 함께 앞서 사진에서 가장 중요한 영역이기도 한 트위터가 발견한 문제의 사진 편집 알고리즘이 사진 속 인물의 연령과 체중에 따라 차별을 하며, 영어나 다양한 서양 언어로 작성된 게시글을 선호한다는 사실도 드러났다.

스위스 EPFL 컴퓨터 보안 과정 대학원생이자 AI 프로그램 검증 대회 우승자인 보간 쿠리니치(Bogdan Kulynych)가 기여한 연구는 트위터의 이미지 편집 알고리즘이 더 날씬하면서 젊어 보이는 인물을 선호한다는 사실을 입증했다. 쿠리니치는 딥페이크 기법을 이용해 다른 여러 인물의 얼굴을 자동 생성하고는 사진 알고리즘의 반응을 테스트했다.

AI 컨설팅 기업 BNH의 수석 과학자인 패트릭 홀(Patrick Hall) 박사는 “기본적으로 사진 속 인물이 더 마르고 젊은 여성일수록 알고리즘이 더 선호한다”라고 말했다. 홀 박사는 트위터의 AI 프로그램 검증 대회 심사위원 네 명 중 한 명이다.
 
두 번째 심사위원인 오픈AI(OpenAI) 소속 수석 연구원인 에어리얼 허버트 보스(Ariel Herbert-Voss) 박사는 대회 참가자가 발견한 사진 편견 알고리즘의 각종 편견은 모델 훈련에 사용한 데이터에 기여한 인물이 지닌 편견을 반영한다고 말한다. 그러나 허버트 보스 박사는 모든 대회 참가자가 알고리즘 심층 분석 과정으로 제품 및 서비스 담당팀이 AI 모델의 문제 제거에 도움을 줄 수 있다는 사실을 입증했다고 덧붙였다. 그는 “문제를 한 번 더 깊이 들여다본다면, 문제를 수정하는 것이 훨씬 더 수월해질 것이다”라고 말했다.
 
2021년 8월 초, 라스베이거스에서 열린 컴퓨터 보안 콘퍼런스인 데프콘(Defcon)에서 개최된 ‘알고리즘 편견 보상 대회’는 외부 개발자가 알고리즘의 편견 문제를 검증하도록 하며, 트위터를 비롯한 다수 기업이 실제 피해를 주기 전 문제를 사전 퇴치하도록 도움을 줄 수 있다.

트위터를 포함한 일부 기업이 많은 전문가를 대상으로 특정 문제 발견 보상 프로그램을 제공하면서 자체 코드 내 보안 버그 발견을 독려하는 가운데, 일부 AI 전문가는 문제를 정확히 찾기 위해 기업이 외부 전문가에게 기업에서 자체적으로 사용하는 알고리즘과 데이터 접근 권한을 부여해야 한다고 믿는다.

AI 편견을 뿌리 뽑기 위해 버그 발견 현금 보상 접근 방식 활용을 제안한 인텔 글로벌 사이버보안 정책 총괄 겸 캘리포니아대학교 버클리캠퍼스 강사인 아밋 엘라자리(Amit Elazari)는 “AI 편견 퇴치를 위해 현금 보상 프로그램을 모색한다는 생각이 매우 흥미롭다. 앞으로 더 많은 사례가 등장할 것”이라고 말했다. 이어, 엘라자리 총괄은 “AI가 지닌 편견 찾기가 대중의 권리 부여부터 이익이 될 것”이라고 말했다.

2020년 9월, 어느 한 캐나다 학생이 트위터 알고리즘의 사진 편집 방식 문제에 주목했다. 알고리즘은 텍스트와 동물, 사물의 흥미로운 부분은 물론이고, 사람의 얼굴 등을 직접적으로 보여주도록 사진을 편집하도록 설계됐다. 그러나 알고리즘은 두 명 이상의 인물이 등장하는 사진에서 종종 백인과 여성을 선호했다. 그 직후, 트위터 알고리즘의 문제에 주목한 캐나다 학생은 인종 및 성 편견을 입증하는 다른 여러 사례를 발견했다.

데프콘에서 열린 보상 대회에서 트위터는 참가자가 사용할 수 있는 사진 편집 알고리즘 규정을 지정하고는 알고리즘이 일으키는 다른 유해한 행동을 나타내는 증거를 입증한 참가팀에 적절한 보상을 했다.

많은 참가자가 트위터 알고리즘의 여러 문제를 추가로 발견했다. 어느 한 참가자는 알고리즘이 흰 머리를 한 인물을 선호하지 않는 편견을 지녔다는 사실을 확인했다. 또 다른 참가자는 알고리즘이 아랍어보다는 라틴어를 선호하는 등 서구 중심적 편견을 지닌 사실을 폭로했다.

홀 박사는 다른 여러 기업이 트위터의 보상 프로그램 시행이라는 선례를 따를 것이라 확신한다고 말했다. 그는 “AI 편견 퇴치 보상 프로그램이 성공할 것이라는 희망이 어느 정도 있다. 규제가 보류된 탓이기도 하며, AI가 지닌 편견 때문에 발생하는 문제가 증가하는 탓도 있다”라고 말했다.

지난 몇 년간 AI와 관련된 각종 과장 광고 다수는 알고리즘이 쉽사리 편견 문제로 변질될 수 있다는 사실을 보여준 여러 사례로 분노를 유발했다. 상용화된 안면 인식 알고리즘은 인종과 성별을 기준으로 차별 문제를 일으키며, 이미지 처리 코드는 남성우월주의적 사고를 드러냈다. 또, 개인의 재범률을 판단하는 프로그램은 흑인 피고를 상대로 편견 문제를 일으켰다.

문제는 알고리즘의 편견 퇴치가 어렵다는 사실이 입증된 것이다. 공정성을 확인하기 쉽지 않은 데다가 의학 X선 분석 알고리즘 등 일부 알고리즘은 인간이 쉽게 발견할 수 없는 방식으로 인종 편견 문제가 포함됐을 수 있다.

트위터의 머신러닝 윤리·투명성·책임(ML Ethics, Transparency, and Accountability) 그룹 총괄인 루만 쵸드우리(Rumman Chowdhury)는 “트위터, 그리고 다른 여러 기업과 기관도 직면한 가장 큰 문제 중 하나는 AI 모델이나 시스템의 편견을 판단할 때, 문제에 중점을 두는 방식이다”라고 말했다.

쵸드우리 총괄은 2021년 2월에 트위터에 합류했다. 과거, 쵸드우리 총괄은 편견을 지닌 머신러닝 알고리즘 검증 툴을 여러 가지 개발했으며, AI 프로젝트가 제기하는 기술적, 법적 위험성 평가 전문 스타트업 패리티(Parity)를 설립했다. 그는 2019년에 개최된 데프콘 콘퍼런스에 참석한 뒤, 알고리즘의 편견 보상 프로그램이라는 아이디어를 떠올렸다.

쵸드우리 총괄은 트위터가 어느 정도 단계에 이르면 추천 알고리즘도 분석을 위해 공개할 수 있다고 밝혔다. 다만, 추천 알고리즘에는 몇 가지 AI 모델이 포함돼, 더 많은 작업이 필요하다고 밝혔다. 쵸드우리 총괄은 “시스템 단계의 편견 발견 경연 대회를 개최한다면 매우 매력적일 것”이라고 말했다.

엘라자리 총괄은 알고리즘에 접근해야 한다는 점에서 편견 보상 프로그램이 근본적으로 버그 보상 프로그램과 다르다고 설명한다. 그는 “편견 보상 프로그램과 같은 알고리즘 평가 과정은 기반 데이터나 코드 접근 권한이 없다면, 완벽하지 않을 수도 있다”라고 주장했다.

알고리즘 접근 권한과 관련해 제기한 문제는 다수 기업이 알고리즘 검증 필요성을 강력하게 느끼도록 하거나 알고리즘을 사용하는 곳을 공개하도록 한다. 지금까지 AI의 편견 발생 위험성에 대한 규제 노력은 거의 이루어지지 않았다. 예를 들어, 뉴욕은 AI로 입사지원자를 검토할 때, 이를 공개할 것과 AI 프로그램의 차별 문제를 비판적으로 검증할 것을 요구한다. 유럽연합도 AI 알고리즘을 더 검증할 것을 요구하는 광범위한 적용 범위를 둔 규제안을 발의했다.

2020년 4월, 연방거래위원회(FTC)는 기업에 자사의 모델이 고객에게 미치는 영향을 알릴 것을 요구했다. 이듬해, FTC는 AI 사용 사실을 공개하지 않고 편견 문제를 완화하지 못하는 기업에 책임을 물을 가능성을 시사했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Twitter's Photo-Cropping Algorithm Favors Young, Thin Females