By CARISSA VÉLIZ, WIRED US

이 글을 읽는 순간에도 수십 개의 알고리즘이 개인행동을 예측할 수도 있다. 아마도 알고리즘이 이 기사를 클릭하도록 결정했을지도 모르겠다. 개인의 행동에 앞서 이 기사를 읽을 것이라고 먼저 예측했기 때문이다. 알고리즘의 결정은 개인의 대출 신청이나 취업, 아파트 매매, 보험 가입 여부 등 다양한 활동을 판단할 수 있다.

알고리즘의 예측 분석은 갈수록 삶의 더 많은 영역을 정복한다. 그러나 그 누구도 개인행동 예측 허가 요청을 한 적이 없다. 이를 감독하는 정부 기관도 없다. 그 누구도 개인의 운명을 좌우할 알고리즘의 예측을 알려주지 않는다. 더 심각한 문제는 예측의 윤리성을 주제로 한 학술 연구는 알고리즘 예측이 탐험할 수 없는 지식의 영역이라고 제시했다. 사회 단위에서 인간은 누군가를 예측할 때의 윤리적 여파를 고려해본 적이 없다. 인간은 기관에 스며들면서 자유 의지를 지닌 존재라고 가정할 뿐이다.

변수 거부는 인간의 특성 중 핵심 사항이다. 인류의 가장 위대한 영웅은 변수를 거부하는 이들이다. 에이브러햄 링컨과 마하트마 간디, 마리 퀴리, 헬렌 켈러, 로자 파크스, 넬슨 만델라 등 수많은 역사적인 인물이 변수를 거부했다. 모두 예측 사항을 훨씬 뛰어넘으면서 성공한 인물이다. 모든 교사는 아동이 제 역할보다 더 많은 일을 달성한 아동을 알고 있다. 개인의 기본 역량 개선을 넘어 인간은 변수 거부를 허용하면서 촉진하는 사회를 원한다. 하지만 인공지능(AI)이 인간을 특정 범주로 분류하면서 개인의 미래를 예측하고는 그에 따라 다룰수록 인간의 삶의 형성 범위가 좁아진다. 그 결과, 인간은 탐색할 수 없는 위험성에 노출된다.

인간은 고대 그리스의 델포이 신탁(Oracle of Delphi)이 존재하기 전부터 예측을 이용해왔다. 전쟁은 예측 결과를 바탕으로 진행되었다. 지난 수십 년 동안 예측은 보험 수당 설정과 같은 관행에서 정보를 제공하는 역할을 했다. 예측은 10만 명 중 교통사고 피해를 보게 될 이의 수를 앞서 내다보는 등 불특정 다수를 대상으로 했다. 간혹 다른 이들보다 운이 좋은 이들도 존재했으나 위험 관리가 부주의하면서 운이 좋지 않은 이들이 부담할 비싼 비용으로 상대적으로 신중하면서 운이 좋은 이들이 부담할 적은 비용을 상쇄한다는 추측에 따라 거의 균일하게 이루어졌다. (전체 연령 집단과 같은 광범위한 범주는 해당하지 않는다.) 관리 집단의 범위가 넓을수록 예측과 수당 안정성이 향상된다.

오늘날 예측은 주로 통계를 사용해 알려지지 않은 정보 격차를 채우는 머신러닝 알고리즘을 사용한다. 텍스트 알고리즘은 거대한 언어 데이터베이스를 사용해 단어 배열의 가장 합리적인 결과를 예측한다. 인간의 행동에 적용하는 알고리즘은 과거 데이터를 사용해 미래 행동을 추론한다. 추후 구매할 제품과 이직 계획, 병에 걸릴 가능성, 범죄를 저지르거나 교통사고를 범할 가능성 등 모든 것을 예측한다. 머신러닝 알고리즘 모델을 적용하면서 보험에 더는 대규모 집단의 위험 관리를 적용하지 않게 되었다. 그 대신 예측이 개인 맞춤화되었으며, 개인은 새로운 윤리 우려를 낳는 개인 위험 평가 점수에 따라 보험료 납부 의무를 부담한다.

예측의 중요한 특성은 현실을 설명하지 않는다는 점이다. 예측은 현재가 아닌 미래를 다루며, 미래는 아직 현실이 되지 않은 요소이다. 예측은 추측에 따라 이루어지면서 위험과 가치관에 대한 모든 대상 평가와 편견은 예측을 기반으로 구축한다. 정확도가 다소 낮은 예측이 이루어질 수도 있지만, 가능성과 사실 간의 관계는 매우 약하면서 일부 추측 사항보다 윤리적으로 더 큰 문제를 일으킬 수도 있다.

하지만 오늘날 기관은 종종 예측이 객관적 실재인 것처럼 예측을 간과하려 한다. 또, AI의 예측이 단순히 가능성을 나타낼 때도 관행을 결정하는 요소로 해석한다. 인류가 가능성을 이해하는 능력이 매우 부족하다는 사실과 위험을 피할 때 얻는 이득이 결국 예측을 강화한다는 점이 부분적인 원인으로 작용하기 때문이다. (특정 직원이 불성실한 직원일 확률이 75%라고 예측한 상황을 가정해보자. 이때, 기업은 상대적으로 근무 태도가 좋을 확률이 높은 후보가 있다면, 불성실하다고 예측한 직원을 채용하지 않을 것이다.)

인간이 예측하는 방식은 종종 철학적으로 가장 오래된 논쟁을 다시 펼치도록 유도하는 윤리적 문제를 제기하게 된다. 모든 것을 알고 있는 신이 존재한다면, 인간이 진정한 자유를 누린다고 말할 수 있을까? 신이 모든 미래 상황을 알고 있으며, 어떠한 상황이든 알 수 없으나 사전에 결정되었을 것이다. 그 여파는 인간이 자유 의지를 갖고 있다는 느낌은 단순한 느낌 그 이상도, 그 이하도 아닐 것이다. 이를 신학적 숙명론(theological fatalism)이라고 칭한다.

신과 관련된 다양한 의문 사항 이외에도 우려할 수 있는 바로 정확한 예측이 가능할 때, 어떠한 예측사항이 이미 결정되었는가를 언급할 수 있다. (여기서 예측하는 존재는 논외이다.) AI 시대에 예측 분석이 계속 인간을 대상으로 하면서 예측과 관련된 우려가 더 중요해졌다.

한 가지 주된 윤리 문제로 날씨를 예측하듯 인간의 행동을 예측하면서 인간을 예측해야 할 요소로 다루는 것을 언급할 수 있다. 인간을 존중해야 하는 대상으로 다루는 것의 의미는 인간의 행동과 스스로 변화할 능력, 상황 등을 인정하는 것이다. 만약, 인간의 행동을 먼저 예측하고 그에 따라 대한다면, 자유로운 행동과 예측사항의 변수 거부 기회는 없을 것이다.

인간 행동 예측의 두 번째 문제는 인간을 사물처럼 대하면서 피그말리온 효과를 생성하는 것이다. 예측은 중립성을 지닐 확률이 매우 낮다. 종종 예측 행위 개입은 현실적으로 관측하고자 하는 의도대로 발생한다. 예를 들어, 페이스북은 널리 확산될 게시글을 예측하면서 해당 게시글의 노출 범위를 최대화함과 동시에 새로운 상황을 나타내는 데 사용하고 해당 게시글을 유포한다. 아니면, 성실한 직원이 될 확률이 낮다고 예측하는 알고리즘의 예시를 다시 살펴보자. 일자리를 구하지 못할 능력은 알고리즘의 정확성으로 설명할 수 없는 요소이다. 하지만 알고리즘 자체는 기업에 특정 직원을 채용하지 않도록 추천하며, 기업은 알고리즘의 조언을 받아들인다. 알고리즘이 배제한다면, 개인이 삶에서 선택할 수 있는 범위는 심각한 수준으로 제한된다.
 
과거, 신학적 숙명론을 연구한 다수 철학자는 신이 모든 것을 알면서 영향력 행사 범위의 제한이 없다면, 악을 두고 신을 탓하기 십상이라는 점을 우려했다. 영국 철학자 데이비드 흄(David Hume)은 “무언가를 중재하고자 지속성을 지닌 인간의 행동의 우발성과 신을 악의 원인으로 만들지 않는 일은 지금까지 철학의 영역을 넘어선 것으로 밝혀졌다”라는 내용을 작성했다. AI의 예측을 살펴보았을 때, 예측 분석이 예측하고자 하는 현실을 부분적으로 생성한다면, 불평등 증가부터 양극화, 거짓 정보, 아동 및 청소년에게 입히는 피해 등 인간이 디지털 시대에 겪는 부정적인 경향을 부분적으로 책임져야 한다.

결과적으로 광범위한 예측 분석 사용은 인간이 차이를 만들 수 있는 미래를 열 기회를 박탈한다. 이는 광범위한 영역에서 사회에 파괴적인 영향을 미친다.

역사가 이어지는 동안 인류는 숙명론에 맞선 삶을 만들어냈다. 아동 교육을 위해 온 힘을 다하면서 투자하는 모든 부분이 더 나은 삶을 살게 되는 결과로 이어지기를 바란다. 인간은 건강을 향상하고자 노력한다. 긍정적인 행동을 극찬하면서 바람직한 행동이 더 증가하도록 유도하며, 잘못된 선택을 할 수도 있었다는 사실을 인정한다. 잘못된 행동을 한 이를 처벌하는 부분적인 이유는 최소한 잘못을 저지른 이와 다른 이들이 사회적 규범을 위반하지 않도록 한다. 또한, 더 나은 행동을 했어야 한다고 생각하는 이들을 비난한다. 인간은 이익을 바탕으로 사회를 구성하고자 노력한다.

사회적 관행 중 인간이 특정한 예측 사항에 따를 수밖에 없는 것처럼 생각하거나 행동할 때, 인간의 삶을 합리적이라고 판단할 만큼 근본적인 부분은 없다. 칭찬과 비난은 전혀 적합하지 않다. 어떠한 형태든 등급이나 벌금, 혜택, 처벌이 전혀 없는 세계를 상상해보자. 또, 미래의 변화를 이끌기 위한 시도가 전혀 없는 세계와 인간이 예측을 피할 수 없는 세계에서 살아가는 상황을 상상해보자. 거의 생각할 수 없는 세계이다. 모든 기업이 정확한 예측을 할 수 있는 미래가 펼쳐지고, 금융 시장은 인간이 예측 사항을 알게 되는 즉시 붕괴할 것이며 그와 동시에 경제까지 무너질 것이다. 이처럼 극단적인 상황은 현실이 될 확률이 낮지만, 대부분 예측이 인간의 행동을 좌우하는 방향으로 향하는 것을 원하지 않을 것이다.

인간 행동 예측이라는 관행과 자유 의지라는 신념 간의 해결할 수 없는 긴장 관계는 인간의 일상 속 한 부분으로 자리 잡을 것이다. 미래 상황의 불확실성이라는 건강의 척도는 인간이 더 나은 행동을 하도록 동기 부여를 하면서 가능성이 열린 상태를 유지할 것이다. 잠재적인 데이터 포인트가 미래를 구성하는 객체를 수집하지 않도록 남기고자 하는 바람은 개인을 삶의 주인으로 대하는 상황과 양립할 수 없다.

실력 우선주의를 중시한다면 합리적이지 않다고 볼 인간을 미래 예측 대상이 되어야 할 공학적 기계로 대할 것인지 혹은 인간을 개인 예측 목표로 삼는다면 불합리하다고 볼 수 있는 것처럼 각자의 역할을 지닌 존재로 보아야 할 것인지 선택해야 한다. 인간을 미래의 특정 상황 견인 혹은 특정 영역에 둔 기계로 만드는 일은 절대 없을 것이다. 인간이 견인차와 같은 존재가 된다면, 인간을 특정 영역에 가두어서는 안 된다. 반대로 인간을 기계와 다른 존재로 보면서 인간을 계속 칭찬하거나 비난한다면, 인간을 어떠한 결과에 대해 말하지 못하는 존재인 것처럼 다루면서 미래를 예측해서는 안 된다.

예측 행위에 악의가 없다고 보기 어렵다. 광범위한 예측 분석 사용은 인간이 자기 자신을 생각하는 방법까지 바꿀 수 있다. 자유 의지 신뢰의 가치가 있다. 심리학계 연구는 인간의 자유 의지 확신도 감소가 부정행위와 공격, 순응 증가는 물론이고 도움이 되는 행동과 감사함이나 진실성 등 긍정적 감정 감소로 이어진다는 사실을 입증했다. 분석 예측 사용이 증가할수록 인간은 인류를 단순한 상황의 결과로만 개념화하면서 고난을 직면했을 때 전혀 어떠한 역할이 없으면서도 힘이 없는 존재로 치부할 확률이 높다. 인간이 변수를 거부할 기회 허용 감소는 인간과 사회, 현재 상황 등을 비난하면서 죄책감을 느낄 확률 증가로 이어진다.

예측 알고리즘을 기반으로 둔 인간의 운명 결정은 인간을 로봇과 같은 존재로 만들게 될 것이다. 가능성에 맞서는 인간의 창의성은 국가 전체를 구하는 역할을 했다. 루즈벨트 전 미국 대통령과 윈스턴 처칠 전 영국 총리가 2차 세계대전 당시 보인 행동을 떠올려보아라. 모두 개인의 삶과 고위급 정치인이라는 지위를 유지한 삶에서 이루 말로 할 수 없는 어려움을 극복하고는 세계를 전체주의 진행 상황에서 구해냈다. 변수 거부 능력은 인간이 지닌 가장 위대한 선물이며, 인간은 위험 속에서 변수 거부 능력을 저하한다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
If AI Is Predicting Your Future, Are You Still Free?