By TOM SIMONITE, WIRED US

간호사인 디나 사로(DINA SARRO)는 듀크대학교 병원에서 미국 병원 내 환자의 주된 사망 원인이 되는 합병증 감염 증상인 패혈증이 심각해질 위험 증상을 보일 때 경고하기 위한 머신러닝 소프트웨어를 설치했을 당시, 인공지능(AI)에 대해 아는 바가 많지 않았다. 셉시스 워치(Sepsis Watch)라는 이름으로 알려진 듀크대학교 병원의 머신러닝 소프트웨어는 듀크대학교 연구진이 과거, 사로가 공동으로 이끄는 병원 측의 신속 대응 간호사의 환자 데이터 3,200만 개를 적용하고 패혈증 증상에 따라 경고를 보냈다.

그러나 많은 간호사가 셉시스 워치의 경고 신호를 의사에게 전달할 때, 간혹 데이터에 무관심한 모습을 보이거나 심지어 이상한 부분을 발견하지 못한다. 의사가 AI에서 환자의 추가 진단이 필요한가 질문했을 때, 사로는 설명하는 데 큰 어려움을 겪었다. 그는 “AI의 판단이 알고리즘을 기반으로 이루어져, 적절한 답을 찾지 못했다”라고 말했다.

듀크대학교 병원은 지금도 셉시스 워치를 사용한다. 이는 사로와 동료 간호사가 스스로 인간과 기계 간 관계를 능숙하게 다루는 AI 관리자로 변신했기 때문이 아니다. 알고리즘의 경고를 인간이 더 받아들이는 데 도움이 되도록 새로운 작업 흐름을 개발했기 때문이다.

국책 연구소인 데이터 & 소사이어티(Data & Society)가 발표한 새로운 보고서에서는 듀크대학교 병원의 사례를 종종 기술의 혁신적인 발전과 함께 동반되면서 필요한 ‘수리 작업’이라고 칭한다. 보고서 공동 저자인 마들렌 클레어 엘리시(Madeleine Clare Elish)는 사로와 같이 필수 부문에 종사하는 이들의 중요한 기여 사항을 종종 간과한다고 말한다. 엘리시는 “단순히 자원만 기술에 투입된다면, 기술을 인간에게 맞추어 적용하는 행위는 실패할 것이다”라고 주장했다.

듀크대학교 병원 사례로 본 인간과 기계 사이의 개입이 나타내는 바는 최근 급증한 AI 보건 연구를 더 나은 환자 진료에 적용하는 데 어려움이 있다는 사실이다. 많은 연구가 X선이나 피부 병변 사진 등 의료 기록으로 검사할 때, 의사보다 성능이 우수하거나 더 우수한 알고리즘을 제작해냈다. 그러나 이러한 알고리즘을 병원과 의료 시설에 유용하게 배치할 방법은 제대로 이해되지 않았다. 머신러닝 알고리즘은 제작자에게도 융통성이 없고 불투명한 모습을 보이는 것으로 악명이 높다. 신중하게 선택된 연구 데이터세트도 병원의 혼란스러운 머신러닝 소프트웨어의 성공을 보장하지 않는다.
 
피부 사마귀를 분류하기 위한 소프트웨어 연구 결과, 소프트웨어의 권고 내용 중 일부는 경력이 있는 의사가 잘못된 내용에서 올바른 진료로 데이터 내용을 바꾸도록 설득한다는 사실이 확인됐다. 구글이 태국 의료 시설에서 90%의 정확도를 기록한 시스템의 당뇨병 환자의 안구 질환 감지 능력을 갖춘 시스템을 적용했을 때, 시스템이 환자 이미지 20% 이상을 거부한다는 사실을 확인했다. 조명 변화 등 여러 요소 때문이었다. 엘리시는 최근 구글에 입사해, 헬스케어 분야의 AI 연구를 계속 진행하고 있다.

듀크대학교 병원의 패혈증 프로젝트는 최근의 AI 헬스케어 호황 초기인 2016년에 시작됐다. 패혈증 발병 경고를 할 수 있는 더 간단한 시스템을 개선할 것이라는 기대가 있었다. 해당 시스템은 그동안 알람에 압도돼, 이를 지나치거나 무시하게 되는 사실을 학습했다.

듀크대학교 보건 혁신 연구소의 연구팀은 신속 대응 간호사에게 직접 보내는 더 많은 표적 경고를 차례로 의사에게 제공하는 것이 더 나을 수 있다고 생각했다. 연구팀은 테크 업계가 선호하는 AI 기법인 딥러닝을 이용해 환자 5만여 명의 기록을 대상으로 알고리즘 훈련을 하고, 실시간으로 환자 차트를 스캔하는 시스템을 구축했다.
 
셉시스 워치는 듀크대학교 개발자가 눈코 뜰 새 없이 바쁜 병원에서 확인할 수 없는 환자가 있다는 사실을 알고, 엘리시에게 도움을 청했다는 점에서 인류에게 가까이 다가갔다. 엘리시는 간호사와 응급실 의사를 그림자처럼 따라다니면서 인터뷰한 결과, 알고리즘에 인간의 복잡한 사회생활이 반영됐다는 사실을 확인했다.

시스템은 간호사가 모니터하는 아이패드에 경고를 보내고, 패혈증 위험도가 보통이거나 높은 것으로 보이는 환자 혹은 이미 치명적인 상태로 악화된 환자의 신호를 보냈다. 간호사는 패혈증 고위험 환자를 위해 응급실 의사에게 즉시 연락하기로 되어있었다. 그러나 간호사가 이러한 절차를 따를 때, 문제가 발생했다.

바쁜 병원의 일상적인 작업 흐름을 방해하면서 발생하는 문제도 일부 있었다. 많은 의사가 간호사의 지시를 받는 데 익숙하지 않다. 혹은 사로가 알고리즘이 경고를 보낸 이유를 묻는 질문을 받은 것과 같이 AI에 특정된 문제도 있었다. 소프트웨어 지원팀은 설명 기능을 구축하지 않았다. 여러 머신러닝 알고리즘처럼 특정 요청을 하게 된 이유를 정확히 파악할 수 없기 때문이다.

사로를 비롯한 많은 간호사가 택한 한 가지 전략은 패혈증 고위험 경고를 알고리즘의 경고로부터 방어하기 위해 환자 기록 먼저 검토하라는 신호로 활용한 것이다. 간호사는 하루 중, 특정 시간에 경고를 피한다는 사실과 함께 의사가 알고리즘의 경고를 따를 상황이 아닐 때를 자세히 검증하는 법을 알게 됐다. 사로는 “대인관계를 통해 많은 부분을 소통하고 있었다. 간호사는 소프트웨어의 경고 알람을 위해 더 많은 정보를 스스로 찾을 것이다”라고 말했다.

엘리시는 시스템이 환자에게 신호를 지정하는 이유를 알 수 있는 방법이 없는 상황에서 간호사와 의사가 이해할 수 없는 AI에 대응하기 위해 자체적으로 부정확한 설명 방식을 고안해낸 사실을 확인했다. 어느 한 간호사는 시스템이 의료 기록의 키워드를 살펴본다고 생각했다. 그러나 실제는 아니었다. 또, 어느 한 의사는 동료에게 시스템이 인간 의료진보다 똑똑하기 때문에 시스템을 믿어야 한다고 조언했다.

데이터 과학자 겸 듀크대학교 패혈증 프로젝트 총괄인 마크 센닥(Mark Sendak) 박사는 불확실한 특성이 엘리시의 연구 결과가 더 눈에 띄고, 우려해야 할 부분이라고 말한다. 센닥 박사 연구팀은 사로와 다른 간호사의 피드백 결과로 패혈증 경보 시스템 훈련과 문서를 변경했다. 센닥 박사는 이 덕분에 AI 헬스케어 프로젝트로 기술적 성과뿐만 아니라 사회 연구에도 더 많은 자원을 투입해야 한다는 사실을 확인하게 되었다. 그는 “자원 투입 확대를 AI 헬스케어 실천 표준으로 만드는 것을 원한다. AI 수리 작업 인식에 투자하지 않는다면, 결국 실패하게 될 것이다”라고 말했다. 사로는 AI 소프트웨어가 궁극적으로 병원의 패혈증 치료 개선을 위해 등장한 것이라고 말한다.

더 많은 AI 프로젝트가 곧 듀크대학교 병원에서 직면한 것보다 더 까다로운 문제를 겪기 시작할 것이다. 스탠퍼드대학교 부교수 아밋 코샬(Amit Kaushal)은 지난 10년간 머신러닝의 발전과 더 많은 양의 의학 데이터세트 덕분에 알고리즘이 의학적 이미지를 이해하는 것과 같이 한때 연구원이 꿈꾸던 일을 일상적으로 해왔다고 말한다. 그러나 이를 환자 치료에 통합하는 것인 더 어려운 것으로 입증될 수 있다. 코샬 교수는 “일부 분야에서 기술이 더는 제한적인 요소가 아니다. 이는 다른 문제이다”라고 말했다.

코샬 교수는 의료진이 손을 제대로 씻지 않을 때, 이를 경고하는 카메라 시스템을 평가하는 스탠퍼드대학교 프로젝트에 기여했으며, 결과가 긍정적이었다고 말한다. 그러나 AI가 헬스케어에 빨리 정착해, 시스템의 가치 증명은 기존의 종종 느린 속도로 진행되는 연구에 달려있다. 이에, 코샬 교수는 “연구에서 실제 증명된 바는 ‘시스템 개선이 환자를 위한 결과를 가져올까?’라는 의문점이다”라고 언급했다.

2019년에 완료된 임상 시험에서는 코히어메드(Cohere Med)라는 스타트업이 허가 받은 듀크대학교의 패혈증 시스템을 둘러싼 의문점의 해답을 찾는 데 어느 정도 도움이 될 것이다. 현재, 다른 건강 시스템 담당 간호사로 근무하는 사로는 셉시스 워치로 겪은 일 덕분에 더 많은 AI 툴을 이용하는데 열린 태도를 지니게 됐지만, AI의 한계를 경계하기도 한다고 말한다. 그는 “AI 시스템은 도움이 되지만, 약간의 혼란스러운 부분이 있다”라고 전했다.

관련 기사: AI, 부유한 국가 환자에게만 일부 질환 진단 도움준다?

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
AI Can Help Patients—but Only If Doctors Understand It