어느 한 주말 오후 친구와 함께 예술 박물관에서 시간을 보낸다고 상상해 보아라. 팔짱을 낀 채로 고개를 끄덕이는 동시에 무언가 이야기할 만한 통찰력이 있는 정보를 절실히 찾는다. 그동안 박물관에서 본 작품 대부분 즉시 잊게 되지만, 몇몇 작품은 오랫동안 머릿속에 남는다. 결과적으로 머릿속을 떠나지 않는 그림은 다른 이들의 머릿속에도 똑같이 오래 남아있게 될 확률이 높다.
유독 특정 예술 작품이 머릿속에 더 오래 남는 것을 칭하는 과학적 용어인 ‘이미지 기억 용이성(image memorability)’이라는 표현이 있다. MIT 컴퓨터 과학 박사학 과정 재학생이자 머신러닝으로 콘텐츠 참여도가 광고 기업, 크리에이터에게 미칠 영향 평가하는 스타트업인 메모러블 AI(Memorable AI)의 최고 기술 책임자 카미로 포스코(Camilo Fosco)는 “기본적으로 특정 콘텐츠가 다른 콘텐츠보다 더 기억하기 쉬운 기본적인 패턴을 지녔다”라고 설명했다. 다시 말해, 특정 예술 작품이 다른 작품보다는 말로 설명하기 어렵지만, 좋은 특성을 지녔다는 의미이다. 현재 과학계에서는 인공지능(AI)을 이용해 특정 예숙 작품을 더 쉽게 기억하게 되는 특성을 밝혀내고자 한다.
시카고대학교 연구원인 트렌트 데이비스(Trent Davis) 연구원과 윌마 베인브리지(Wilma Bainbridge) 연구원은 2023년 7월 초, 미국 국립과학원(Proceedings of the National Academy of Sciences)에 게재된 논문을 통해 예술 작품의 기억 용이성이 모든 인간에게 보편적으로 나타나는 현상이며, AI로 예측할 수 있는 특성이라고 주장했다. 연구팀은 시카고 미술관(Art Institute of Chicago) 데이터베이스에서 미술관 측이 강화되었다고 분류하거나 다른 작품보다 훨씬 더 유명한 작품을 제외한 예술 작품 4,000점을 선정하여 진행한 온라인 실험 결과를 다루었다. 피실험자 3,200명 이상이 예술 작품 수백 점을 보았다. 즉, 작품 한 점당 40여 명이 보았다는 의미이다. 피실험자 집단은 특별히 기억하도록 요청받은 작품과 별도의 요청이 없었던 작품이 뒤섞인 예술 작품 여러 점을 보았다. 피실험자의 반응은 일관성이 있었다. 모두 기억하거나 기억하지 못하는 예술 작품이 같았다.
연구팀은 데이터 과학자 코엔 니델(Coen Needell)이 베인브리지의 심리학 연구소에서 박사학 논문 작성 과정의 한 부분으로 설계한 딥러닝 신경망 ‘ResMem’을 이용해 예술 작품별 기억 용이성을 예측할 수 있었다. ResMem은 시각 체계가 망막에서 피질까지 정보를 통과하는 방법, 처음 가장자리와 질감, 패턴 등 기본 정보를 처리하는 방법, 마지막으로 작품이 다룬 대상의 의미 등 추상적인 정보 확장 과정까지 비슷하게 구현했다. ResMem의 예측 결과는 온라인 실험 피실험자의 기억 용이성 점수와 상관관계가 매우 높은 것으로 나타났다. AI가 각각의 예술 작품의 문화적 맥락이나 인기, 중요성 등을 전혀 알지 못한 채로 평가한 결과이다.
인간이 예술 작품을 기억하는 수준이 아름다움, 개인적 의미의 주관적 경험과 관련성이 적고, 예술 작품 자체와 관련성이 더 높다는 점에서 연구 결과가 예상과 전혀 다르다고 말할 수 있다. 바로 예술가와 광고 기업, 교육자 등 개인 콘텐츠를 타인의 뇌에 더 오래 남도록 하고자 하는 이들에게는 중대한 영향을 미칠 수 있는 결과이다. 베인브리지 연구원은 “예술 작품이 매우 주관적인 대상이라고 생각할 확률이 높다. 하지만 대부분 보고 기억하는 바와 잊는 바 모두 놀라울 정도로 비슷하다”라고 말했다.
베인브리지 연구원은 논문으로 다룬 온라인 실험은 연구를 시작할 매력적인 부분이지만, “현실 세계의 기억을 예측할 수 있다면 더 흥미로울 것”이라고 언급했다. 이에, 당시 신경과학과 시각 예술 복수 전공을 하던 학생이었던 데이비스 연구원과 함께 피실험자 19명을 추가로 모집하고는 시카고 미술관의 미국 예술 작품 전시 공간을 친구와 함께 자유롭게 돌아다니도록 요청했다. 당시 피실험자에게 전달한 유일한 요구 사항은 각각의 예술 작품을 최소 한 번 이상 보는 것이었다. 현재 베인브리지 연구원의 심리학 연구소 관리자인 데이비스 연구원은 “개인적으로 예술가인 만큼 연구 결과를 현실 세계에 적용하고자 했다. 자연스럽게 즐길 수 있는 박물관에서의 경험을 선사하는 결과가 되기를 원했다”라고 말했다.
박물관을 떠나면서 피실험자 모두 스마트폰으로 기억력 테스트를 진행했다. 먼저 진행한 온라인 실험 결과와 마찬가지로 ResMem의 피실험자가 기억할 확률이 높은 작품 예측 결과는 매우 정확한 것으로 나타났다.
[사진=Pixabay]
유독 기억에 오래 남는 예술 작품의 공통점은 무엇일까? 어쩌면, 다른 작품보다 더 크거나 더 큰 작품에 둘러싸여 있을 수도 있다. 하지만 작품이 다룬 대상이나 역사적 기간, 색상 팔레트, 감정적 주제 등에서는 공통점을 찾아볼 수 없다. 결국, 베인브리지 연구팀은 피실험자가 특별히 더 기억에 남는 작품으로 지목한 작품의 공통점을 찾고자 더 강력한 연구를 진행했다. 연구팀은 세 번째 연구를 위해 피실험자 40명을 추가로 모집하고, 두 번째 실험 당시 피실험자가 미술관에서 직접 본 작품을 보도록 하여 아름다움과 감정적 분위기, 익숙함, 흥미를 기준으로 평가했다. 아름다움과 감정적 분위기, 익숙함, 그리고 색상과 밝기, 작품의 채움 수준 등은 기억 용이성과는 관련성이 없는 것으로 드러났다. 베인브리지 연구원은 “실제로 기억 용이성과 관련이 있는 것은 작품을 보고 느끼는 흥미의 정도이다”라고 전했다.
그러나 ‘흥미’가 의미하는 바를 말하기 어렵다. 흥미는 호기심부터 가려진 반감 수준까지 무엇이든 생각할 수 있는 모호한 표현이다. 베인브리지 연구원은 누구나 관심을 보이는 작품은 예술 작품의 인간 문화와의 상호작용 방식을 다룰 것으로 추측한다. 인간 피실험자의 평가와 ResMem의 예측 결과 모두 기억 용이성이 가장 높은 작품으로 지목한 일부 작품은 유머를 담거나 저속한 작품이었다. 일례로, 기억 용이성이 가장 높은 작품 중 하나는 이상할 정도로 고환과 같은 줄에 달린 길쭉한 감자 두 개를 담은 작품이었다. 베인브리지 교수는 “대부분 해당 작품을 기억에 남는 작품으로 택할 것이다”라고 말했다. 하지만 신경망으로는 그 이유를 설명할 수 없다.
포스코는 메모러블 AI에서 진행하는 작업으로도 연구팀의 연구 결과와 같은 사항을 파악했다. 포스코는 이를 “기이함과 기억 용이성 간의 명확한 상관관계”라고 칭한다. 어도비 수석 과학자 조야 바이린크시(Zoya Bylinksii)도 최근, 인간의 예술 작품 미적 판단을 주제로 게재한 연구 논문을 통해 비슷한 결론을 내렸다. 바이린크시는 베인브리지 연구원과 데이비스 연구원과 비슷한 방법으로 연구를 진행한 뒤 대부분 자연 풍경 사진을 가장 아름다운 작품으로 꼽지만, 기억 용이성이 가장 높은 작품은 아니라는 점을 확인했다. 바이린크시는 와이어드에 보낸 메일을 통해 “인간은 단순히 아름답다는 이유로 특정 대상을 기억하지 않는다. 실제로 이상하거나 그동안 보았던 것과는 다르기 때문에 특정 대상을 기억한다”라고 설명했다.
베인브리지 연구원은 이전에 발표한 연구를 통해 인간이 기억 작업을 하지 않을 때도 특히 시각적 요소, 내측 측두엽과 연결된 뇌 영역이 기억 용이성이 높은 이미지를 볼 때와 잊기 쉬운 이미지를 볼 때 보이는 반응이 다르다는 사실을 발견했다. 베인브리지 연구원은 뇌가 우선시할 시각적 입력 정보를 재빨리 계산한 뒤 즉시 잊을 시각적 정보를 처리한다고 생각한다. 하지만 지금도 뇌 혹은 인공 신경망이 기억할 시각 정보와 잊을 정보를 구분하려 하는 정확한 작업을 알지 못한다.
니델은 ResMem이 일종의 블랙박스와 같다는 점을 분명하게 말할 수 있다고 전했다. 과거, 니델은 ResMem이 각각의 구성요소를 최대한 활성화하여 그림을 생성하면서 생각하는 바를 찾아내고자 하는 내용을 담은 연구 논문을 게재했다. (애완동물용 장난감을 하나씩 흔들고, 애완동물이 가장 큰 관심을 보이는 장난감을 찾는 방식으로 애완동물이 가장 좋아하는 장난감을 확인하는 것과 같은 과정이다.) 니델이 발견한 연구 결과는 다소 당황스러웠다. 물체 조각과 무지개의 환각 분열 패턴이었기 때문이다. 니델은 “실제로 머릿속에 강렬한 기억을 남기는 작품은 인간의 하관을 떼어 내고는 분열 패턴으로 변경한 작품이다”라고 말했다.
베인브리지 연구원은 흥미로운 작품의 기억 용이성이 비교적 더 높은 편이기는 하지만, 예술 작품이 마음속에 오래 남는가와 같은 다른 요소도 영향을 미친다고 설명했다. 역겨움이나 공포 등 매우 강력한 수준의 부정적인 감정도 확고한 경험을 형성한다. 연구팀이 연구 과정에서 실제로 기이하거나 끔찍한 작품을 피실험자에게 보여준 적이 없어, 연구 당시 특정 효과를 확인하지 못했을 수도 있다. (기이함과 끔찍함이라는 특성 모두 시카고 미술관을 비롯한 박물관 전시 작품의 공통점이 아니기 때문이다.)
뇌는 놀라운 대상과 새로운 대상, 기이한 대상을 우선순위로 정하는 경향이 있다. 바이린크시는 “인간은 과거를 기억하여 미래 예측 수준을 높일 수 있다”라고 말했다. 또, 특정 예술 작품이 문화적으로 유명한 이유가 형태의 기이함을 지녔거나 독특한 대상을 다루었거나 예상에서 벗어나기 때문일 수 있다고 추측한다. 이에, “기이하거나 예상을 벗어난 것과 같은 특징이 특정 작품이 인간의 뇌리에 깊이 박혀 있는 이유일 수도 있다”라고 언급했다.
이제 베인브리지 연구원과 데이비스 연구원은 새로운 접근 방식으로 예술 작품의 기억 용이성을 형성하는 요소를 찾고자 한다. 현재 베인브리지 연구원의 연구소는 예술가를 대상으로 가장 기억할 만한 작품과 잊기 쉬운 작품 창작 경연 대회를 진행 중이다. 연구소에 제출된 작품을 갤러리로 공개하고, 작품을 본 이들의 기억을 평가할 예정이다. 작품을 본 이들이 기억하거나 잊을 확률이 가장 높은 작품을 창작한 이가 우승한다. 연구팀은 경연 대회에 제출된 작품이 기억 용이성을 형성하는 대상을 확인할 몇 가지 단서를 제공하기를 바란다. (2024년 1월 1일까지 시카고에 있는 연구팀에게 작품을 보낼 의사가 있는 미국 아티스트 누구나 작품을 제출할 수 있다.)
데이비스 연구원은 아티스트가 특정 이미지를 오래 기억할 만한 요소를 찾을 수 있는지 확인하는 것 이외에도 예술 작품 창작 과정에서 기억 용이성이 형성되는 방법도 알아내고자 한다. 경연 대회에 작품을 제출하고자 한다면, 작품 제작 과정을 담은 사진 최소 5장도 함께 제출해야 한다. 데이비스 연구원은 “붓놀림을 추가하거나 기억 용이성이 달라질 수 있다. 따라서 ResMem을 활용해, 작품 제작 과정에 따른 기억 용이성 변화를 추적할 것이다”라고 밝혔다.
바이린크시는 인간의 뇌가 정보를 우선시하는 방법을 알게 될 때마다 그 결과가 긍정적이든 부정적이든 무언가 조작될 기회가 발생한다고 설명했다. ResMem은 시카고대학교가 저작권을 보유했다. 따라서 기업은 ResMem을 더 기억하기 쉬운 광고 제작과 같은 용도로 사용할 수 없다. 베인브리지 연구원은 “뇌의 정보 우선순위 처리 과정은 밤에 취침할 때도 도움이 된다”라고 말했다. 그러나 메모러블 AI와 같은 기업은 이미 자체 딥러닝 모델을 활용해 고객이 광고 콘텐츠에 알아차리기 어려운 미묘한 변화를 주면서 클릭 비율과 기억 용이성을 높인다. 포스코는 같은 원리로 학생이 기억하기 쉬운 슬라이드 덱과 인포그래픽을 제작하도록 교육자도 돕고자 한다.
AI가 인간의 머릿속에 오래 남을 예술 작품 수, 그리고 예술가가 관객을 위해 작품을 약간 수정할 수 있는 능력을 부여한다는 이야기가 비주얼 아티스트에게는 무시무시한 일처럼 들릴 수도 있다. DALL-E와 같은 생성형 AI 툴과 함께 예술가는 창의적 작업 과정이나 표현 과정에서 어려움을 겪게 될 것을 우려할 수도 있다. 데이비스 연구원은 종종 연구 결과를 직접 창작한 예술 작품에 적용하는가 질문을 받는다. 하지만 데이비스 연구원은 신경과학 연구 결과를 예술 활동에 서서히 적용하는 것을 피하려 한다고 답변했다. 이어, ResMem을 개인 작품 창작 과정 대체 수단이 아닌 큐레이터와 아티스트가 작품 프리젠테이션을 위해 활용할 수단으로 구상한다고 덧붙였다.
기억 용이성의 강점을 마구 이용한다면, 아티스트나 엔터테인먼트 소비자에게 위협이 될 수도 있다. 하지만 바이린크시는 예술 작품이 머릿속에 확실히 오래 기억에 남도록 하는 요소가 인간에게 조작에 맞설 무기가 될 수도 있다고 확신한다. 이와 관련, “해결책으로 이전보다 더 적은 지식을 생성하는 것이 아니다. 누구나 지식이 반대 목적으로 이용되는 상황을 알 수 있을 정도로 연구를 통해 발견한 지식을 널리 알리는 것을 해결책으로 제시할 수 있다"라고 주장했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Pixabay]](/news/photo/202307/4908_6414_1635.jpg)
뉴스레터 신청