By MARAH EAKIN, WIRED UK

픽사(Pixar)에는 한 가지 문제가 있었다. ‘굿 다이노(The Good Dinosaur)’의 피터 손(Peter Sohn) 감독의 신작 ‘엘리멘탈(Elemental)’을 제작할 훌륭할 아이디어가 있었으나 실제로 영화 속 4가지 원소 캐릭터 제작 시 문제가 있다는 사실이 확인된 탓이다. 결국, 캐릭터 흙의 사소한 부분까지 나누어 그리는 방법을 한 가지 해결책으로 채택할 수 있었다. 하지만 화면으로 여린 불의 특성을 실시간으로 포착할 방법과 신체가 물로 구성된 물 캐릭터를 그려낼 방법을 찾지 못했다. 물의 신체가 속까지 투명하게 보이도록 그려야 할까? 물 캐릭터의 두 눈이 둥둥 떠다니는 모습으로 그려야 할까?

픽사가 엘리멘탈 캐릭터를 그리는 과정에서 접한 몇 가지 의문점은 오랫동안 중단된 불신으로 답변할 수 있다. 그러나 픽사 애니메이션팀은 영화 핵심 캐릭터인 앰버(Ember)를 그리는 문제가 실제 난제라고 생각했다. 엠버가 불로 제작된 캐릭터이기 때문이다. 픽사 애니메이션팀은 지난 몇 년간 애니메이션 작업 시 불꽃 효과 제작 용도로 사용했던 툴을 여러 개 보유했다. 하지만 불꽃 효과 제작용 특수 툴을 사용해 엠버 캐릭터를 그렸을 때 얻은 결과물은 매우 끔찍했다. 스튜디오 지브리의 캐릭터 캘시퍼(Calcifer)와 니콜라스 케이지가 출연한 영화 고스트 라이더(Ghost Rider) 캐릭터가 물리적으로 어느 정도 교차한 듯한 이상한 모습이었다.

특수 시각효과(VFX) 감독 산제이 바크시(Sanjay Bakshi)는 “엘리멘탈 속 불의 움직임을 시뮬레이션하는 과정은 자연스러운 모습으로 완성됐으며, 현실을 모방하도록 구성됐다”라고 말했다. 바크시 감독은 엠버와 같은 캐릭터를 제작할 때는 얼굴 연기에 집중하는 것이 중요하다고 덧붙여 전했다. 하지만 불의 역동성의 균형을 캐릭터의 형태와 민감성과 맞추어야 하는 데 어려움이 있었다. 픽사 대중 기술 감독 폴 카누크(Paul Kanyuk)는 처음 등장한 엠버의 모습은 귀신처럼 보이거나 심지어 악마처럼 보일 때도 있었다고 밝혔다. 카누크 감독은 “실제 불로 제작한 인간의 모습처럼 보이는 등 너무 사실적인 모습으로 캐릭터를 제작한다면, 끔찍해 보일 수도 있다”라고 설명했다.
 
손 감독은 캐릭터가 무서운 모습으로 보이는 정도를 완화하더라도 불의 특성을 확실히 인식할 수 있는 요소를 제작해야 한다고 전했다. 손 감독은 “불은 본질적으로 쉴 새 없이 움직인다. 따라서 움직임을 줄인다면, 플라즈마처럼 보일 수도 있다. 엘리멘탈 속 의인화된 다른 캐릭터를 엠버의 모습과 비교하는 것이 흥미로웠다. 모두 매우 환상적인 모습이며, 각각의 캐릭터로 무엇이든 할 수 있기 때문이다. 감정을 그림으로 나타낼 때는 각각의 감정을 하나씩 별도로 다룰 수 없다. 그러나 누구나 불의 모습을 알 것이다”라고 말했다.

손 감독은 기본적으로 엠버를 그릴 때 엘리멘탈 속 모든 장면마다 특정 효과가 통과하도록 할 필요가 있었다고 전했다. 오랜 시간이 걸리면서 비용 부담도 큰 작업이었다.

다행히도 카누크 감독이 좋은 의견을 제시했다. 카누크 감독은 2005년, 라따뚜이 제작 당시부터 픽사 군중 애니메이션팀에서 근무했으며, 항상 대규모 집단 속 인물의 의상이 제대로 된 모습으로 보이도록 그려내느라 애먹고는 했다. 카누크 감독은 애니메이션 제작 작업 중 문제를 해결하려 할 때, 컴퓨터 그래픽 발전에 헌신한 단체인 미국 컴퓨터 학회(Association for Computing Machinery)의 시그래프(Siggraph)에 참여했다. 2016년경에는 미국 컴퓨터 학회가 머신러닝을 이용해 천의 움직임 시뮬레이션 과정을 학습하고는 완벽히 터득하려는 연구를 발견했다.

카누크 감독은 이전에 배웠던 머신러닝을 이용한 시뮬레이션을 엘리멘탈 제작 시 활용했다.

2019년경 카누크 감독은 시그래프 아시아(Siggraph Asia)가 사진을 반 고흐나 피카소의 화풍으로 그린 작품처럼 보이도록 만드는 일종의 AI 기술인 뉴럴 스타일 전이(neural style transfer)를 이용하는 것을 다룬 논문을 접했다. 해당 논문은 기본적으로 애니메이션 속의 볼륨감을 더한 3D 픽셀에 해당하는 복셀(voxel) 이동을 위해 뉴럴 스타일 전이 사용하는 사례를 언급했다. 뉴럴 스타일 전이를 이용한 목적은 애니메이션 캐릭터의 특정한 모습을 그려내는 것이었다. 카누크 감독은 뉴럴 스타일 전이가 픽사의 불꽃 움직임 제작 문제를 해결하는 데 도움이 될 것이라고 생각했다. 그러나 카누크 감독은 영화 제작 계약을 체결한 손 감독에게 머신러닝과 마찬가지로 뉴럴 스타일 전이 사용 시 성공할 확률은 50%라고 말했다. 카누크 감독은 “당시 손 감독에게 다섯 가지 아이디어가 있지만, 그중 두 가지 아이디어가 불꽃 움직임 제작 문제를 해결할 효과가 있을 법하다고 말했다. 그런데 손 감독은 모두 시도해 보자고 답변했다"라고 밝혔다.

카누크 감독은 과거 픽사가 ‘뉴럴 스타일 전이 사용 토이 스토리 4’ 제작 시 협업한 적이 있는 디즈니 리서치 스튜디오(Disney Research Studios)의 도움을 받았다. 취리히에 설립된 디즈니 리서치 스튜디오는 AI와 머신러닝을 이용해 배우의 모습을 젊은 모습으로 변환하는 방법, 인간의 피부를 가장 좋은 상태로 재구성하는 방법 등을 전문적으로 연구했다. 카누크 감독은 “픽사 엘리멘탈팀 구성원 중 머신러닝이 보편적인 기술이 된 최근까지도 머신러닝을 사용한 경험이 없었다. 따라서 머신러닝 활용 방법을 배워야 했다. 그러나 디즈니 리서치 스튜디오는 머신러닝을 활용한 애니메이션 제작 작업에 열정적이다”라고 말했다.

카누크 감독은 디즈니 리서치 스튜디오팀과 주기적으로 회의를 시작하고, 엘리멘탈 제작 과정의 문제를 해결하면서 조나단 호프만(Jonathan Hoffman)이라는 픽사 아티스트를 채용해, 동그란 형태를 유지한 채로 빠르게 움직이면서도 역학적인 모습과 만화처럼 보이는 불꽃을 그렸다. 픽사 내부에서는 디즈니 리서치 스튜디오의 도움을 받아 완성한 불꽃을 ‘불꽃 장식’과 같다고 칭했다. 뉴럴 스타일 전이는 호프만이 그린 캐릭터를 초기 시뮬레이션 속 방울 형태에 더 가까운 불의 모습과 결합한 뒤 놀랍게도 픽사의 통제 방식과 스타일을 약간 유지한 열정적인 불 캐릭터를 완성했다.

엘리멘탈 캐릭터 공동 감독 제레미 탤봇(Jeremie Talbot)은 “스타일 전이를 적용해 자연스러운 불의 모습을 제작하면, 실제로 스타일을 지시하고는 스타일 전이 사용 전에는 불가능했던 방식으로 아티스트의 손에서 원하는 방식으로 캐릭터를 그리도록 할 수 있다. 실제로 캐릭터 모습의 크기와 형태를 보았으니 특정 스타일로 형태를 보완할 수 있는 것은 획기적인 발전이었다. 엠버의 모습을 매우 독보적인 방식으로 조화를 이루어 제작할 수 있었다”라고 말했다.
 
물론, 머신러닝 사용 시 컴퓨터 전력 소모량이 크다는 점을 유일한 단점으로 지적할 수 있다. 어찌 되었든 다량의 그래픽 프로세서가 필요하다는 점을 고려하면, 엘리멘탈의 장면 1,600개 모두 풀 패스로 처리하는 것이 엄청난 작업임을 알 수 있다. 바크시 감독은 “초기에는 자원이 없어서 손 감독에게 엠버를 클로즈업한 모습만 그릴 수 있을 것이라고 말했다”라고 밝혔다. 이어, 카누크 감독은 애니메이션 제작팀이 엠버를 그릴 때 머신러닝을 활용한다면, 다른 불 캐릭터에도 같은 기법을 사용해야 엠버만 불덩어리처럼 유독 튀는 일이 없을 것이라고 깨달았다고 전했다.

카누크 감독은 “작업을 진행할수록 요구사항이 많아졌다. 결국, 엘리멘탈 제작을 시작했을 때보다 픽사의 모든 직원이 사용하는 컴퓨터에 적용된 GPU를 이용하여 작업 속도를 20배 더 높였다. GPU를 가상화하여 하룻밤 사이에 절반을 사용하는 방법을 찾아내어 프레임 렌더링에 걸리는 시간을 5분에서 1초로 단축했다”라고 덧붙였다.

효과가 있었다. 카누크 감독을 비롯한 엘리멘탈 제작팀 구성원 모두 필요한 장면을 제작할 수 있었다. 픽사는 지금도 뉴럴 스타일 전이로 할 수 있는 작업을 처음부터 탐색 중이다. 그러나 카누크 감독은 “엘리멘탈 제작 시 뉴럴 스타일 전이를 활용해 제작하고자 하는 이미지를 강조할 수 있어 기뻤다”라고 말했다.

손 감독에게는 원하는 모습의 영화를 제작할 기회이자 관객이 이전에는 본 적이 없는 새로운 스타일의 애니메이션을 제작할 기회가 되었다. 손 감독은 엘리멘탈로 픽사가 좋아하는 요소 중 하나인 예술과 기술의 만남을 상징화했다고 전했다. 기술은 애니메이션 제작 과정의 중대한 부분이지만, 한 가지 요소일 뿐이다.

마지막으로 손 감독은 “좌뇌와 우뇌를 함께 사용하고, 기술을 여러 감정 표현을 도울 수단으로 활용했다. 결과적으로 기술을 연결했으며, 기술을 이용한 감정 표현이 딱딱하지만 새로운 방법처럼 느껴졌다”라고 말했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Pixar Used AI to Stoke Elemental's Flame