본문 바로가기 주메뉴 바로가기 검색 바로가기
삼성 달 사진 합성 논란, AI의 과도함 질문 제기
상태바
삼성 달 사진 합성 논란, AI의 과도함 질문 제기
누구나 HDR로 보정된 사진을 좋아한다. 그러나 삼성 갤럭시 S23 울트라의 사진 합성 논란은 컴퓨터 사진이 위험한 길로 이끌 수 있다는 사실을 보여준다.
By ANDREW WILLIAMS, WIRED UK

달 음모론을 들어본 적이 있는가? 달 착륙과 관련된 논란이 아니다. 바로 삼성 갤럭시 S23 울트라가 달 사진을 조작하여 실제 촬영할 수 있는 것보다 훨씬 더 상세한 이미지를 생성한다는 가짜 사진 논란이다.

달 음모론의 주장은 사실일까? 단순히 ‘맞다’ 혹은 ‘아니다’라고 답하기에는 다소 복잡한 문제일 것이다. 달 음모론을 더 자세히 파헤쳐볼수록 깨닫게 되는 바는 사진이 진짜인가를 떠나 스마트폰으로 촬영할 수 있는 사진이 무엇인지 물어보는 것과 같다는 점이다.

달 사진 논란 제기
갤럭시 S23 울트라의 달 사진 논란은 ibreakphotos라는 레딧 사용자의 달 사진 경험을 공유한 게시글에서부터 시작한다. ibreakphotos은 갤럭시 S23 울트라의 100배 줌 기능을 이용하여 달 사진을 촬영할 때 삼성이 카메라로 포착한 이미지에 달의 질감을 효과적으로 더한다고 주장한다.

삼성이 부인하는 부분이다. 와이어드가 달 사진 논란과 관련하여 삼성에 문의했을 때 다음과 같은 답변을 받았다. 삼성 관계자는 “삼성은 어떤 조건에서든 최고급 사진 촬영 경험을 선사하고자 한다. 사용자가 갤럭시 S23 울트라로 달 사진을 촬영할 때, 인공지능(AI) 기반 장면 최적화 기술(scene optimization technology)이 달을 주요 피사체로 인식하고 다양한 프레임 구성에 따라 다양한 사진을 촬영하고, AI가 이미지의 질과 색상 상세 표현을 향상한다. 사진에 어떠한 이미지도 중첩하지 않는다. 사용자는 AI 기반 장면 최적화 기술을 비활성화할 수 있다. 장면 최적화 기술을 비활성화하면, 어떤 사진이든 촬영할 때마다 자동 상세 표현 강화를 적용하지 않는다”라고 말했다.

다양한 노출로 단 하나의 이미지를 생성하는 것이 컴퓨터 사진 촬영의 핵심이다. 그러나 ibreakphotos가 증명한 바와 같이 일반 컴퓨터 사진에 적용되는 것 이상으로 더 많은 부분이 발생한다. 삼성의 가짜 달 사진 논란은 일부 사용자의 테스트가 꽤 영리하다는 사실을 보여준다. 달 사진이 흐리게 보이며, 먼 곳에서 촬영할 때 카메라로 담아낼 수 있는 상세 표현의 최대 기준치를 적용한다. 이때는 카메라 광학 기능의 품질은 상관없다.

하지만 갤럭시 S23 울트라로 촬영한 달 사진은 여전히 출처로 제공한 사진이 포착한 것보다 훨씬 더 놀라운 수준의 상세 표현을 보여준다. 샘플 사진의 효과는 매우 놀랍다. 

그리 놀라울 것이 없지만, 테스트 결과는 다른 곳에서도 똑같았다. 달 사진 문제 전체가 시작되었기 때문이다. 유명 테크 유튜버 마르퀴스 브라운리(Marques Brownlee)는 갤럭시 S23으로 달 사진을 촬영하는 실험 영상을 보여주면서 직접 촬영한 달 사진이 ibreakphotos가 레딧에 게재한 사진처럼 극적이지 않다는 사실을 알게 되었다. 스마트폰 사진 콘텐츠 크리에이터인 셰인 모스틴(Shayne Mostyn)은 마르퀴스 브라운리와 ibreakphotos가 제시한 결론 사이에서 비슷한 결과물을 확인했다.
 
[사진=Unsplash]
[사진=Unsplash]

같은 경로를 따라 이동하는 달?
갤럭시 S23 울트라가 달 사진을 제시하는 데 무언가가 적용된다. 그러나 일부 누리꾼이 믿을 법한 인터넷 일부 공간의 실수를 파헤치는 내용은 아니다.

삼성은 2020년, 갤럭시 S20 울트라를 출시하면서 달 모드 처리 기술을 도입했다. 삼성의 10배 줌 카메라와 100배 하이브리드 ‘스페이즈 줌’을 적용했기 때문이다. 갤럭시 S20 울트라의 뒤를 이어 출시된 갤럭시 S21 울트라는 한 단계 더 개선된 줌 기능을 적용하면서 사진을 조작한다는 비난을 받았다. 결국, 테크 뉴스 웹사이트 인풋(Input)은 갤럭시 S21 울트라의 사진 조작 논란을 자체적으로 조사했으며, 결론 대부분은 현재 달 사진 논란과 비슷하다. 갤럭시 S21 울트라는 달 사진 촬영 시 표준 이미지 치리 기술보다 조금 더 많은 기능을 적용했다.

2022년, 삼성은 스마트폰 카메라 작동 방식을 상술한 장문의 설명문을 게재했다. 해당 설명문은 캠사이클로페디아(CamCyclopaedia)가 삼성 국문 웹사이트에서 발견한 내용의 일부분이다.

삼성 관계자는 “갤럭시 스마트폰 카메라 센서의 높은 수준의 확대 실사 촬영 결과는 노이즈가 심하다. 이 때문에 여러 부분의 사진 촬영 결과를 합성한 뒤에도 최적의 사진 촬영 품질 경험을 선사하기 충분하지 않다. 이러한 문제를 극복하고자 갤럭시 카메라는 최종 단계에 딥러닝 기반 AI 상세 표현 강화 엔진을 적용했다. 이를 활용하여 노이즈를 제거하면서 달의 상세 표현을 최대화하여 밝고 선명한 달 사진을 효과적으로 완성한다”라고 설명했다.

갤럭시 카메라의 달 사진 촬영 과정에 적용된 기술을 머신러닝이나 AI로 칭하는 것은 단순히 마법을 거는 것보다 유용하다고 보기 어렵다. 하지만 삼성이 조금 극단적인 과정을 적용했다고 볼 수 있다.

삼성은 “AI 모델은 학습 과정에 사용하지 않은 다른 달 사진을 주입하더라도 달의 영역을 감지하도록 훈련 과정을 거쳤다”라고 밝혔다. 삼성의 머신러닝이 단순히 AI 시스템 훈련에 사용된 이미지뿐만 아니라 사용자가 새로이 촬영하는 달 사진도 인식할 수 있다는 의미이다.

진실은 무엇일까?
삼성의 최근 공식 발표 내용을 함께 종합하여 보면, 갤럭시 S23 울트라의 달 촬영 모드는 사진에 이미지 중첩을 전혀 적용하지 않는다. 갤럭시 S23 울트라의 이미지 처리 엔진이 달의 분화구 형태와 바다 영역을 형성하는 부분을 알고 있다는 뜻이다. 이는 달 촬영 모드가 스마트폰에 달의 JPEG 이미지를 기본적으로 복사하여 붙여 넣지 않더라도 사진 상세 표현 인식을 늘릴 수 있는 기본적인 능력이기도 하다.

이 부분에서 다음과 같은 질문을 제기할 수 있다. 갤럭시 S23이 달의 영역 인식 이외에 어떤 속임수를 적용할 수 있을까? 흥미롭게도 달은 이미지 처리 엔진을 활용하기 적합한 거의 유일한 후보군에 해당한다.

동주기 자전 때문에 지구에서는 대부분 달의 같은 표면만 보게 된다. 달이 1개월 내내 매일 변화한다고 생각할 수 있지만, 주로 지구에서 보이는 달의 모습 변화와 같은 형태로 달의 표면을 가리는 것이다.

그리고 에펠탑과 달리 조명에 따라 모습이 크게 달라지지 않는다. 보통 달 사진은 밤에만 촬영한다. 달의 일부분이 구름에 가려지면, 삼성의 이미지 처리 기술 구현 능력이 저하된다.

삼성의 처리 기술로 달의 모습을 변경할 가장 확실한 방법은 색상 대비를 중간 수준으로 조작하여 달의 지형이 두드러지도록 하는 것이다. 하지만 원본 사진에 없는 질감과 상세 표현을 구현할 기능도 있다.

삼성이 이미지 처리 기술을 적용한 이유는 갤럭시 S21 울트라와 갤럭시 S22 울트라, 갤럭시 S23 울트라의 100배 줌 사진의 결과물이 형편없기 때문이다. 당연히 100배 줌을 확대하여 촬영한 사진이 선명할 리가 없다. 보통 사진을 대거 작은 10MP 센서로 자른다. 잠망경의 스마트폰을 이용한 줌 확대 기능은 훌륭하지만, 마법과 같은 이미지를 선사하지는 못한다.

신뢰할 만한 가설
화웨이는 스마트폰으로 촬영한 달 사진 조작으로 비난받은 대표적인 기업이다. 화웨이가 2019년 제시한 화웨이 P30 프로(Huawei P30 Pro)의 달 사진은 조작이 없었다면, 훌륭하다는 평가를 받았을 것이다. 해당 제품은 화웨이가 미국 시장에서 블랙리스트에 포함되면서 서양 시장에서 화웨이 스마트폰의 매력이 효과적으로 사라지기 전 마지막으로 출시한 플래그십 스마트폰이다. 

테크 전문 뉴스 웹사이트 안드로이드 어도리티는 화웨이 P30 프로가 사진 저장소에 등록된 달 사진을 스마트폰에 복사했다고 주장했다. 이에 화웨이는 “달 촬영 모드는 다른 마스터 AI 모드와 똑같은 원칙을 따라 이미지의 상세 표현을 인식하고 최적화해 사용자 개인이 더 우수한 사진을 촬영하도록 돕도록 작동한다. 이미지 교체는 전혀 이루어지지 않는다. 일각의 주장대로 이미지를 교체한다면, 비현실적인 수준의 저장 용량이 필요하다. AI 모드로 1,300가지가 넘는 시나리오를 인식하기 때문이다. 머신러닝 원칙을 바탕으로 보면, 카메라는 시나리오를 인식하고 초점과 노출된 피사체를 최적화하도록 도와 형태와 색상, 하이라이트 혹은 로우라이트 등과 같은 상세 표현을 향상한다”라고 반박했다.

어딘가 익숙한 설명이다.

이와 비슷한 기법을 수많은 스마트폰 제조사가 적용하는 사례를 볼 수는 없을 것이다. 하지만 특별한 이유는 없다. 스마트폰에 최소 5배 이상 확대 기능을 지원하는 장거리 줌이 없다면, 달 촬영 모드는 거의 무용지물이다.

아이폰으로 달 사진을 촬영하기 어렵다. 아이폰14 프로맥스는 갤럭시 S23 울트라와 같은 수준의 선명한 달 사진을 촬영할 줌 확대 기능을 지원하지 않으며, 자동 노출 장치가 달을 희미한 흰색 원처럼 표현한다. 사진작가의 관점에서 볼 때, 갤럭시 S23 울트라의 노출 제어 기능만으로도 훌륭하다. 그런데 갤럭시 S23 울트라의 달 사진을 어떻게 조작할 수 있을까?

가장 너그럽게 해석하자면, 삼성이 실제 카메라 이미지 데이터를 활용하고 머신러닝 지식을 적용하여 이미지 처리 과정에 약간의 보정을 더했다고 말할 수 있다. 흐린 이미지 출처로 상세 표현 수준을 향상하고자 할 때 맑음의 바다(Sea of Serenity)와 고요의 바다(Sea of Tranquility) 영역의 윤곽을 추적하는 데 도움이 될 수 있다.

하지만 윤곽은 최종 이미지에서 케플러(Kepler)와 아리스타쿠스(Aristarchus), 코페르니쿠스(Copernicus) 분화구의 위치를 생성하는 방식으로 확장돼, 이미지 출처에서 작은 특징을 인식할 수 없을 때 기이할 정도로 정확하게 생성된다. 흐릿한 사진 출처를 통해 달의 특징을 유추할 수는 있으나 이는 달 사진 촬영보다 한 차원 더 높은 수준의 문제이다.

여전히 갤럭시 S23 울트라의 달 사진 표현 향상 방법을 과대평가하기 쉽다. 달 사진은 언뜻 보았을 때 괜찮은 것처럼 보인다. 하지만 여전히 형편없는 부분이 있다. 최근 테크 유튜버 버서스(Versus)가 공개한 갤럭시 S23 울트라와 니콘 P1000의 달 사진 비교 영상은 DSLR 하위 수준의 소비자용 슈퍼 줌 카메라 품질이 양호할 때 선사할 수 있는 기능을 보여준다.

신뢰성 문제
달 사진 조작 논란을 둘러싼 분노를 이해할 수 있다. 삼성은 달 이미지를 이용해 100배 줌 카메라 모드를 과장 광고했으며, 100배 줌 사진은 어느 정도 합성되었다. 그러나 지난 10년간 스마트폰 사진 촬영의 혁신을 이끌어온 오버톤 AI(Overton AI) 문제가 이제 막 한 발짝 내디딘 것이다.

AI라고 칭하느냐를 떠나 각각의 기술적 속임수는 스마트폰 카메라의 기본 원본 사진으로는 구현할 수 없는 이미지를 제공하도록 설계되었다. 그중 가장 먼저 적용된 기술적 속임수이자 이견을 제시할 수 있으나 중요한 기능은 바로 HDR이다. 애플은 아이폰4가 출시된 2010년 배포된 iOS 4.1의 카메라 앱에 HDR을 적용했다.

초기에는 가끔 사용하는 기능이었다. 상당수 초기 안드로이드 스마트폰의 HDR 처리 기술은 조작된 평면과 같은 모습에다가 부자연스러울 정도로 색상이 과도한 이미지를 제공한다. 바람에 흔들리는 나뭇가지를 최종 HDR 이미지를 구성하는 노출의 다른 지점에서 촬영하는 것과 같은 이른바 고스팅(ghosting) 효과를 경험할 수도 있다.

그러나 오늘날 스마트폰 대부분 다중 노출 HDR 처리 기술을 사용해 스마트폰 사진을 촬영한다. 눈에 보이지 않는 기능이다. 스마트폰 이미지 신호 프로세서가 각각의 부분 노출에서 엄선된 정보를 선택하는 방식으로 고스팅 효과를 피할 정도로 발전한다면, AI 처리 기술이 적용되었다고 주장할 수도 있다.

HDR 이미지는 삼성의 달 사진과 같이 사진을 조작하지 않지만, 합성한다. 초기 스마트폰 카메라 리뷰를 보면, 과도하게 노출된 하늘 사진 관련 주장이 일관성이 없다는 사실을 확인할 수 있다.

초상화 모드의 배경을 흐릿하게 처리하는 보케(Bokeh)는 사진을 더 조작한다. 보케 효과는 2014년 출시된 HTC 원 M8(HTC One M8)에서 시작되었다. HTC 원 M8은 4MP 카메라 두 개를 후면에 장착했다. 시차 효과를 이용해 먼 곳에 있는 피사체가 가까이 있는 것처럼 정보를 전달하고 깊이 지도를 생성하고는 사진 속 배경을 흐리게 처리한다. 이를 정확하게 알 것이다.

작은 플라스틱 요소보다 훨씬 더 넓은 조리개 렌즈 효과를 촉진하여 보케 효과가 적용된 이미지도 가짜이다. 그러나 피사체 자체가 아닌 피사체가 놓인 상황을 망친다는 점에서 적어도 가장자리 감지 기능이 좋지 않았던 초창기에는 소비자의 분노가 적었다.

하드웨어 vs 소프트웨어
AI가 스마트폰이 ‘저조도 사진’이라는 자체적으로 다룰 수 없었던 또 다른 스마트폰 장면의 문제를 해결하는 데 조금 더 오랜 시간이 걸렸다. 노키아 루미아 920(Nokia Lumia 920)이 최초로 스마트폰의 손 떨림 보정 기술을 적용했다. 해당 기능은 약간의 모터를 사용해 손 떨림 기능을 보정하고는 삼각대 없이 더 오래 노출 효과를 적용한다. 그러나 최근 들어 몇 년 전 공유된 스마트폰 리뷰 샘플을 다시 찾아보아야 할 이유가 생겼다. 단순히 오늘날의 기준으로 2018년 출시된 화웨이 P20 프로(Huawei P20 Pro) 이전 제품의 AI 기반 스마트폰 카메라 기술을 평가하는 것은 좋은 일이 아니다.

화웨이는 자사의 AI 기반 스마트폰 카메라 기술을 ‘마스터 AI(Master AI)’이라고 칭했다. 화웨이 P20 프로로 야간 사진을 촬영하는 것은 수동 조작이라는 차이점만 제외했을 때 오래 노출 효과가 적용된 환경에서 사진을 촬영하는 것처럼 느껴졌다. 카메라가 노출 수준에 따라 효과적으로 이미지를 조각처럼 자른 형태로 구성하기 때문이다. 알고리즘에 배치한 각각의 기본 이미지는 전체 노이즈 수준을 줄일 용도로 활용한다.

단순히 오늘날 야간 사진을 촬영할 때만 사용하는 기술이 아니다. 해당 기술은 2018년보다 2023년, 더 빠른 속도로 적용된다. AI와 머신러닝은 스마트폰 사진의 주요 동력을 장악했으나 결과적으로 10년 전 펼쳐진 하드웨어와 소프트웨어의 대립으로 이어졌다. 카메라 기능 개선 경쟁에서 하드웨어가 패배했다.

루미아 920 이외에 하드웨어 측면의 카메라 성능 개선 사례로 삼성 갤럭시 카메라와 2012년 적용된 21배 광학 줌, 2012년 출시된 노키아 808 퓨어뷰(Nokia 808 Pureview)의 고해상도 대형 센서 및 2013년, 그 뒤를 이어 출시된 노키아 루미아 1020(Nokia Lumia 1020)를 언급할 수 있다. 1인치 센서를 장착한 파나소닉 루믹스 DMC-CM1도 언급할 수 있다. 해당 제품은 대다수 소비자가 1인치 센서 존재 사실을 알지도 못한다. 

결과적으로 두껍고 비정상적인 형태의 스마트폰을 출시하여 성공할 수 없다는 사실이 확인됐다. 따라서 최근 몇 년간 현재와 같은 제품 형태에 부합하면서 카메라 기능을 개선할 수 있을 때만 하드웨어의 도약이 이루어졌다. 그 대표적인 사례 중 하나로 화웨이 P30 프로를 언급할 수 있다. 화웨이 P30 프로는 주요 스마트폰 중 최초로 접이식 광학 기능을 적용한 5배 잠망경 줌을 탑재했다. 바로 최신 소프트웨어의 발전 원인이 된 요소이기도 하다.

이미지 AI 기술이 멋진 것처럼 만들기
구글은 간단한 하드웨어 구성으로도 특별한 제품을 제작할 수 있다는 사실을 입증했다. 구글의 천체 사진 모드는 갤럭시 S23 울트라 달 사진 촬영 모드를 축소한 대체 모드로 볼 수 있다.

구글의 천체 모드를 사진 조작으로 비난한 이는 없다. 그러나 천체 모드가 보여주는 사진은 두 눈으로는 보기 어려운 모습이다. 2019년, 구글 AI 블로그에 게재된 글과 같이 16초 연속 노출을 사용하여 밤하늘의 별 사진과 우리은하의 우주진운 모습까지 담아낸다. 여기서 AI의 주요 역할이 판독이 불안정한 카메라 센서 픽셀인 핫 픽셀(hot pixel)을 찾아내고는 약간은 별과 같은 모습을 담아내고, 주변 픽셀의 평균 이미지를 이용하여 불안정한 픽셀 이미지를 제거하는 것임을 알 수 있다.

구글은 지난 몇 년간 AI 카메라 소프트웨어 접근방식의 대표적인 사례가 되었다. 야간 시야 모드 사진은 일부 사진보다 흐린 편이다. 픽셀 스마트폰의 색상 재생성 기능은 전체적으로 제법 자연스러운 색상을 구현한다.

그러나 생성 기능을 사용하며, 삼성, 화웨이와 같이 오해의 소지가 있는 기법을 선보일 수도 있다. 픽셀 6의 매직 이레이저(Magic Eraser) 기능은 머신러닝을 이용하여 사진 속 인물을 제거하고 빈 공간을 채운다. 페이스 언블러(Face Unblur)는 메인 카메라와 초광각 카메라로 촬영한 여러 이미지를 결합해 나머지 이미지가 흐릿하더라도 인물의 얼굴은 선명한 모습으로 구현한다.

이 모든 이미지는 갤럭시 S23 울트라의 달 사진처럼 촬영하는 즉시 나타나지 않는다. 하지만 삼성과 화웨이는 일반적으로 받아들일 수 있는 기준을 넘어섰으며, 자사 제품의 특징을 속이거나 오해할 만한 부분을 선보였다는 평가를 받는다. 속임수 논란이나 오해 문제가 일어날 시점과도 관련되었다. 삼성이 갤러리 앱에 달 강화 버튼을 추가했다면, 이를 비난하는 이는 없을 것이다. 그러나 마찬가지로 약간 어색한 이미지를 구현할 수도 있다.

AI가 사용자가 원한다고 판단한 것을 불편한 방식으로 제공하는 것에 대한 불안감에 익숙해져야 한다. 챗봇이 정확성을 확신할 수 없는 정보를 제공하든 날이 갈수록 SNS에 AI로 생성한 이미지가 넘쳐나든 AI 초기 적용 시 발생하는 어려움은 이제 시작되었을 뿐이다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Samsung’s Moon Shots Force Us to Ask How Much AI Is Too Much
이 기사를 공유합니다
RECOMMENDED