2024-25시즌 잉글랜드 프리미어리그 경기를 볼 때 오프사이드 선언에 분노할 확률이 더 높을 것으로 예상된다. 다만, 이전 시즌과는 달리 누가 보더라도 형편없는 판정으로 온사이드를 오프사이드로 선언하거나 오프사이드를 제대로 선언하지 않는 문제에 분노할 확률은 적을 것으로 보인다. 프리미어리그의 새로운 오프사이드 감지 시스템이 현장에서 선수 위치를 감지하고는 이전보다 더 정확하게 오프사이드를 선언할 수 있기 때문이다. 새로운 오프사이드 감지 기술은 아이폰을 바탕으로 오프사이드를 판정한다.
프리미어리그가 2024-25시즌 후반 배포할 새로운 반자동 오프사이드 기술은 기존 기술의 한계 때문에 장시간 경기 지연, 인간의 실수부터 경기 도중 판정 정확도 우려 문제까지 여러모로 발생한 문제로 지난 몇 년간 기존 VAR 시스템 문제에 분노한 선수와 팬에게 단순이 분노를 잠재울 수단을 제공하는 역할만 하는 것이 아니다.
NBA 경기에서 활용하는 광학 추적, 데이터 기반 작업으로 수년간 이름을 알린 기업인 지니어스 스포츠(Genius Sports)와 그 계열사인 세컨드 스펙트럼(Second Spectrum)의 ‘드래곤(Dragon)’이라는 스마트폰 기반 시스템이 프리미어리그에도 적용될 예정이다.
드래곤은 아이폰 수십 대를 활용하여 카메라 기능으로 여러 각도에서 고프레임률(high-frame-rate) 영상을 촬영하여 판정에 도움을 줄 예정이다. 드래곤의 맞춤 기계 지능 소프트웨어가 아이폰의 효율적인 통신과 협력을 지원하여 아이폰 여러 대로 수집한 모든 시각 데이터를 처리할 예정이다.
게다가 축구 경기에서 드래곤을 활용하면서 아이폰은 여러 스포츠 종목의 새로운 모션 캡처 및 인공지능(AI) 모델 채택 동력을 부여하는 역할을 할 수도 있다. 와이어드는 드래곤 개발 사항과 프리미어리그에 즉시 배포할 시스템 관련 상세 정보를 단독 입수했다.
아이폰 여러 대를 같은 위치에 함께 배치
스포츠 경기에서 활용한 초창기 모션 캡처 시스템은 그리 복잡하지 않았으며, 컴퓨팅 전력 소모량도 적은 편이었다. 특정 경기에서 선수가 이동한 거리를 확인하고 싶은가? 아니면, 선수의 최고 속도 혹은 평균 속도, 특정 기본 행동 수행 방식 등을 확인하고자 하는가? 경기장 어느 곳이든 곳곳에 배치된 아이폰 카메라 1~6대와 일부 특수 소프트웨어를 활용하여 현실적으로 필요한 부분에서 만족할 정도로 선수의 움직임과 관련한 간단한 질문의 정확한 답을 찾을 수 있다.
질문이 복잡할수록 기술적 부담도 커진다. 현재 지니어스 스포츠의 광범위한 계열사에 합류한 세컨드 스펙트럼에 수년간 근무한 경험이 있는 지니어스 스포츠의 스포츠 및 기술 협력 전무 마이크 디오리아(Mike D’Auria)는 “스포츠 경기 도중 각종 기이한 상황이 발생한다. 선수가 무리를 지어 한 곳에 몰려 있기도 하고, 서로 중요한 위치를 차지하려 경합하기도 한다”라고 설명했다.
업계에서 말하는 시야 차단 상황이 발생하는 이유이다. 카메라 수십 대를 동원해도 정확한 각도에서 항상 경기 상황 전체를 확인하기 어렵다. 그동안 머신러닝 시스템이 카메라로 담지 못한 요인의 유력한 상황을 추측할 정도로 충분히 훈련을 받아 부족한 부분을 보완했다. 다수 활용 사례를 보았을 때 머신러닝 시스템을 활용한 상황 추측 결과는 제법 훌륭한 편이었다. 그러나 심판이 경기 상황을 판정할 때 기술에 의존하는 상황과 같이 적절한 추측을 하지 못한 때는 더 우수한 표준을 갖춘 시스템을 실행해야 한다.
1883년, 선수가 상대팀 골대 근처에 자리 잡는 일을 막을 방안으로 오프사이드 규정이 적용되었으며, 꾸준히 오프사이드 관련 판정 예시가 쌓였다. 오프사이드를 정확히 판단하려면, 공을 가지고 움직인 정확한 순간과 공격을 가하는 선수의 위치가 상대팀 수비보다 뒤에 있었는가를 알아야 한다. 2022년 카타르 월드컵과 독일에서 열린 유로 2024에 도입된 이전의 반자동 오프사이드 시스템은 카메라 10~15대를 동원하여 경기장 내 공을 감지하고는 경기를 뛰는 선수마다 신체 수십 부위의 움직임을 추적했다. 그러나 기존 기술 자체도 시야 차단 피해를 겪게 되어 판정이 필요한 순간을 정확히 분석하지 못한다.
지니어스 스포츠는 드래곤이 도입 초기 프리미어리그 모든 경기장에 아이폰 카메라 최소 28대를 배치할 예정이라고 밝혔다. (2024-25시즌 도중 특정 경기장에는 더 많은 카메라를 배치할 수도 있다.) 새로 도입된 시스템은 아이폰14 혹은 그 이후 출시된 모델에 탑재된 카메라를 활용한다. 아이폰은 냉각 팬을 장착한 맞춤형 방수 케이스에 넣고, 전력 공급원과 연결한다. 지니어스 스포츠는 아이폰 4대까지 함께 배치하여 사용하도록 설계했다.
아이폰을 경기장 위에 설치하면, 다른 아이폰과 함께 여러 각도에서 꾸준한 영상 스트림을 촬영한다. 지니어스 스포츠가 설명한 바와 같이 카메라 조작은 특정 시설의 수용 구역 변경을 위해 이동할 수 있다. 그러나 보통 실제 카메라 실행 시 같은 위치에 고정되어 적절한 영상 촬영을 보장하면서 즉시 재측정해야 할 필요성을 피한다. 풍부한 시각 데이터는 드래곤이 항상 선수 한 명당 7,000~1만 회의 신체 움직임 지점을 추적할 능력을 부여한다.
[사진=Pixabay]
디오리아 전무는 “선수의 30~50회 신체 움직임 지점을 포착할 수 있다. 하지만 실제로 신체 윤곽을 추적하는 것은 아니다”라고 설명했다. 근육 중량, 골격 차이, 심지어 매우 중요한 오프사이드 판정에서 중요한 걸음걸이까지 기록하고는 실제 상황을 실제 가상으로 재생성할 정도로 분석한다.
드래곤은 아이폰의 초고프레임률(ultrahigh frame rates) 촬영 기능을 활용하여 정확하게 공을 찬 지점을 판단하는 데 방해할 수도 있는 시야 차단과 같은 까다로운 순간을 완화할 수 있다.
디오리아 전무는 비교적 간단한 예시를 제시했다. 일부 방송사 영상은 축구공을 차는 모습을 보여주지만, 영상 속도를 늦추어 프레임마다 움직임 과정을 볼 수 있도록 한다. 디오리아 전무는 “공을 차는 지점을 놓치는 때가 많을 것이다. 킥 포인트는 영상의 두 프레임 사이에 담겨있을 것이다. 프레임 하나를 보면, 공이 발에 오지 않은 모습을 볼 수 있다. 다음 프레임으로 넘어가면, 공이 이미 발을 떠나 다른 방향으로 이동하는 것을 볼 수 있다”라고 설명했다.
대다수 방송사 영상은 초당 50~60프레임으로 사진이나 영상을 촬영한다. 드래곤은 초당 최대 200프레임을 촬영하여 프레임 간 격차를 최고 75% 줄인다. (초기 프리미어리그 시스템은 지연성, 정확도, 비용 균형을 위해 영상 프레임 상한이 100fps이었다. 시스템은 오프사이드 판정 가능성 등 중요한 상황을 자동으로 감지하여 잠시 특정 카메라의 프레임률을 높인다. 그리고 컴퓨팅 전력을 절약하기 위해 적당히 줄인다.
자동화가 수월하게 실행되는 일은 드래곤의 다른 핵심 기능이다. 바로 업계 내부에서 ‘사물 의미 메쉬’라고 알려진 백엔드에서 실행하는 기계 지능 시스템이다. 지니어스 스포츠가 다년간 광학 농구 데이터를 전환하면서 머신러닝 프로그램은 일반 축구 경기 상황이나 지난 몇 시즌의 상황을 훈련받았다. 단순하게 움직임을 촬영하는 데 그치지 않고, 실시간으로 촬영한 경기장 상황의 맥락을 파악한다. 그리고 간혹 경기장 상황으로 학습하기도 한다.
디오리아 전무는 “새로운 접근 방식이 아니었으나 AI 커뮤니티에서는 의미론적 이해도도 갖춘다. 단순히 카메라로 묘사한 이미지나 영상 재생성이 아닌 실제 경기 판정이 필요할 때는 판정의 이유를 제시한다.
로봇이 경기 판정 권력을 모두 장악할 일은 걱정하지 않아도 된다. 프리미어리그와 지니어스 스포츠 모두 특수 카메라 관련 설명 요청을 거부했다. (인터뷰 답변 거부 사항 중에는 드래곤의 시즌 중 출시를 앞두고 여전히 판단이 필요한 부분도 있다. 하지만 드래곤 시스템 설정에 정통한 일부 소식통은 인간이 모든 오프사이드 최종 결정을 한다는 사실을 확인시켜 주었다. 이 과정에서는 AI 툴의 도움도 받는다.
영리한 스마트폰 채택 위한 기다림
아이폰이 다른 장비보다 저렴하면서 강력한 성능을 갖춘 사실을 고려하면, 아이폰을 반자동 오프사이드 시스템에 적용하는 데 오랜 시간이 걸린 이유를 두고 의문을 제기할 수 있다.
오늘날 아이폰 성능은 20년 전의 세계 최고급 슈퍼컴퓨터와 맞먹는 수준이다. 다른 현대 광학 추적 시스템 채택 시 더 비싼 섬유 광케이블과 서버에 고급 카메라 장비를 수집한 데이터 관리 작업을 처리하는 컴퓨터와 연결해야 한다. 오늘날 1,000달러에 판매되는 스마트폰 한 대로 두 가지 작업 대부분을 처리할 수 있다.
프리미어리그는 예산을 절약해야 할 필요성을 느끼지 못한다. 세계 최고 인기를 누려 가장 부유한 프로 축구 리그이기 때문이다. 그러나 지니어스 스포츠는 주요 축구 리그에서 드래곤에 관심을 보이기 시작했으며, 가격이 계속 인하된다면 추후 높은 우선순위를 차지할 것으로 예상한다. 드래곤의 스케일 확장 및 축소 능력은 예산이나 필요성을 떠나 투입될 준비 수준을 보장한다. 디오리아 전무는 지니어스 스포츠가 경기장 한 곳에 카메라 최소 10대, 최대 100대 투입한 상황을 테스트했다고 전했다.
디오리아 전무는 “드래곤 투입을 위해 시작한 바는 해결하고자 하는 문제에 따라 필요한 카메라 수의 답을 변경하는 것이다”라고 설명했다. 만약, 선수의 오프사이드 여부를 확인하고자 한다면, 제 위치에 배치된 아이폰 10여 대가 동원되어야 한다.
디오리아 전무는 “추후 더 까다로운 문제가 발생하면, 설치 기반이나 경기장에 보유한 기술적 배경에 따라 비교적 수월하게 해결할 수 있을 것이다. 그리고 다른 카메라 10대, 20대 혹은 40대를 투입할 수 있다”라며, “경기장의 특정 영역에 집중하거나 특수한 목적으로 카메라를 배치할 수 있다”라고 말했다.
드래곤의 확장성은 스포츠 세계의 ‘디지털 트윈’이라는 개념 논의가 이루어지도록 했다. 선수가 경기장에서 움직일 때 영상 스트리밍 촬영 후 데이터를 배치하면, 해당 선수의 모습을 가상으로 재생성하여 경기 도중 움직임, 유사성, 손짓 등을 모두 실시간으로 구현한다. 일반적으로 할리우드와 비디오 게임 개발 작업에서 사용하는 고가 카메라와 컴퓨터 시스템과 같은 기술로만 가능한 일이다.
디지털 트윈을 스포츠 분야에서도 생성한다면, 공식 사용 사례 부여를 넘어설 것이다. 방송사에서 실시간 스탯을 보여주는 디지털 중첩 이미지나 가상현실 이미지를 보여주어 시청자가 VR 헤드셋으로 경기 내부 상황을 살펴보도록 할 수 있다.
축구는 디지털 트윈을 적용한 첫 번째 스포츠 종목이 될 수 있다. 어떤 스포츠 종목이든 디지털 트윈 제작으로 가치를 생성할 수 있다. 지니어스 스포츠는 조만간 농구와 미식 축구 분야에 디지털 트윈을 활용할 길을 찾기를 바란다.
축구 디지털 트윈이 매력적인 것처럼 들리지만, 드래곤이 실제로 경기 도중 발생하는 오프사이드 판정 논란의 해결책이 될 수 있을까? 결국, 기존 VAR 시스템 문제가 끊이지 않자 축구계 주요 이해관계자와 팬의 모션 캡처 기술 신뢰도 부재로 이어졌다.
지니어스 스포츠는 잉글랜드 프리미어리그와 다른 스포츠 경기장에서 여러 가지 형태로 다년간 드래곤을 테스트했다고 밝혔다. 지니어스 스포츠는 추적 데이터를 투입하여 포맷으로 추적하는 내부 분석가 여러 명을 채용하고는 중계 영상과 함께 프레임마다 비교하여 촬영 영상의 격차를 비교한다. 이 과정에서 지니어스 스포츠는 이론상 오류가 사라질 때까지 자사 모델을 계속 훈련한다. 지니어스 스포츠 분석가는 드래곤 테스트가 다른 데이터 위에 시스템을 중첩하는 기본 테스트 단계라고 본다.
드래곤의 데이터 입력 사항은 VAR과 감지 시스템을 나란히 두고 비교하여 기본적인 정확도를 판단했다. 게다가 수동 검증 작업도 진행했다. 엔지니어는 코치, 선수, 운영사 등 여러 이해관계자와 장시간 협력하면서 드래곤의 결과가 타당하다는 사실을 확인시켜주었다. 드래곤 채택을 고려한 모든 구단은 드래곤 시스템 검토 및 판정 결과 인증 담당 내부팀을 두었다.
디오리아 전무는 “FIFA를 비롯한 여러 단체와 협력하면서 포괄적인 테스트를 진행했다. 드래곤 시스템은 FIFA의 인증을 받았다. 선수가 모션 캡처 시스템 장비를 착용하는 경기장을 테스트하고는 선수의 움직임을 추적하고 데이터세트를 비교하여 오류를 살펴본다. 5~6가지 변경 사항을 테스트했다”라고 말했다.
지니어스 스포츠와 잉글랜드 프리미어리그 대표 모두 구체적인 테스트 정보나 결과 제공을 거부했다. 그 이유로 아이폰 시스템을 VAR과 나란히 두고 상세히 비교하는 방식으로 평가하더라도 기존 모션 캡처 시스템은 생성되는 데이터양과 질에서 정도의 차이가 있어서 기존 모션 캡처 시스템과 비교하기 까다롭다고 설명했다. 한 가지 흥미로운 사실이 있다. 잉글랜드 프리미어리그와 지니어스 스포츠 모두 기존 VAR 시스템 대비 아이폰을 도입했을 때의 판정 정확도를 시사하는 지표 제공을 거부했다는 사실이다.
물론, 실제 드래곤의 정확도는 드래곤의 판정이 실제로 차이를 가져올지 살펴볼 필요가 있는 팬과 선수가 판단할 것이다. 지난 몇 년간 VAR이 광학 추적과 관련하여 많은 이들의 불만을 유발했다는 사실을 이해할 수 있다.
그러나 최초의 반자동 오프사이드 시스템 도입을 앞둔 시점에 이전과 같은 기술 설정을 다른 모습으로 포장한 것이 아니라는 점을 기억하는 것이 중요하다. 드래곤은 스포츠계 전반의 이해관계자와 AI 커뮤니티에서 면밀히 관찰할 차세대 모션 캡처 기술이다. 팬은 모션 캡처 기반 시스템의 문제를 추가로 지켜보아야 하는 상황을 용납하지 않을 것이다. 지니어스 스포츠와 잉글랜드 프리미어리그는 기존 시스템이 유발한 불만에 맞설 수 있다고 확인한다. 드래곤 도입 효과는 앞으로 지켜보아야 할 것이다. 드래곤이 판정에 도움을 주는 경기가 시작될 때를 기다리자.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Pixabay]](/news/photo/202408/5756_7407_2749.jpg)
뉴스레터 신청