최근 공개된 디즈니플러스 시리즈 ‘북극성’ 4화. 복잡한 서울 도심 도로에서 대형 폭발 장면이 연출됐다. 서울 강남에 빼곡히 들어선 높은 고층 건물이 배경으로 깔린 장면이었지만 실제로는 대전의 한적한 공간에서 촬영됐다. 서울 도로에서 촬영한 3차원(3D) 이미지를 학습시켜 실제로 촬영하지 않은 새로운 시점의 도시 장면을 생성한 것이다. 3D 데이터와 공간지능 기술을 결합해 만들어낸 네이버랩스의 신기술이 적용됐다.
◇북극성에 네이버랩스 기술 넣었다
네이버가 네이버랩스의 디지털 트윈 기술을 기존 도시계획이나 건축 영역을 넘어 콘텐츠 영역으로 확대 적용하고 있다. 네이버에 따르면 북극성의 폭발 장면엔 네이버랩스 3D 비전 기술인 ‘노블뷰 신세시스(Novel View Synthesis·NVS)’가 적용됐다. 네이버랩스의 이 기술이 외부에 공개적으로 적용된 건 북극성이 처음이다. NVS는 이미지 데이터 학습만으로 다양한 각도의 영상을 생성할 수 있는 비전 기술이다.네이버랩스는 파운데이션 모델에 네이버 지도의 역삼동 언주로 거리뷰 이미지 데이터를 넣어 3차원 공간을 학습시켰다. 가상 공간에 해당 공간을 구현해 원하는 시점과 각도에서 드라마에 삽입할 장면을 만들었다. 네이버랩스 관계자는 “이 기술은 실제로 촬영이 불가능한 각도의 시점 영상도 추출할 수 있다”며 “특정 공간의 이미지 데이터만 있으면 그동안 추출하지 못한 새로운 뷰의 영상을 제작할 수 있는 것”이라고 말했다.
북극성에 적용된 NVS 기술은 정교한 거리뷰 데이터가 기반이 됐다. 고정밀도의 3D 거리뷰 데이터가 뒷받침되지 않으면 NVS로 복원한 모델의 완성도가 떨어질 수밖에 없다. 보통은 현장을 직접 카메라나 드론으로 촬영하지만 네이버랩스는 3차원 공간 정보 수집에 최적화된 거리뷰 차량 기반의 파노라마 매핑 장비 ‘P1’을 자체 개발했다. P1으로 구축한 고정밀 데이터를 활용하면 현장에 직접 출동하지 않아도 3차원 공간 복원이 가능하다.
P1은 네이버랩스가 축적해온 자율주행 및 HD 매핑 기술이 집약됐다. 기존 거리뷰 매핑 장비가 주로 2차원(2D) 평면 데이터를 기록했다면, P1은 라이다(LiDAR) 센서와 위치정보시스템(GPS) 정밀도를 높이는 듀얼 안테나를 장착해 2D는 물론 주변 환경의 3D 정보까지 동시에 획득할 수 있다. 여기에 카메라·LiDAR·GPS 등 다양한 센서에서 들어오는 데이터를 정밀하게 동기화하는 과정에서 네이버랩스의 자율주행차 설계 경험과 매핑 노하우가 더해졌다.
네이버랩스는 거리뷰 데이터를 기반으로 3차원 공간을 복원하고 건물과 도로 위에 장소, 출입구, 주차장 등의 정보를 정밀하게 증강하는 기술도 직접 개발했다. 기존 거리뷰는 단순히 2D 이미지를 이어서 보여주는 방식으로 탐색이 끊기고, 공간 정보를 수작업으로 입력·갱신해야 하는 어려움이 있었다. 하지만 네이버랩스 공간지능 기술을 통해 사용자는 매끄러운 3차원 공간 이동을 가능하게 하고, 필요한 정보를 직관적으로 탐색할 수 있게 됐다. 네이버랩스 관계자는 “매핑 장비 제작부터 데이터 수집, 3D 공간 복원 등 공간지능 기술까지 전 과정에 필요한 모든 요소 기술을 내재화했다는 점이 네이버랩스만의 차별화된 경쟁력”이라고 말했다.
네이버랩스 공간지능 기술이 콘텐츠 제작에 활용된 것은 이번이 처음이 아니다. 넷플릭스 시리즈 ‘스위트홈’ 시즌 2에도 네이버랩스는 항공사진을 기반으로 제작한 서울시 3D 모델링 데이터를 재가공해 잠실 지역의 사실적인 도시 풍경을 구현한 적이 있다. 다만 스위트홈 시즌 2가 항공사진을 기반으로 만들어진 정교한 3D 디지털 트윈을 배경에 활용한 것이라면 북극성은 거리뷰 데이터를 학습시킨 후 NVS 기술로 촬영하지 않은 시점의 장면을 구현해 한 단계 더 발전했다.
◇게임·스포츠로 적용 확대
공간지능 기술의 콘텐츠 적용은 더 빨라질 것이란 전망이 나온다. 실제 공간의 이미지 정보만 있으면 직접 촬영하지 않아도 원하는 시점과 각도에서 본 장면을 구현할 수 있기 때문이다. 공간지능 기술이 드라마나 영화의 시각특수효과(VFX)뿐만 아니라 게임, 가상현실(VR)·증강현실(AR) 등 차세대 콘텐츠 제작의 핵심 기술로 자리 잡을 수 있다는 얘기다. 네이버랩스 관계자는 “그동안 축적해온 3D 비전 기술과 자체 데이터세트를 바탕으로 NVS가 대규모 실외 환경에서도 안정적으로 동작하도록 기술을 고도화해 놨다”고 설명했다.네이버는 콘텐츠는 물론 게임, 스포츠 분야로도 공간지능 기술 적용을 확대한다는 계획이다. 게임 공간을 구축할 때 노블뷰 신세시스를 활용하면 퀄리티를 확보할 수 있다. 스포츠 영역에서도 중계의 품질을 높이는 데 활용 가능하다. 예를 들면 축구 경기에서 선수가 슛하는 장면을 멈춰놓고 360도로 돌려보는 콘텐츠에 적용할 수 있다. 네이버랩스 관계자는 “넷플릭스, 디즈니플러스에 이어 게임, 스포츠 등 다양한 분야로 협업을 확대해 네이버랩스 기술을 실제 환경에 적극 적용해 나가겠다”고 말했다.
고은이 기자 koko@hankyung.com
관련뉴스
