지난해 연말 진행된 ‘2020 MAMA(Mnet ASIAN MUSIC AWARDS)’’에서는 좀 특별한 풍경을 볼 수 있었다. 방청객 없는 무대였지만 어느 때보다 무대는 꽉 찼는데, 기존의 한계를 넘어선 첨단 기술이 무대를 화려하게 장식했기 때문이다. 

비브스튜디오스는 CJ ENM와의 협업을 통해 '2020 MAMA'에서 첨단 기술을 활용한 무대를 선보였다. 

‘2020 MAMA’에서 첨단 기술을 구현한 건 XR 콘텐츠 전문 제작사 ㈜비브스튜디오스다. 비브스튜디오스는 VR 휴먼다큐멘터리 <너를 만났다>를 통해 VR 디지털 휴먼을 선보여 큰 주목을 받기도 했다. 이번 ‘2020 MAMA’무대에서는 XR, AR, 볼륨매트릭 기술 등이 사용됐다.  

XR은 VR, AR, MR을 모두 통합한 개념으로, 비브스튜디오스 관계자는 XR에 대해 “엔터테인먼트 시장에서 XR은 LED 그래픽이 가상그래픽으로 공간 확장되는 것을 의미하는 추세이지만, 가상 현실과 증강 현실을 혼합해 가상과 현실을 분간하기 어려운 초현실을 만들어내는 기술을 통칭”한다고 설명했다. 

그 기술들은 CJ ENM T&A 사업부와의 협업으로 제작된 BTS의 무대에서 확인할 수 있었다. BTS가 <DYNAMITE>를 부를 땐 다채로운 색상의 그래픽 폭죽들이 하늘에서 빛났고, 폭죽은 ‘DYNAMITE’라는 글씨를 하늘에 새기기도 했다. 

행사에 참석하지 못한 아티스트가 가상으로 등장하기도 했다.

‘2020 MAMA’의 마지막 곡인 BTS의 <LIFE GOES ON>에서는 어깨 수술로 인해 행사에 참석하지 못한 BTS의 멤버 슈가를 가상으로 등장시키기도 했다. 

무대에 가상의 아티스트를 소환하기 위해선 볼륨매트릭 스튜디오에서 아티스트 촬영본을 받아 노이즈를 없애는 클린업 작업을 하고 언리얼 엔진에 올리기 위한 최적화 작업을 거치게 되는데, 이를 위해 비브스튜디오스의 CGI 제작팀과 R&D센터의 역량이 집중적으로 투입됐다. 

볼륨매트릭은 3D 오브젝트를 실시간으로 촬영하고 렌더링하는 기술이다. 360도를 커버하는 여러 대의 카메라가 동시에 오브젝트를 촬영해 실사 기반 입체 영상을 만드는 기술로, 한 번의 촬영으로 3D 데이터를 추출할 수 있다.

슈가의 가상 등장은 블륨매트릭 촬영, 언리얼 엔진 작업 등을 통해 이루어졌다. 

CJ ENM으로부터 슈가를 볼륨매트릭으로 촬영한 데이터를 전달받아 그 데이터를 최적화해 무대에 올린 비브스튜디오스는 두 가지 사항에 중점을 두고 작업을 진행했다.  

첫 번째는 노이즈 최소화다. 최초 캡처 데이터에는 노이즈가 많아 그대로 사용할 경우 다른 멤버들과의 이질감이 많이 생기기 때문에 노이즈를 최소화해 실제 무대 위의 멤버들과 최대한 한 공간에 있는 것처럼 구현했다. 

두 번째는 데이터를 최대한 가볍게 하는 것으로, 용량이 크고 퀄리티가 좋은 OBJ 데이터와 용량은 낮은 대신 그래픽 연출에 제약이 많은 MP4 데이터 중 MP4 데이터를 선택했다. 볼륨매트릭 데이터 때문에 씬이 무거워지면 다른 요소들을 연출할 수 없기 때문인데, MP4 데이터에 조명과 그래픽 효과가 묻을 수 있도록 하기 위해 R&D에 많은 시간을 할애했고, 3D 제작팀은 한 달 동안 꼬박 작업에 매달렸다고 한다.  

XR로 구현된 <LIFE GOES ON>의 무대

슈가의 등장 외에 <LIFE GOES ON>의 무대도 눈길을 끌었다. ‘팬데믹으로 힘든 시기를 겪고 있지만, 그럼에도 삶은 계속된다’는 노래의 메시지처럼 무대는 회색도시에서부터 점차 형형색색의 생기 있는 모습으로 변화했고, 새로운 세계가 열리는 XR 무대가 완성됐다. 

XR기술은 실내 무대를 야외무대로 전환시키기도 했다. 이곳에서 비브스튜디오스가 ‘2020 MAMA’를 위해 개발한 실시간 그래픽 폭죽이 AR로 구현돼 아름다운 장면을 연출했다. 

AR로 구현된 그래픽 폭죽은 실제 특수효과와 함께 무대를 더욱 화려하게 장식했다.

그래픽 폭죽 구현은 폭죽의 모양에 대한 논의와 FX팀의 시뮬레이션과 언리얼 엔진 작업을 통해 프리 렌더 처리 부분과 실시간 렌더 처리 부분을 결정하게 되는데, 원하는 모양과 강약 제어가 용이해 실내 특수 효과의 한계를 넘어선다. 

비브스튜디오스가 제작한 <너를 만났다>의 메이킹필름. 비슷한 또래의 아이를 360도 캡처한 자료를 토대로 얼굴 표정과 동작들을 세세하게 모델링했고, 배우를 섭외해 애니메이션 작업을 위한 모션 캡처를 진행했다. 

지난 5월부터 인공지능 기반 디지털 휴먼 제작 플랫폼을 개발 중인 비브스튜디오스는 이번 공연 경험을 토대로 실시간 그래픽 렌더링 기반 콘텐츠 제작 역량을 강화하고, 다양한 신기술을 활용한 디지털 휴먼 콘텐츠 제작에 힘을 쏟을 예정이다. 

에디터_ 최유진(yjchoi@jungle.co.kr)
자료제공_ 비브스튜디오스