혁신을 가속화하고 빠르게 변화하는 업계 환경에서 차별화된 경쟁력을 확보하세요.
지난 7월, 한국의 소프트 파워를 대표하는 3B로 Bong Jun Ho(봉준호 감독), BTS(방탄소년단) 그리고 Baby Shark(핑크퐁 아기상어) 가 Investor에 소개되었습니다. 유튜브 최다 조회 영상 세계 2위( 영상 누적 조회 수 약 60억뷰), 5,800만 명에 달하는 Youtube 구독자, 17주 연속 빌보드 핫100, 이 기록의 주인공은 바로 스마트스터디 입니다. 숱한 화제를 낳으며 K 콘텐츠 산업에 새로운 이정표를 제시하고 있는 스마트스터디 콘텐츠 제작의 중심에는 유니티 엔진이 있었는데요, 스마트스터디 안에서도 유니티로 혁신적인 시도를 하고 있는 모셥캡쳐 팀과 인터랙티브 앱 팀을 만나 콘텐츠 제작 파이프라인과 유니티의 활용도에 대해 이야기를 나누어보았습니다.
*스마트스터디 구성원들은 서로 직급 없이 닉네임으로 부르고 있습니다. 인터뷰는 편의상 회사 내에서 부르는 호칭인 와상(이상화님), 미유(유다나님), 쿠마(원종대님), 양갱(박진경님)으로 구성했습니다.
퐁퐁클럽: 유니티 프리셋으로 기획자가 직접 영상을 만든다?
스마트스터디의 모션캡쳐 팀은 모션캡쳐 데이터를 활용하여 3D 콘텐츠를 제작하는 팀으로, R&D 연구 결과를 바로 프로젝트에 접목시키는 과감함이 돋보이는 팀입니다. 모션캡쳐 팀은 유니티 코리아가 주최한 Industry Summit 2019에서 핑크퐁: Unity 기반 영상 콘텐츠 제작 파이프라인 구축하기 세션을 진행하며 <퐁퐁클럽>을 소개한 바 있습니다. 유니티를 사용해서 2D 콘텐츠를 제작하려면 어떤 프로세스가 필요할지 머리를 맞대어 생각하던 모션캡쳐 팀의 고민은 ‘퐁퐁클럽’ 에도 사용된 새로운 2D 제작 파이프라인의 도입으로 이어졌습니다.
주로 게임에서 사용되는 라이브 2D 애니메이션 프로그램을 도입했고, 애니메이션을 유니티에 임포트하여 엔진 안에서 조립하는 것처럼(자주 사용하는 배경을 유니티 엔진 내에 세트장처럼 구현했고, 시네머신으로 타임라인서 영상을 겹치는 등, 동작을 설정해두면 카메라 움직임을 자연스럽게 만들어두었다) 영상화하는 프로세스를 만들어 다른 영상 제작 프로세스와 다르게, 반드시 전문 애니메이터나 영상 제작자가 아니더라도 내부 영상 리소스를 조합하여 콘텐츠를 제작할 수 있도록 하나의 파이프라인을 탄생시켰습니다. 스마트스터디의 테크니컬 아티스트 와상 님은 13분짜리 애니메이션을 기획자가 이틀 만에 만들었다며, 기획자가 생각하는 영상을 그대로 구현할 수 있는 것이 장점이라고 말합니다. 결과적으로 업무 효율성이나 커뮤니케이션 비용을 줄일 수 있어 생산성이 향상된 것이죠.
프리셋으로 기획자들도 영상을 제작할 수 있는 파이프라인을 만들었습니다
영상을 추출하는데까지 이틀이 걸린 <퐁퐁클럽>은 유니티를 사용한 2D 제작 파이프라인의 활용도와 유니티 엔진이 가져오는 업무 효율성을 잘 보여주는 사례입니다. 스마트스터디는 실제로 유니티를 도입함으로써 특정 이슈에도 신속하게 대응할 수 있었습니다. 코로나19 사태에 대응하는 콘텐츠인
“ 팀 단위가 아니더라도 개인이 회사 단위의 프로젝트를 제작할 수 있지 않을까, 하는 가능성을 볼 수 있었습니다. 라이팅을 넣거나 복합적인 룩을 잡기 위해서 유니티를 사용하면 영상의 퀄리티뿐만 아니라 과정 면에서 많은 시간이 단축되죠. 앞으로는 3D 쪽에 집중하며 저희가 확립한 2D 파이프라인의 활용도를 더욱 넓게 가져갈 수 있는 방법을 연구 중입니다.” - 스마트스터디, 모셥캡쳐 팀 와상, 미유 님 |
울산 VLOG: 3D 캐릭터의 실사 합성과 유니티
모션캡쳐 팀이 기획한 또 다른 콘텐츠는 핑크퐁과 국내 유명 관광지를 함께 여행하는 VLOG 영상입니다. 콘텐츠의 컨셉은 캐릭터가 실제 존재하는 특정 장소를 관광하는 것으로, 실사 배경에 3D 캐릭터를 합성하는 작업이 이루어집니다.
3D 영상 제작 프로세스는 모션캡쳐 과정이 포함되는 게 2D 영상 제작 파이프라인과 두드러지게 구별되는 특징입니다. 울산 VLOG는 실사 합성이 필요했기 때문에 촬영 기획 단계부터 고려해야 하는 디테일들이 달랐습니다. 핑크퐁의 실제 신장을 측정하고, 기획자가 대본이나, 어떤 동작을 취할 건지 사전에 기획하면 간단한 레이아웃을 잡고, 모션 캡쳐가 이루어집니다. 이 단계에서 모션이 실제로 나오는지 실시간 시각화를 하고, 적합한 모션이 나오면 애니메이터들에게 전달해서 활용이 가능하도록 제작합니다. 애니메이터들은 기획자와 액터가 직접 촬영한 표정이나 대사를 추가적으로 애니메이션을 제작하고, 유니티로 해당 애니메이션을 옮겨 3D아티스트 분들이 렌더링 작업을 합니다. 유니티의 실시간 렌더링 기술을 통해 결과를 바로 볼 수 있어 빠르게 작업할 수 있었던 것입니다.
모션 캡쳐 팀은 유니티의 빠른 렌더링 속도를 VLOG 콘텐츠를 제작하며 도움이 되었던 유니티 엔진의 장점으로 꼽았습니다. 렌더링 시간이야말로 영상 제작 과정에 있어 가장 시간이 많이 소요되는 단계인데, 유니티의 빠른 실시간 시각화 작업은 원활한 피드백을 가능하게 했고, 실사를 합성하는 특성상 수정이 대량 필요한 콘텐츠 특성에도 불구하고 작업시간을 대폭 단축할 수 있었습니다.
360도 카메라를 사용해서 일종의 가상 공간을 구현하면, 카메라를 자유롭게 사용할 수 있어 일종의 VR 환경을 만든 뒤 컷을 사용했습니다. 일반 3D 툴에서는 구현하기 어려운 기능들을 유니티 안에서는 사용할 수 있었습니다.
스탠딩 카메라를 사용할 경우, 시각적으로 각도를 맞추기만 하고, 움직이는 영상은 영상 분석 툴을 사용해서 카메라의 위치를 추적하고 추적한 카메라 데이터를 유니티로 다시 임포트하여 마치 실제로 카메라를 움직여 캐릭터를 촬영하는 것 같은 촬영 방식을 사용합니다.
모션캡쳐 팀의 테크니컬 아티스트 와상 님(좌) 과 3D 디자이너 미유 님(우)
Wash Your Hands: 코로나19 에 대응하여 2주 만에 세상에 나오다
스마트스터디의 콘텐츠 파급력은 앱 시장에서도 두드러집니다. 아기상어 스토리북 앱과 Wash Your Hands 는 출시 이후 앱스토어의 ‘오늘의 앱’ 과 ‘추천 앱’ 에 수차례 선정되며 앱 시장에서 꾸준히 강세를 보이고 있습니다. 해당 앱을 제작한 스마트스터디의 인터랙티브 팀에서는 발 빠르게 앱 시장의 트렌드를 캐치하여 스마트스터디 앱에 녹여내고 있습니다. 특히나 Wash Your Hands 앱은 유니티를 사용하여 기획, 디자인, 개발 과정을 거쳐 2주 만에 출시했다는 점이 인상적입니다.
인터랙티브 앱은 앱의 이름에서도 알 수 있듯이 터치와 드래그를 통해 디지털 콘텐츠를 능동적으로 소비하며 사용자와 프로그램이 서로 의사소통을 한다는 의미를 가지고 있습니다. 핑크퐁 인터랙티브 앱 시리즈들은 부모님과 아이가 함께 즐길 수 있는 앱으로, 한글, 수학, 영어 등 교육적인 커리큘럼을 담고 있는 것은 물론, 아이들이 흥미를 가지는 공룡, 자동차와 같은 소재까지 다루고 있어 전세계 아이들에게 재미있는 경험을 제공하고 있습니다.
기존에 있던 아기상어 스토리북 도서를 소스로 활용하여 다양한 경험을 선사하고 싶었던 인터랙티브 앱 팀에게 유니티는 이 목표를 실현하는 데 탁월하게 작용했습니다. 앱을 제작하는 과정에서 인터랙티브 앱 팀은 유니티를 사용하여 필요한 리소스를 제작하는 데 들어가는 인력을 최소화하고, 최종 결과물을 완성하기까지 소요되는 시간/과정을 대폭 단축시켰습니다.
2D 인터랙티브 앱 제작 파이프라인
2D 인터랙티브 앱을 제작하기까지 기획 단계에서는 연출과 필요한 리소스 볼륨을 결정합니다. 디자인 단계에서는 애니메이션 제작이 필요한 모델 리소스를 제작하며, 리소스 제작이 완료되면 애니메이팅 단계에서 리깅을 하고, 애니메이션 클립을 제작하는데 이는 유니티 프리팹과 유니티 애니메이션 파일로 나오게 됩니다. 마지막으로 개발 단계에서 애니메이팅 단계에서 생성한 모델과 효과, 음원 등을 프로젝트에 적용하며 최종 결과물에 가까운 프로젝트가 나옵니다. 인터랙티브 앱의 특성상 애니메이팅 과정까지는 2D 영상 제작 과정과 비슷하지만, 인터랙티브 요소를 개발 단계에서 넣으며 사용자의 입력에 따라 반응하는 결과물이 나오는 것입니다.
아기상어 스토리북: 자연스러운 모션을 살린 유니티 본 애니메이션
스마트스터디는 2018년부터 유니티로 앱을 개발하며 완성도 높은 앱을 빠르게 시장에 선보이기 있습니다. 스마트스터디 개발자 쿠마 님은 유니티 본 애니메이션의 장점을 ‘가성비가 좋다’고 재미있게 표현했습니다.
본 애니메이션은 형성한 프리팹에 본을 심어 작업하는 방식으로, 본에 따라 메쉬가 함께 움직일 수 있기 때문에 원하는 모션을 효율적으로 작업할 수 있습니다. 아기상어 스토리북은 상어가 주인공인 만큼 바다를 배경으로 한 이미지가 많습니다. 인터랙티브 팀은 유니티 본 애니메이션을 사용함으로써 상어 지느러미의 움직임과 바닷속 해초가 일렁이는 모습을 자연스럽고 효과적으로 연출했습니다.
유니티 본 애니메이션 사용은 앱의 용량 문제에도 해결책을 주었습니다. 유니티 사용 이전에는 키프레임으로 관절을 움직이는 형태의 애니메이션을 사용하기도 했고, 해초가 해류에 흔들리는 장면을 연출하려면, 움직이는 이미지를 한 장씩 추출하여 셀 애니메이션으로 작업해야 했기 때문에 볼륨이 커지는 문제가 있었지만, 본 애니메이션은 프리팹에 뼈를 심어 작업하는 방식이기 때문에 용량을 줄일 수 있습니다.
“ 만약 스프라이트 애니메이션을 사용했다면, 움직임을 표현하기 위한 대량의 스프라이트 이미지가 필요했을 것입니다. 관리해야 하는 리소스가 많아지면서 자연스럽게 제작 볼륨이 커지고, 데이터 환경이 불안정한 국가에서 저희 앱을 다운로드하는 데 문제로 이어질 수도 있습니다. 반대로 단순 클립 방식이라면 구조적으로 움직임을 표현하는 자유도에 제한이 생길 것입니다. 일반적으로 이미지 형태를 자유롭게 변경할 수 없으니까요. 이런 한계점에서 유니티의 본 애니메이션이 갖는 의미는 저희에게 무척 크게 다가왔습니다.” - 스마트스터디 인터랙티브 팀 양갱 님, 쿠마 님 |
유니티를 사용한 콘텐츠 제작 프로세스는 코로나19 사태에서 아이들에게 바이러스 예방 목적으로 개발한 손 씻기 송과 손 씻기 앱과 같이 사회적 이슈에 신속히 대응하는 콘텐츠 제작을 가능하게 했습니다.
스마트스터디는 기술을 통해 콘텐츠를 효과적으로 전달하고자 유니티 베타와 알파 버전의 실험적인 기능이 출시되면 프로젝트에 과감하게 적용해 보곤 합니다. 유저들에게 보다 새로운 경험을 선사하기 위해 하나의 결과물에 국한되지 않고, 각자의 프로젝트에서 확립한 파이프라인을 다양한 플랫폼으로 확장해나가고자 끊임없이 노력하고 있습니다. 이러한 노력 끝에 탄생한 개성있는 콘텐츠로, 앞으로도 전세계인의 마음을 사로잡을 수 있기를 응원합니다.
