눈, 손, 시뮬레이션, 샘플: Unity XR Interaction Toolkit 2.3의 새로운 기능
관련주제
- #Products news
- #XR
2023.05.04
XRI(XR Interaction Toolkit)는 VR 및 AR 경험을 제작하기 위한 고수준의 컴포넌트 기반 인터랙션 시스템으로, 일반적인 인터랙션을 위한 프레임워크를 제공하고 크로스 플랫폼 제작 과정을 간소화합니다. 이 업데이트에서는 보다 자연스러운 인터랙션을 위한 시선 및 손 추적, 인터랙션을 생생하게 구현하는 오디오/비주얼 어포던스(affordance), 에디터 내에서 테스트할 수 있는 디바이스 시뮬레이터 개선이라는 세 가지 주요 기능이 추가되었습니다. 이러한 기능을 더 손쉽게 활용할 수 있도록 각 업데이트 내용을 자세히 살펴보겠습니다.
XR 개발자이자 LearnXR.io의 설립자인 딜머 발레시요스가 만든 XRI 2.3에 관한 멋진 튜토리얼을 아래 동영상에서 확인하세요.
관절이 있는 손의 추적을 완벽하게 지원
XRI 2.3과 함께 Unity XR Hands 패키지를 시험판으로 제공합니다. XR Hands는 신규 XR 보조 시스템으로, Unity에서 손 추적을 지원하는 API를 추가합니다. 여기에는 OpenXR에 대한 릴리스 시 기본 제공되는 지원과 곧 릴리스될 Meta 플랫폼에 대한 지원이 포함됩니다. 또한 외부 하드웨어 공급자는 제공된 API 기술 자료에 따라 기존 XR SDK의 손 추적 데이터를 연결할 수 있습니다.
관절이 있는 손의 추적을 완벽하게 지원
XRI 2.3과 함께 Unity XR Hands 패키지를 시험판으로 제공합니다. XR Hands는 신규 XR 보조 시스템으로, Unity에서 손 추적을 지원하는 API를 추가합니다. 여기에는 OpenXR에 대한 릴리스 시 기본 제공되는 지원과 곧 릴리스될 Meta 플랫폼에 대한 지원이 포함됩니다. 또한 외부 하드웨어 공급자는 제공된 API 기술 자료에 따라 기존 XR SDK의 손 추적 데이터를 연결할 수 있습니다.
이 XRI 릴리스에는 샘플 패키지인 Hands Interaction Demo가 포함되어 있습니다. Hands Interaction Demo는 디바이스의 씬을 변경하지 않고도 손과 컨트롤러를 전환할 수 있는 손 인터랙션 설정을 보여 줍니다. 이 기능을 사용하면 콘텐츠를 표준 컨트롤러 설정으로 시작하되, 게임 플레이에서 특정 작업을 수행하거나 자연스러운 인터랙션을 하는 경우에는 손으로 원활하게 전환할 수 있습니다.
또한 XRI 2.3은 XR Poke Interactor를 통해 콕 누르는(가볍게 터치하는) 동작에 대해 자연스러운 인터랙션을 지원합니다. 이를 통해 3D UI 또는 XRI 지원 UGUI 캔버스 요소에서 손이나 컨트롤러를 사용하여 콕 누르는 동작이 가능합니다.
HoloLens 2, Meta Quest Pro 및 PlayStation® VR2와 같은 최신 헤드셋에는 사용자가 보고 있는 위치를 추적하는 센서가 포함되어 있습니다. 시선 기반의 인터랙션은 보다 자연스러운 느낌을 주고 콘텐츠를 다양하게 활용할 수 있는 방법을 제공하는 XR 앱을 개발하는 데 도움이 될 수 있습니다. 유니티는 이러한 유형의 인터랙션을 지원하기 위해 시선 또는 머리의 움직임 포즈로 구동되는 XR Gaze Interactor를 도입했습니다. 이 인터랙터는 인터랙터블 요소에 시선을 고정하여 선택하거나 가리키는 것과 같은 직접적인 조작에 사용할 수 있습니다.
또한 XRI 2.3은 XR Poke Interactor를 통해 콕 누르는(가볍게 터치하는) 동작에 대해 자연스러운 인터랙션을 지원합니다. 이를 통해 3D UI 또는 XRI 지원 UGUI 캔버스 요소에서 손이나 컨트롤러를 사용하여 콕 누르는 동작이 가능합니다.
시선을 사용한 인터랙션
HoloLens 2, Meta Quest Pro 및 PlayStation® VR2와 같은 최신 헤드셋에는 사용자가 보고 있는 위치를 추적하는 센서가 포함되어 있습니다. 시선 기반의 인터랙션은 보다 자연스러운 느낌을 주고 콘텐츠를 다양하게 활용할 수 있는 방법을 제공하는 XR 앱을 개발하는 데 도움이 될 수 있습니다. 유니티는 이러한 유형의 인터랙션을 지원하기 위해 시선 또는 머리의 움직임 포즈로 구동되는 XR Gaze Interactor를 도입했습니다. 이 인터랙터는 인터랙터블 요소에 시선을 고정하여 선택하거나 가리키는 것과 같은 직접적인 조작에 사용할 수 있습니다.
하지만 일반적으로 시선만으로 앱을 제어하는 것은 권장하지 않기 때문에, 사용자가 특정 오브젝트를 선택할 수 있는 컨트롤러와 손 기반 인터랙션 지원의 또 다른 형식인 XR Interactable Snap Volume을 도입했습니다. 이 컴포넌트는 오브젝트 주위의 정의된 영역을 조준할 때 근처의 인터랙터블 요소에 대한 스냅 인터랙션을 허용하므로 시선 인터랙터를 보완합니다. 또한 시선 인터랙터 없이 스냅 볼륨을 사용할 수 있게 하므로 사용자가 오브젝트를 더 쉽게 선택할 수 있습니다.
전 세계의 시선 추적 기술 분야를 선도하는 Tobii에서 이러한 컨셉 구상과 연구를 지원했습니다. 자세히 알아보려면 시선 추적 개념에 대한 기술 자료를 찾아 보세요.
인터랙션에 손을 사용하는 것은 인터랙션이 발생할 때 확인하는 햅틱 또는 촉각 피드백이 없다는 점에서 컨트롤러와 다릅니다. 어포던스 시스템은 오브젝트의 인터랙션 상태에 대한 반응으로 오브젝트에 애니메이션 효과를 주거나 음향 효과를 트리거하는 일련의 고성능 컴포넌트로, 이러한 피드백 격차를 완화하는 데 도움이 됩니다. 이 시스템은 새로운 프로젝트와 기존 프로젝트 모두에서 인터랙터와 인터랙터블 요소의 모든 조합에 사용할 수 있도록 만들어졌습니다.
새로운 XR General Grab Transformer는 계층 구조의 복잡도를 줄이며, 여러 개의 그랩 트랜스포머가 아닌 단일 범용 트랜스포머가 인터랙터블 요소에서 한 손과 양손 인터랙션을 모두 지원하도록 합니다. 또한 양손으로 크기 조정이 가능하므로 휴대폰에서 확대/축소하는 것과 유사하게 양손을 벌리거나 모아서 오브젝트의 크기를 키우거나 줄일 수 있습니다.
전 세계의 시선 추적 기술 분야를 선도하는 Tobii에서 이러한 컨셉 구상과 연구를 지원했습니다. 자세히 알아보려면 시선 추적 개념에 대한 기술 자료를 찾아 보세요.
어포던스로 사실적인 인터랙션 구현
인터랙션에 손을 사용하는 것은 인터랙션이 발생할 때 확인하는 햅틱 또는 촉각 피드백이 없다는 점에서 컨트롤러와 다릅니다. 어포던스 시스템은 오브젝트의 인터랙션 상태에 대한 반응으로 오브젝트에 애니메이션 효과를 주거나 음향 효과를 트리거하는 일련의 고성능 컴포넌트로, 이러한 피드백 격차를 완화하는 데 도움이 됩니다. 이 시스템은 새로운 프로젝트와 기존 프로젝트 모두에서 인터랙터와 인터랙터블 요소의 모든 조합에 사용할 수 있도록 만들어졌습니다.
양손을 사용한 확대, 스윙 및 회전
새로운 XR General Grab Transformer는 계층 구조의 복잡도를 줄이며, 여러 개의 그랩 트랜스포머가 아닌 단일 범용 트랜스포머가 인터랙터블 요소에서 한 손과 양손 인터랙션을 모두 지원하도록 합니다. 또한 양손으로 크기 조정이 가능하므로 휴대폰에서 확대/축소하는 것과 유사하게 양손을 벌리거나 모아서 오브젝트의 크기를 키우거나 줄일 수 있습니다.
Interaction Group 컴포넌트도 추가했습니다. 이 동작을 통해 개발자는 인터랙터를 그룹화하고 우선 순위별로 정렬할 수 있으므로, 지정된 시간에 그룹당 하나의 인터랙터만 인터랙션할 수 있습니다. 예를 들어 Poke, Direct 및 Ray Interactor가 함께 그룹화된 경우 버튼을 가볍게 터치하면 다른 인터랙터가 씬과 인터랙션하는 것이 일시적으로 차단됩니다. 이렇게 하면 먼 거리에서 작업할 때 실수로 근처에 있는 오브젝트를 잡는 것을 방지할 수 있으며, 가까이에서 오브젝트를 잡거나 터치는 동안 씬에 광선이 쏘이지 않습니다.
헤드셋 없이도 수월해진 XR 반복 작업
헤드셋에서 XR 앱을 테스트하는 것도 중요하지만, 에디터 내 테스트는 반복 작업의 시간을 단축하는 데 도움이 됩니다. 이 릴리스에서 XR Device Simulator는 주요 사용성 업데이트를 적용하며, 시뮬레이터를 구동하는 입력과 현재 활성화된 입력을 더 쉽게 확인할 수 있는 새로운 화면 UI 위젯을 도입했습니다.
헤드셋 없이도 수월해진 XR 반복 작업
헤드셋에서 XR 앱을 테스트하는 것도 중요하지만, 에디터 내 테스트는 반복 작업의 시간을 단축하는 데 도움이 됩니다. 이 릴리스에서 XR Device Simulator는 주요 사용성 업데이트를 적용하며, 시뮬레이터를 구동하는 입력과 현재 활성화된 입력을 더 쉽게 확인할 수 있는 새로운 화면 UI 위젯을 도입했습니다.
자주 사용되는 여러 컨트롤 모드를 전환할 수 있도록 새로운 시뮬레이션 모드도 추가되었습니다. 디바이스 시뮬레이터는 시작 시 전체 플레이어가 상체를 돌리는 것처럼 헤드셋과 컨트롤러를 조작하는 새로운 FPS(1인칭 슈팅) 모드를 활성화합니다. 그런 다음 다른 모드로 전환하여 헤드셋, 왼쪽 컨트롤러 및 오른쪽 컨트롤러와 같은 개별 디바이스를 조작할 수 있습니다. XR Device Simulator를 사용하려면 패키지 관리자에서 샘플을 임포트하세요.
새로운 XRI 샘플 프로젝트 둘러보기
오랜 시간이 지나 드디어 업데이트된 샘플 프로젝트가 나왔습니다. XRI 2.3에서 사용할 수 있는 다양한 XR 경험의 구성 요소를 확인해 보세요. 이 프로젝트는 XRI의 각 주요 기능이 작동하는 방식을 이해할 수 있는 스테이션으로 나뉘며, 각각에 대한 간단한 예제와 고급 예제가 포함되어 있습니다. GitHub의 샘플 프로젝트에 액세스하고 이를 사용하여 새로운 XR 앱을 시작하세요.
XR Interaction Toolkit에서 눈과 손을 다루는 것은 아직 초기 단계이지만, 더 풍부한 XR 경험을 더 쉽게 구축할 수 있도록 하기 위해 항상 노력하고 있습니다. 유니티는 XRI 2.4 이상 버전을 준비하면서 언제나 여러분의 소중한 피드백을 기다리고 있습니다. 또한 소셜 미디어에 게시할 때 해시태그 #unityXRI를 추가하여 이 툴로 어떤 경험을 제작하는지 공유해 주세요.
새로운 XRI 샘플 프로젝트 둘러보기
오랜 시간이 지나 드디어 업데이트된 샘플 프로젝트가 나왔습니다. XRI 2.3에서 사용할 수 있는 다양한 XR 경험의 구성 요소를 확인해 보세요. 이 프로젝트는 XRI의 각 주요 기능이 작동하는 방식을 이해할 수 있는 스테이션으로 나뉘며, 각각에 대한 간단한 예제와 고급 예제가 포함되어 있습니다. GitHub의 샘플 프로젝트에 액세스하고 이를 사용하여 새로운 XR 앱을 시작하세요.
XR Interaction Toolkit에서 눈과 손을 다루는 것은 아직 초기 단계이지만, 더 풍부한 XR 경험을 더 쉽게 구축할 수 있도록 하기 위해 항상 노력하고 있습니다. 유니티는 XRI 2.4 이상 버전을 준비하면서 언제나 여러분의 소중한 피드백을 기다리고 있습니다. 또한 소셜 미디어에 게시할 때 해시태그 #unityXRI를 추가하여 이 툴로 어떤 경험을 제작하는지 공유해 주세요.
