길자의 개발 오르막길

오늘은 Galaxy XR 환경에서 손 트래킹 입력을 Enhanced Input으로 정리했다. 핵심은 Pinch를 버튼 입력처럼 생각하면 안 되고, Axis 입력으로 받아야 한다는 점이었다.처음에는 메뉴용 IMC_Menu에 Pinch 입력을 넣고, 메뉴가 열릴 때만 Add Mapping Context를 해서 처리하려고 했다. 그런데 실제 작업 중에는 Mapping Context 상태를 추적하기가 복잡해졌고, 같은 Pinch 입력이 여러 Context에 걸리면서 어떤 입력이 어디서 처리되는지 헷갈리는 문제가 생겼다.최종적으로는 Pinch 입력을 IMC_Default에 두고, 입력의 의미는 Pawn 내부 상태값으로 분기하는 방식으로 정리했다.1. Enhanced Input 기본 개념Enhanced Input은..

오늘은 Android XR 기반 Galaxy XR 환경에서 손 트래킹 Hand Aim으로 3D 공간의 UMG Widget을 겨누고 Pinch로 클릭하는 기능을 구현했다. 좌석 선택 UI 하나로 시작했지만, 실제로는 앞으로 프로젝트의 여러 3D UI에서 재사용할 상호작용 규칙과 설정을 잡는 작업이었다.1. 목표Hand Aim으로 3D Widget Button을 Hover 하기Pinch(엄지+검지)로 Widget Button을 Click 하기Laser와 Cursor를 공용으로 표시해서 어디를 겨누는지 보이게 하기위 세 가지를 UI마다 새로 만들지 않고, 한 번 만들어 공용으로 쓰기2. 용어 정리WidgetInteractionComponent (WIC): 3D 공간의 Widget을 마우스처럼 겨누고 클릭하게 ..

오늘은 VR 프로젝트에서 손 추적을 이용해 조이스틱을 직접 잡고 움직이는 기능을 구현했다.조이스틱은 좌우 두 개를 하나의 Actor 안에 배치했고, 손으로 잡았을 때 손의 움직임에 따라 조이스틱이 기울어지도록 만들었다.이번 작업의 핵심은 두 가지다.1. 인터페이스를 이용해 손과 조이스틱을 연결하기2. BlendSpace를 이용해 조이스틱 방향 애니메이션 재생하기 1. 인터페이스란? Implementing Blueprint Interfaces in Unreal Engine | Unreal Engine 5.8 Documentation | Epic Developer CommunityImplement interface functions in Unreal Engine Blueprints that inherit f..

개요Android XR(Galaxy XR)로 패키징 후 테스트를 진행했는데, VR Preview에서는 정상적으로 동작하던 Hand Tracking과 Eye Tracking이 패키징된 APK에서는 동작하지 않는 문제를 확인했다.처음에는 OpenXR이나 플러그인 문제라고 생각했지만, Android는 PC VR Preview와 다르게 Android 권한(Permission) 을 별도로 설정하고 사용자에게 권한을 요청해야 정상적으로 동작하는 것을 확인했다.또한 Android XR은 PC VR Preview와 렌더링 방식도 달라 손 메쉬의 표현 방식과 OpenXR Swapchain 관련 로그도 함께 확인되어 그래픽 설정도 Android 환경에 맞게 다시 최적화했다.이번 작업에서는 Android XR에서 필요한 권..

오늘은 XR 프로젝트에서 HUD를 카메라에 바로 붙이지 않고, 사용자의 머리 회전에 따라 천천히 따라오도록 수정했다.기존에는 HUD WidgetComponent를 Camera에 직접 붙여 사용했다.이 방식은 구현은 간단하지만, 사용자가 고개를 조금만 움직여도 UI가 즉시 따라오기 때문에 화면에 붙어 있는 2D 이미지처럼 느껴지고, 글자를 읽기도 불편했다.그래서 HUD를 Camera에 직접 붙이지 않고, 중간에 HUDAnchor라는 Scene Component를 두었다.VRPawn├─ Camera└─ HUDAnchor └─ HUD WidgetComponentHUD WidgetComponent는 Camera가 아니라 HUDAnchor에 붙인다.그리고 HUDAnchor가 Camera를 바로 따라가는 것이 ..

개요Unreal Editor에서 Android XR / Galaxy XR 기기를 Wi-Fi로 연결해 실행하거나 스트리밍하려면, 먼저 XR 기기가 ADB 무선 디바이스로 정상 인식되어야 한다. USB 연결에서는 정상 동작하더라도 Wi-Fi 연결에서는 ADB 포트, 디바이스 선택, 포트 매핑 문제로 연결이 실패할 수 있다. 특히 Unreal의 AndroidXR Streaming에서 `Failed to map headset port` 경고가 발생하면 ADB 연결과 포트 포워딩 상태를 먼저 확인해야 한다.언리얼 에디터 작업 이전에 아래 포스팅을 통해 Scrcpy 연동 작업을 통해 포트 연결을 해둔 상태이다.2026.07.02 - [분류 전체보기] - scrcpy(스크린카피)로 android 화면을 window에..

오늘은 VR 프로젝트에서 Eye Tracking 데이터를 이용해 사용자의 시선을 따라 움직이는 Reticle UI를 만들었다.Reticle은 WidgetComponent로 구성했고, WBP_GazeReticle을 연결해 VR 공간 안에서 시선 위치를 표시하도록 했다.핵심 원리는 간단하다. Eye Tracking에서 제공하는 시선 시작 위치와 시선 방향을 이용해, 사용자가 바라보는 방향 앞쪽에 Reticle을 배치하는 방식이다.Eye Tracker Gaze Data에서 가장 중요한 값은 Gaze Origin과 Gaze Direction이다.Gaze Origin은 시선이 시작되는 위치이고, Gaze Direction은 사용자가 바라보는 방향이다. 따라서 Reticle의 위치는 “시작 위치에서 바라보는 방향으..

개요Galaxy XR 환경에서 Unreal Engine 5.6 프로젝트에 손 추적 데이터를 연결해 손 메쉬를 움직이는 테스트를 진행했다.이번 작업에서는 Get Joint Transforms, Get Hand Tracking State, Create Hand Mesh, Poseable Mesh Component, Set Bone Transform by Name를 조합해 손 관절 위치와 회전을 시각화하고, 손 메쉬 본 이름 매핑까지 구성했다. 1. 손 관절 데이터를 먼저 디버그 라인과 디버그 스피어로 확인했다가장 먼저 손 추적 데이터가 실제로 들어오는지 확인하기 위해 Event Tick에서 좌/우 손 각각 Draw Debug Hand Line 함수를 호출하도록 구성했다.이후 Get Joint Transfor..

오늘은 프로젝트에서 OpenXR Eye Tracker 를 이용해사용자가 바라보는 시선 방향으로 Trace를 쏘는 테스트를 진행했다.작업 내용VRPawn의 Event Tick 에서 Get Gaze Data 노드를 사용해시선 데이터(Gaze Origin, Gaze Direction)를 가져오도록 구성했다.가져온 시선 방향은 다음 방식으로 Trace에 사용했다.Gaze Origin 을 시작점으로 사용Gaze Direction * 20000 으로 전방 거리 계산시작점과 방향값을 더해 끝점 생성Sphere Trace By Channel 로 시선 방향 충돌 검사 수행확인한 점Eye Tracking 함수가 많지 않아도 Get Gaze Data 하나만으로 기본 시선 추적 테스트는 가능했다.Line Trace 대신 Sp..

[Unreal] 5.6.1 + Galaxy XR용 android XR 프로젝트 환경 구축개요Unreal Engine 5.6 환경에서 Galaxy XR 기기를 대상으로 Android XR 프로젝트를 구성했다.이 문서는 실제로 프로젝트를 열고, 플러그인을 추가하고, Android 빌드 환경을 맞추고, Direct Preview 및 기기 실행codehortus.tistory.com오늘은 Unreal Engine 5.6 환경에서 Galaxy XR 기기 기준으로 AR View처럼 현실 배경 위에 오브젝트를 합성해서 보이게 만드는 설정을 정리했다.핵심은 단순히 Android XR 플러그인을 켜는 것만으로 끝나지 않았고, Environment Blend Mode, 알파 전달, OpenXR 반전 설정까지 같이 맞춰야 ..