개요

Innerverse는 XREAL 10기 무박 2일 해커톤에서 대상을 수상한 프로젝트입니다.

이번 해커톤은 XR-AI for Public Good이라는 대주제에서, 할당받은 세부 트랙은 Healthcare & Wellbeing이었습니다.
Innerverse는 이러한 주제에 맞춰, 사용자가 자신의 내면을 돌아보고 자신을 찾을 수 있는 서비스를 제공하는 것을 목표로 개발되었습니다.

브레인스토밍

해커톤은 주어진 시간이 짧기 때문에 아이디어를 빠르게 도출하고 우선순위를 정하는 것이 중요했습니다.
팀원들과 함께 Figjam에서 브레인스토밍을 진행하며, 다양한 아이디어를 도출하고, 그 중에서 가장 실현 가능하고 의미 있는 아이디어를 선택했습니다.

평가 기준도 중요했습니다. 짧은 시간 내에 평가 기준에 부합하는 결과물을 만들어내야 했기 때문에 중요한 고려 요소였습니다.

채택된 아이디어 중 시간 내에 구현하지 못했던 부분들도 있지만 추후 확장 가능성을 위해 열어두고, 코어 기능을 구현하는 데 집중했습니다.

VR 기기의 특성을 고려

VR 기기 특성상 사용자의 입력 데이터를 수집하기 위해서는 타이핑보다 STT가, 글자만 UI에 표시하는 것보다 TTS가 몰입을 위해 중요하다고 생각했습니다. (플레이 환경의 잡음 등으로 STT 사용이 제한될 수 있어 키보드 UI도 지원합니다.)
사용자의 STT 입력은 Elevenlabs의 API를 사용했고, STT를 통해 수집된 데이터는 Upstage의 Solar 모델을 통해 분석했습니다. 이 분석 결과를 텍스트로 UI에 표시하며, 실시간 TTS 출력을 위해 Supertone Play API를 사용했습니다.

다만 런타임의 TTS를 항상 사용하면 토큰 사용량이 많아지기 때문에, 런타임으로 생성이 불필요한 부분의 TTS는 미리 생성하여 불러오도록 했습니다.

이름 입력 → '{이름}이구나 반가워' → '{이름}' 부분은 런타임 TTS 생성 / '이구나 반가워' 부분은 미리 생성

시스템 구조 설계

MVP 단계지만 가장 기본이 되는 구조 설계는 중요하다고 생각했습니다.

XR 체험 흐름을 Input → Analysis → State → Presentation 구조로 분리해 설계했습니다. UI 계층은 마이크·키보드 입력과 사용자 선택만 수집하고, STT/LLM/TTS 같은 외부 API 연동은 Service 계층으로 분리했습니다. AI 응답이 UI나 월드 오브젝트를 직접 제어하지 않도록, 분석 결과는 먼저 사용자 진행 상태로 변환한 뒤 화면과 월드 연출에 반영했습니다.
GameManager와 SO는 사용자 이름, 선택 감정, 회고 내용, 섬의 단계 등 진행 상태를 관리하며, Main/World 씬과 UI는 이 상태를 기준으로 다음 흐름을 결정합니다. 이를 통해 음성 입력 방식, AI 모델, 월드 연출 방식이 바뀌더라도 전체 체험 흐름을 크게 수정하지 않고 교체할 수 있는 구조를 목표로 했습니다.
즉, 사용자의 발화, AI 분석, TTS 응답, 월드 상태 반영 등이 순차적으로 이어지되 각 단계의 책임은 분리되도록 구성하는 것이 목표였습니다.

UI

UI는 UI Toolkit으로 제작했습니다. 빠른 프로토타이핑을 위해서는 uGUI보다 AI Agent를 활용해 빠르게 UI를 구성할 수 있는 UI Toolkit이 적합하다고 판단했습니다.

UI 디자인의 목표는 Blur + Glassmorphism이었습니다.

유니티에서 Blur를 구현하기 위해서 쉐이더를 사용해 텍스처 샘플링을 처리해야 했고, 성능 부하의 방지를 위해 Single Pass Rendering을 사용했어야 했습니다.
이 부분의 조건을 명확히하여 AI Agent의 도움을 받아 구현했고, 목표했던 디자인 컨셉에 부합한 UI를 구현할 수 있었습니다.