몰입형 가상현실을 위한 다중 키넥트 기반 휴대용 전방향 네비게이션 시스템 개발 (Development of a Multiple Kinect Based Portable Omnidirectional Navigation System for Immersive Virtual Reality)

28 Pages Posted: 18 May 2019

See all articles by Woojoo Kim

Woojoo Kim

Korea Advanced Institute of Science and Technology (KAIST), Department of Industrial and Systems Engineering

Date Written: January 5, 2018

Abstract

Korean Abstract: 최근 상업용 가상현실 (Virtual Reality; VR) 장비가 출시되면서 관련 시장 규모가 급증할 전망이지만 가상공간을 탐험할 수 있는 상호작용 인터페이스는 한정적이다. VR 전방향 트레드밀이 개발중이나 장치의 가격이 높고, 크고 무거우며 사용자의 움직임을 제한하는 문제가 있기에 비교적 쉽고 간단한 방법으로서 제자리걷기 (Walking-in-place; WIP) 기반 시스템이 각광받아 왔지만, 웨어러블 관성 센서를 이용하는 현 대부분의 WIP 기반 시스템이 장시간 착용 시의 불편함, 격렬한 움직임 시의 잡음, 다양한 상호작용 구현의 불가능 등의 한계점을 갖는다. 따라서 본 연구에서는 다중 키넥트의 활용을 통해 이러한 기존 연구의 한계점들을 극복할 수 있는 새로운 몰입형 가상현실을 위한 다중 키넥트 기반 휴대용 전방향 네비게이션 시스템을 개발하는 것을 목표로 한다.

다중 키넥트 데이터 통합하여 전방향에서 안정적인 WIP 데이터를 얻을 수 있는 최적의 키넥트 수와 배치를 결정하고, WIP의 주요 보행 특징점을 찾은 뒤 이를 토대로 WIP의 보행 주기를 감지하여 가상현실 아바타의 보행 속도와 방향을 알맞게 조절할 수 있는 핵심 알고리즘을 개발한다. 나아가 제자리에서 옆, 뒤로 걷기 및 뛰기 등의 기타 주요 보행 상호작용을 구현하여, 구축한 모의 응용 환경 하에서 사용성 평가를 수행한다.

다중 키넥트의 관절 위치 데이터의 심각한 안정성 문제가 발견되면서 추적 안정성 및 실효성 모든 측면에서 우수한 단일 키넥트를 대신 활용하기로 결정하였고 단일 키넥트의 한계로 인해 전방향에 가까운 준-전방향 네비게이션 시스템의 개발로 연구 목표를 변경하였다. 최종 선정한 앞, 옆, 뒤 각 WIP 동작의 주기를 분석하여 알아낸 관절 위치 관계의 특징을 기준으로 각 동작을 구분하는 기준을 정립하고 사용자 시야 방향을 토대로 원활한 감지를 위해 좌표를 보정한 뒤, 보정한 좌표 데이터에 정립한 동작 구분 기준을 적용하여 현재 사용자가 수행하는 동작이 앞, 옆, 뒤 WIP 중 무엇인지를 판단한다. 이후 전방향에서 비교적 추적 정확도가 높은 발목관절 위치 데이터를 기준으로 WIP 동작을 작은 임계값으로 세분화하여 감지한다. 이를 통해 WIP 동작의 크기와 빈도를 반영히며, 보행 속도 증감 및 감소가 부드럽고, 동작의 시작과 끝의 감지 시 발생하는 지연을 최소화하였다.

시스템 프로토타입의 사용성 및 사용자 경험에 대한 평가를 진행한 결과 SUS 점수는 78.3점으로 준수한 사용성을 보였으며, UEQ-S에 의거한 사용자 경험도 모든 문항에서 긍정적인 응답을 받았다. 또한 추가 설문을 통해 사용자는 시스템 사용 경험이 몰입적이며 직접 아바타가 되어 가상공간 안에 존재하는 것처럼 느꼈지만, 옆 WIP가 다른 동작들에 비해 비교적 실제 동작을 잘 대변하지 못하고 부자연스럽게 느꼈다는 응답을 받았다. 인터뷰를 통해 현 시스템에 대한 여러 문제점과 이에 따른 개선방안을 도출하였다.

본 연구를 통해 단일 키넥트 기반 준-전방향 WIP 보행 감지의 이론적 토대를 다지고 옆, 뒤 WIP 동작을 최초로 선보임으로써 관련 종사자들이 WIP 보행 기반 VR 네비게이션 구현 시 참고할 수 있다. 본 시스템은 가상공간 내에서 네비게이션이 필요한 수많은 가상현실 응용 분야에 활용될 수 있으며, 키넥트 및 WIP 보행 기법을 통해 어디에서나 손쉽고 몰입감이 높은 가상공간에서의 전방향 네비게이션 기능을 제공할 수 있다. 본 연구에서 제안한 새로운 인터페이스 시스템을 활용한 신규 가상현실 컨텐츠 사업이 활성화될 수 있을 것으로 기대된다.

추가 연구에서는 예비 사용성 평가를 통해 도출한 개선점을 반영하여 시스템을 더욱 발전시킬 수 있다. 이 외에도 더 넓은 범위에서의 안정적인 WIP 감지를 구현하고 아바타의 움직임을 보정하며, 다수의 사용자를 대상으로 실효성 및 우수성을 검증할 필요가 있다.

English Abstract: As recently commercial virtual reality (VR) devices has been released, it is expected that related VR market size would dramatically increase. However, VR interaction interfaces that allow users to navigate virtual environment are limited. VR omnidirectional treadmills are under development, but they are mostly cumbersome, expensive, and limit users’ movement. Therefore, walking-in-place (WIP) based system has gained attention as relatively simple and cheap way. Most of current WIP based systems use wearable inertial sensors that shows limitations of discomfort at long-time use, noise at intensive movement, and limited choice of possible interactions. In this study we aim to overcome limitations of current systems by developing a multiple kinect based portable omnidirectional navigation system for immersive virtual reality. The method to achieve stable omnidirectional skeleton (joint position) data by integrating data from the multiple Kinects will be investigated, and core algorithms to detect the gait cycle of WIP to properly control walking speed and direction of the VR avatar will be developed. The developed system then will be further validated through the usability test for major gait interactions including for/side/backward walking and running based on various VR application scenarios in a constructed simulated virtual environment.

One critical problem in terms of the accuracy of multiple Kinect tracking was found during the research process, and we have determined to use single Kinect instead which is superior in terms of both tracking accuracy and effectiveness. Research objective was changed to Semi-omnidirectional navigation accordingly, considering limitation of the single Kinect. For WIP detection, criteria for classifying each of for/side/backward WIP motion were established based on characteristics of positional relationship between joints investigated from the motional analysis of WIP cycle. After calibrating position data based on the user’s view angle for smooth detection, classification criteria was applied on the calibrated position data in order to identify the type of WIP motion among for/side/backward WIP. Then detection of the WIP motion was occurred based on continuous movement of ankle joint position that shows relatively high accuracy at any direction. Detection was segmented with small threshold value to reflect size and frequency of the WIP motion, to smoothen increase and decrease of the walking speed, and to minimize detection delay at start and end of the movement.

Evaluation of usability and user experience of the system prototype showed that it has acceptable usablity with the SUS score of 78.3 and positive user experience according to the UEQ-S result. In addition, participants felt overall system experience was immersive and felt like they actually became an avatar that exists inside the virtual space, but they also felt sideward WIP did not represent the actual sideward walking well and felt unnaturalistic. The interview with participants revealed some problems of the current system, and corresponding improvements were figured out. This research established theoretical framework of single Kinect and WIP based semi-omnidirectional VR navigation, and suggested side/backward WIP for the first time. The developed algorithms may serve as an useful input for researchers and practitioners in the related field. The developed system can be applied in numerous VR applications that need navigation inside virtual space. It is expected that the new VR contents business based on the suggested new way of VR interaction can be facilitated. For future research, the system can be further improved based on participants’ feedback collected from usability evaluation. Moreover, it is necessary to implement more stable WIP detection in wider range, and verify effectiveness of the system with larger number of participants.

Note: Downloadable document is Korean.

Keywords: 몰입형 가상현실, 가상 환경, 전방향 네비게이션, 키넥트, 제자리걷기, Immersive virtual reality, Virtual environment, Omnidirectional navigation, Kinect, Walking-in-place

Suggested Citation

Kim, Woojoo, 몰입형 가상현실을 위한 다중 키넥트 기반 휴대용 전방향 네비게이션 시스템 개발 (Development of a Multiple Kinect Based Portable Omnidirectional Navigation System for Immersive Virtual Reality) (January 5, 2018). Available at SSRN: https://ssrn.com/abstract=3374271 or http://dx.doi.org/10.2139/ssrn.3374271

Woojoo Kim (Contact Author)

Korea Advanced Institute of Science and Technology (KAIST), Department of Industrial and Systems Engineering ( email )

Daejeon
Korea, Republic of (South Korea)

Here is the Coronavirus
related research on SSRN

Paper statistics

Downloads
15
Abstract Views
199
PlumX Metrics