햅틱 컨트롤러는 <그림 2>와 같이 두 개의 햅틱 버튼, 마이크로 컨트롤러 그리고 블루투스 모듈, 하우징으로 구성된다. 두 개의 햅틱 버튼은 사용자의 버튼 조작 정보를 가상 환경에 전달하고, 가상 환경에서 계산된 촉각 정보를 사용자에게 되돌려 준다. 마이크로 컨트롤러는 이러한 햅틱 버튼을 제어하고, 블루투스 모듈을 사용하여 모바일 가상 환경과 통신한다. 햅틱 컨트롤러의 하우징 내에 자석을 부착하고 모바일 기기의 케이스에 자성물질로 만들어진 스티커를 붙였으며, 이를 통해 햅틱 컨트롤러 위에 모바일 기기를 고정시켰다. <그림 2(a)>는 햅틱 컨트롤러의 내부 구조를 보여주고, <그림 2(b)>는 완성된 햅틱 컨트롤러와 모바일 기기에서 실행된 어플리케이션을 보여준다.

본 연구에서 개발된 햅틱 버튼에는 소형 스마트 액추에이터가 탑재되어있다. 소형 스마트 액추에이터는 지름 30 mm, 높이 22 mm이며, 무게는 86.8 g이다. 이는 백규열 외 2명에 의해 개발되었던 근감각 액추에이터(크기 : 280 mm × 350 mm × 140mm, 무게 : 1.5 kg)보다 현저히 작고 가볍다. 또한, 기존에 개발된 근감각 액추에이터는 진동 촉감을 사용자에게 제공하지 못하지만, 본 논문에서 제안하는 스마트 액추에이터는 근감각 뿐만 아니라 진동 촉감까지 제공할 수 있다.

본 연구에서 개발된 햅틱 버튼의 구조적 특성을 보다 자세히 살펴보면, <그림 3>과 같이 압력 센싱부와 촉각 생성부(스마트 액추에이터)로 이루어진다. 압력 센싱 부는 사용자의 버튼 입력을 받아들이는 역할을 하며, 사용자의 손가락과 접촉이 이루어지는 버튼 커버와 사용자의 버튼 입력 여부나 인가되는 압력의 세기 등을 측정하는 박막형 힘센서로 구성되어있다.

촉각 생성부는 액추에이터 커버, 강성가변소재, 스프링, 솔레노이드 그리고 하우징으로 구성되며, 사용자가 버튼을 누를 때 사용자가 느끼는 근감각을 변화시킨다. 사용자에게 근감각의 변화를 제공하기 위해 외부 에너지원에 따라 강성이 가변 될 수 있는 소재가 필요하다. 본 연구에서는 솔레노이드에서 생성하는 자기장에 의해 물질의 강성이 변화되는 자기유변탄성체를 강성가변소재로 활용하였다. 스프링은 버튼에 인가되는 외부 압력이 사라졌을 때, 버튼을 초기 상태로 복원시키는 역할을 한다. 솔레노이드에서 생성된 자기장의 세기를 극대화하기 위해 하우징과 액추에이터 커버를 자성체로 제작하여 자기장을 폐자기 회로로 유도하였다.

햅틱 버튼에 사용된 자기유변탄성체는 탄성 고분자와 카르보닐 철 입자(Carbonyl Iron Particle; CIP)로 이루어져 있어 자기장의 유무 또는 세기에 따라 강성이 달라지는 특성이 있다[17]. 자기유변탄성체에서 탄성 고분자는 카르보닐 철 입자를 균일하게 분산시키는 역할을 하고, 카르보닐 철 입자는 외부에서 인가되는 자기장에 민감하게 반응하는 강자성체 역할을 한다. 이 입자에 인가되는 외부 자기장의 상태에 따라 입자가 이동하면서, 자기유변탄성체의 기계적인 물성 변화가 이루어진다.

<그림 4>는 촉각 생성부에서 자기유변탄성체의 강성이 변화하는 원리를 설명한다. <그림 4>의 (a)는 자기유변탄성체의 초기 상태를 나타낸다. 초기 상태에서 카르보닐 철 입자는 자기유변탄성체 내부에 무작위로 배열되어 있다. 솔레노이드에 전류를 인가하게 되면 자기장이 발생하고, 발생된 자기장에 의해 자기유변탄성체 내부의 카르보닐 철 입자들이 자화되면서 입자 간에 인력이 발생한다. 이러한 인력에 의해 <그림 4>의 (b)와 같이 카르보닐 철 입자들 간의 간격이 줄어들게 되어 사슬을 형성하게 되며[18], 이로 인해 자기유변탄성체의 두께가 약간 수축하고 너비 방향으로 약간 늘어나게 되며 자기유변탄성체의 강성이 높아진다. 이와 같은 원리로 햅틱 버튼은 자기장의 유무 및 세기에 따라 자기유변탄성체의 강성이 달라지며 사용자에게 근감각의 변화를 제공한다.

<그림 5>는 햅틱 컨트롤러에 사용된 촉각 생성부의 힘-거리 곡선을 보여준다. 촉각 생성부를 누르는 힘에 대한 반력이 측정됐으며, 거리는 촉각 생성부가 압축된 깊이를 의미한다. 실험 결과, 사용자가 촉각 생성부를 깊이 누를수록 촉각 생성부에서 생성되는 반력 또한 증가하며, 촉각 생성부에 인가되는 전압이 클수록 사용자에게 전달되는 힘이 커짐을 확인했다.

햅틱 컨트롤러의 왼쪽 버튼(도약 버튼)은 가상 환경의 배경에 따라 자기유변탄성체가 다른 강성을 갖도록 하여, 사용자는 가상환경의 캐릭터를 도약시킬 때 근감각의 변화를 느낄 수 있게 된다. 또한, 자기유변탄성체에 교류 신호를 인가하면 입력 주파수에 따라 수축과 팽창을 반복한다. 이로 인해 오른쪽 버튼(아이템 버튼)에 교류 신호를 인가하면 사용자는 진동 촉감을 느낄 수 있다.

본 연구에서 모바일 가상 환경은 Unity 2017 2D와 Visual studio 2017로 개발되었으며, C# 언어가 사용되었다. <그림 6>와 같이 개발된 모바일 가상 환경은 캐릭터(적색 원)가 도약 또는 하강하며 장애물(청색 사각형)을 피해 날아가는 횡 스크롤 2D 게임이다. 캐릭터가 통과하는 장애물의 수에 따라 점수가 매겨지며, 캐릭터가 장애물에 부딪히거나 바닥에 떨어지게 되면 게임은 종료된다. 장애물의 역할을 하는 파이프는 일정한 시간마다 생성되고, 캐릭터가 통과해야 하는 파이프 사이의 폭은 무작위로 결정된다.

사용자는 게임 속 캐릭터를 도약 버튼과 아이템 버튼을 이용하여 조작할 수 있다. 캐릭터는 도약하지 않을 시 설정된 중력에 의해 하강하여 바닥에 떨어지게 되면 게임이 종료되기 때문에 사용자는 가상 환경 속 장애물의 위치에 따라 캐릭터를 도약하면서 장애물을 피해야 한다.

사용자가 햅틱 컨트롤러의 도약 버튼을 누를 때 압력 센싱 부에 있는 박막형 힘 센서의 저항값이 변화하고, 이 정보는 마이크로 컨트롤러를 통해 가상 환경으로 전달된다. 사용자가 버튼을 누르고 있으면 박막형 힘 센서의 저항값이 작아져 가상 환경의 캐릭터는 도약한다.

사용자가 도약 버튼을 누를 때, 사용자는 가상 환경 속 캐릭터가 위치해 있는 서로 다른 배경(하늘, 설산, 바닷속)에 따라 다른 근감각을 느낄 수 있다(<그림 7> 참조). 하늘 배경에서 캐릭터는 공기 이외의 저항을 받지 않지 않도록 개발되었기 때문에, 사용자가 도약 버튼을 조작할 때 가장 약한 근감각을 느낄 수 있도록 하였다. 설산 배경은 캐릭터가 공기뿐만 아니라 눈보라와 같은 저항을 받도록 개발되었으므로, 도약 버튼에 전압을 인가하여 버튼의 강성을 높였다. 그러므로 가상 환경의 배경이 설산인 경우, 사용자는 하늘 배경일 때보다 도약 버튼의 조작에서 조금 더 큰 저항감을 받게 된다. 마지막으로, 바닷속 배경은 캐릭터가 물속에서 움직이고 있는 상황으로, 버튼에 설산일 때보다 더큰 전압을 인가하였다. 이와 동시에 햅틱 버튼의 강성을 최대화되며, 가장 큰 저항력을 사용자가 경험하도록 하였다.

아이템 기능은 가상 환경의 캐릭터가 장애물을 피하기 어려운 상황에서 사용될 수 있다. 사용자가 아이템 버튼을 누르면, 압력 센싱 부는 버튼 입력 여부를 인식하고 가상 환경에서는 캐릭터가 장애물을 격파할 수 있는 아이템을 발사한다. 이때 가상 환경은 마이크로 컨트롤러에 아이템 사용 정보를 전달하며, 마이크로 컨트롤러는 촉각 생성부에 교류 신호를 인가한다. 인가된 교류 신호의 전압레벨에 따라 자기유변탄성체가 수축 및 팽창하게 되는데, 반복적인 수축 팽창을 통해 사용자에게 진동 촉감을 준다.

이 실험에서는 제안하는 햅틱 컨트롤러 왼쪽 버튼(도약 버튼)의 저항력 차이를 사용자가 변별하여 지각하는지를 확인하였다. 본 연구에서 근감각 피드백은 모바일 가상 환경의 세 가지 배경에 맞춰 연속하여 제공되므로, 이에 맞춰 세 가지 근감각 피드백(약, 중, 강) 중에서 무작위로 두 개의 근감각 피드백을 제시하여 사용자가 변별하도록 하였다. 즉, 피 실험자는 햅틱 버튼을 손가락으로 반복하여 눌러보면서 제시된 두 가지의 근감각 피드백을 충분히 경험한 후 상대적으로 저항력이 크다고 느끼는 자극을 선택하였다. 피 실험자에게는 자극의 제시 순서를 고려하여 두 가지의 자극이 5초 간격으로 6회씩(약중, 약강, 중약, 중강, 강약, 강중) 3차례 반복(총 18회) 제시되었고, 햅틱 버튼의 물리적 변화로 인한 시각 정보가 피 실험자의 선택에 영향을 미치지 않도록 안대를 착용하도록 하였다.

햅틱 컨트롤러의 근감각 피드백에 대한 지각정확도는 평균 85.56%(SD=0.09)였다. 즉, 피 실험자들은 두 가지 근감각 피드백 사이의 저항력 차이를 명확히 구별하여 지각하는 것으로 나타났다. <표 2>는 근감각 피드백의 유형 및 제시 순서에 따른 지각정확도 결과이다. 제시된 근감각 피드백의 순서에 따른 큰 차이는 없었지만, 두 가지 근감각 피드백의 차이가 클 때(약강, 강약) 피 실험자들은 저항력이 큰 자극을 보다 명확하게 지각하였다.

이 실험에서는 햅틱 피드백(진동 촉감 및 저항력)이 모바일 가상 환경과 햅틱 컨트롤러로 이루어진 모바일 가상현실 시스템에 대한 사용자의 만족도를 향상시키는지를 확인하였다. 실험에 앞서 피실험자에게 모바일 가상 환경의 특성과 햅틱 컨트롤러의 조작방법을 충분히 이해하도록 안내하였다. 이후 피 실험자는 각각 3분 이상 무작위로 햅틱 피드백이 제공되는 햅틱 컨트롤러(HC)와 햅틱 피드백이 제공되지 않는 컨트롤러(NHC)를 사용하여 모바일 가상 환경을 체험한 후 설문지에 응답하였다. 피 실험자는 즐거움, 몰입감, 실재감, 조작 용이성, 재참여의도, 타인추천의도의 6개 문항으로 구성된 만족도 설문에 6점 척도(1점: 전혀 그렇지 않다, 6점: 매우 그렇다)로 응답하였다. 햅틱 피드백의 제공 여부에 따른 사용자의 만족도 결과는 IBM SPSS 22.0을 사용하여 대응표본 t검정으로 분석하였다.

<그림 8>은 컨트롤러의 햅틱 피드백 제공 여부에 따른 사용자의 만족도 결과이다. 햅틱 피드백을 제공하지 않는 컨트롤러(NHC) 보다 햅틱 컨트롤러(HC)를 사용하였을 때, 피 실험자들의 만족도 평균이 모든 문항에서 높았다. 특히 햅틱 피드백이 제공될 때, 모바일 가상현실 시스템에 대한 피 실험자의 즐거움(t=2.714, p=.024), 몰입감(t=2.905, p=.017), 조작 용이성(t=3.042, p=.014), 재참여의도(t=3.074, p=.013), 타인추천의도(t=3.308, p=.009)는 햅틱 피드백을 제공하지 않을 때보다 통계적으로 유의미하게 높았다(p<.05). 햅틱 피드백이 모바일 가상현실 시스템에 대한 사용자의 만족감을 전반적으로 향상시킨 반면, 햅틱 피드백의 제공 여부에 따른 실재감(t=1.633, p=.137)의 차이는 통계적으로 유의미하지 않았다. 이는 햅틱 피드백의 제공 여부와 관계없이 실재감의 평균 점수가 가장 낮았다는 점에서, 햅틱 피드백보다는 제한된 화면 크기와 그래픽 수준 내에서 모바일 환경에 구현된 가상 환경으로 인해 피 실험자에게 ‘마치 가상현실 내에 존재하는 것 같은’실재감을 주는 데는 한계가 있었던 것으로 해석할 수 있다.