This study presents the real-time emotion image contents player to induce the user's emotion efficiently. The emotion image contents player was designed to efficiently induce by giving a change in the color, brightness, saturation of image contents corresponded to the user's emotion. In the emotion recognition module, physiological signal of pulse, skin temperature, skin resistance which based on autonomic nervous system were used. The emotion recognition part used physiological signal of pulse, skin temperature, skin resistance based on autonomic nervous system. The image as emotional contents was used with the 9 kinds emotion area classified in international affective picture system(IAPS). As experimental results, the use's emotion that match the image's emotion with the emotion image contents player was derived 10% more accurately. The emotion contents player is expected to increase emotional feeling between users's emotion and contents emotion duo to the real-time emotion reflection.
정보기술의 발달로 게임, 가상현실 등의 다양한 시스템에서 사용자의 콘텐츠 수요가 증대되고 있다. 멀티미디어 콘텐츠 사용자들은 자신의 상황에 따라 콘텐츠를 제공받기를 원한다. 사용자의 감정이나 환경 등에 따른 개인화 된 지능적 반응은 사용자와 콘텐츠와의 감성적 교감을 가능하게 해주기 때문이다[1]. 지능적 콘텐츠로써 사용자의 감성에 따라 반응하는 감성콘텐츠에 대한 연구가 진행되고 있다. 감성 콘텐츠는 콘텐츠와 사용자간의 감성 소통을 통하여 사용자의 감성을 이해하고 적절하게 반응하는 콘텐츠이다[2]. 즉, 사용자의 감성 상태를 인지하여 미리 지정된 규칙에 맞추어 콘텐츠의 시청각적 요소인 색채, 조명, 사운드 등을 변화시켜 사용자가 교감하고 있다는 느낌을 받도록 적절하게 사용자의 감각을 자극하여 기존 감성 상태를 유도, 가속, 유지, 경감시킬 수 있도록 피드백을 제공하는 것이다[2]. 이러한 감성 콘텐츠에 대한 연구는 인공지능, 그래픽 분야, 스마트 TV, 컴퓨터 게임분야 등 다양한 분야에서 진행되고 있다[3].
그러나, 감성은 개인의 경험과 환경변화에 따라서 직관적이고 순간적으로 갖게 된다[1]. 또한, 사용자들은 실시간으로 시스템이 자신의 감성을 알아주고 사용자의 감성을 자극하고 유도하며, 지속시켜 줄 수 있는 시스템을 필요로 한다. 기존 연구에서는 시각적 자극이 사용자의 감성 변화에 영향을 주는 점을 활용하여 콘텐츠나 이미지를 통해 사용자의 감성을 유도하고 유도된 감성을 분석하는 형태로 연구가 진행되었다[4-6]. 이러한 연구는 제시되는 콘텐츠나 이미지에 따른 감성인식 변화를 실시간으로 콘텐츠에 반영시키는 것에 한계가 있다. 따라서 콘텐츠와 사용자가 실시간으로 양방향 상호작용하여 사용자의 감성을 유도하고 사용자의 감성에 따라 반응하는 감성콘텐츠와 감성 콘텐츠 플레이어 시스템을 설계하는 것이 유용하다. 이러한 감성 콘텐츠 플레이어 시스템은 사용자의 감성 유도에 효과적이며 사용자와 콘텐츠간의 교감을 증대시킬 것으로 기대한다.
본 연구에서는 IAPS(International Affective Picture System)의 대표 이미지 27장을 선정하여 고정 콘텐츠 방식과 감성 콘텐츠 방식으로 제시하였다. 고정 콘텐츠 방식은 IAPS의 감성 이미지를 사용자에게 제시하면서 사용자의 감성을 유도하는 방식이고, 감성 콘텐츠 방식은 실시간으로 콘텐츠와 사용자간 양방향으로 상호 작용하여 사용자의 감성을 유도하는 방식이다. 본 연구에 서는 감성 콘텐츠 방식에서 사용된 실시간 반응형 감성 이미지 콘텐츠 플레이어를 개발하였다. 이 플레이어는 실시간으로 맥파(PPG: Photoplethysmography), 피부온열반응(SKT: Skin Temperature), 피부전기저항(GSR: Galvanic Skin Response)의 세 가지 생체 신호를 획득하여 감성 모델에 의거하여 사용자의 현재 감성 상태를 판단하고, 그 감성 상태에 따라서 이미지의 색채, 명도, 채도를 변화시켜 제시한다. 사용자 감성 평가를 통해서 사용자의 감성이 실시간으로 반영되는 정도와 사용자 감성과의 일치되는 정도를 콘텐츠 제공 방식에 따라 비교하여 실시간 반응형 감성 이미지 콘텐츠 플레이어의 효과를 검증하였다.
2.1. IAPS (International Affective Picture System)
본 연구에서 사용된 감성 이미지 콘텐츠는 국제 정서 사진체계(IAPS)의 이미지이다. IAPS는 감정적인 이미지들의 집합으로 기쁨, 놀람, 공포, 분노, 혐오, 슬픔 등에 대해서 표준적이고 감정적으로 연상되고, 국제적으로 접근할 수 있는 색상 사진의 큰 집합의 형태로 개발된 것이다. 감성과 주의에 대한 실험적인 조사를 할 때, 규범적인 정서적 자극의 집합을 제공하기 때문에 다양한 분야에서 많이 사용되어져 왔다.
한편, IAPS 이미지의 색조 변화에 따라 사진에서 유도되는 감성적 반응에 변화에 대한 연구[7]와 사진의 밝기, 대비의 변화가 감성 반응에 영향을 미친다는 연구도 있다[8]. 그러나, 이러한 연구들은 미리 색조를 변화시킨 IAPS 이미지를 제시하는 단방향 방법으로 사용자의 감성의 변화를 분석한 연구라는 제한점을 갖는다.
감성인식에서 생체신호는 간단하게 획득할 수 있고, 사회·문화적 차이에 덜 민감하다는 장점이 있다[9]. IAPS 이미지를 제시하면서 6개의 생체신호(EMG, RV, SKT, SKC, BVP, HR)로 사람의 감성 분석 연구가 제시된바 있다[10]. 4개의 생체신호를 (PPG, SKT, GSR, EEG)를 통해 얻은 감성 정보를 이용하여 몰입도를 판단한 연구도 있다[11]. 생체신호를 통하여 인간의 감성의 변화를 분석하여 주관적 평가와 비교한 연구에서는 각성-이완 차원에서의 인간의 감성을 분류할 수 있다고 제시하였다[12].
그림 1은 본 연구에서 사용 된 2차원 감성 모델을 보여준다. 이 모델은 Russell의 Circumplex를 응용하여 [13] 각성, 이완, 쾌, 불쾌의 2차원 축의 4 영역을 기본모델로 간주하고, 2차원 축의 4영역을 9영역으로 확장 인식하도록 하였다[14].
3.1. 실시간 반응형 감성콘텐츠 플레이어 구성 및 동작 시나리오
제안하는 실시간 반응형 감성콘텐츠 플레이어 시스템은 그림2와 같이 감성인식 모듈과 감성 콘텐츠 플레이어 모듈로 구성된다. 감성인식 모듈은 실시간으로 사용자의 생체신호를 획득하여 9영역의 감성으로 분류하는 기능을 가진다. 감성콘텐츠 플레이어는 감성인식 모듈로부터 실시간으로 감성인식결과를 수신하여 사용자의 감성에 맞는 IAPS 이미지를 제시하는 기능을 한다. 구체적인 감성 이미지 콘텐츠 플레이어 시스템의 동작 시나리오는 아래와 같으며 이에 다른 시퀀스 다이어그램은 그림 3과 같다.
(1) 자율신경계 기반의 맥파(PPG), 피부온도(SKT), 피 부전도도(GSR)의 3가지 생체신호를 센서를 통해 획득한다. (2) 감성판단 시스템에서 신호처리를 한다. (3) 신호처리를 통해 9개의 감성 영역 중에서 하나의 감 성으로 분류한다. (4) 분류된 감성결과를 감성 이미지 콘텐츠 플레이어로 전송한다. (UDP 통신) (5) 분류된 사용자의 감성 결과에 따른 색상 규칙이 감 성 이미지 콘텐츠에 실시간으로 적용된다. (6) 적용된 감성 이미지 콘텐츠는 다시 사용자에게 영향 을 주며 이에 따른 생체신호 반응을 유도한다.
감성 인식 모듈은 랩뷰 프로그램으로 개발하였고 [11], 생체신호를 센서를 통해 획득하고 신호처리를 통해 2차원 감성 모델에 근거하여 사용자의 감성 상태를 유추하고 그 감성 정보를 감성 콘텐츠 플레이어 모듈에 전달하는 역할을 담당한다.
3개의 생체신호는 사용자의 왼쪽 귀에 PPG센서, 왼쪽 손의 엄지에 SKT센서, 왼쪽 손의 검지, 중지에 GSR센서를 부착하여 실시간으로 획득한다. 신호처리를 위해 바이오팩사의 MP100을 이용해서 아날로그 센서 데이터를 디지털 신호로 바꿔주는 A2D 컨버터가 사용된다[9].생체신호 실시간 분석 알고리즘은 PPG신호에서 진폭(Amplitude)와 주기(Frequency)를 분석하고, GSR신호와 SKT 신호에서는 평균값을 분석한다[11]. 신호처리를 통해 분류된 감성 정보는 실시간으로 UDP 기반의 네트워크 통신을 통해 다른 컴퓨터에서 동작하는 감성 콘텐츠 플레이어 모듈로 전달된다.
감성 콘텐츠 플레이어 모듈은 감성인식 모듈로부터 UDP기반의 네트워크 통신을 통해 실시간으로 감성 정보를 받게 된다. 9가지의 감성 마다 색상 규칙에 맞도록 이미지의 픽셀 값을 조절하여 색채, 명도, 채도를 변경하여 콘텐츠에 실시간으로 적용한다. 변경된 이미지를 사용자에게 슬라이드 쇼 방식으로 보여주도록 설계하였다. 프로그램의 유저인터페이스는 그림 4과 같으며, 비주얼 스튜디오 2010 개발 툴을 이용한 닷넷 플랫폼에 서 C#언어로 개발하였다. 사용자의 감성 상태가 변경될때마다 실시간으로 인식된 감성 정보를 수신하도록 설계하였다.
감성 인식 모듈로부터 받은 감성 정보에 따라서 감성이미지 콘텐츠의 색채, 명도, 채도가 실시간으로 변화하도록 이재만의 저서[15]를 참고하여 색상 모델 규칙을 적용하였다. 실시간으로 사용자의 감성 정보가 들어올 때마다 감성 이미지 콘텐츠 플레이어에 반영시켜 원래의 이미지가 유도하는 감성을 더 정확하게 유도할 수 있도록 하였다.
색상 모델 규칙은 감성 모델과 같이 2차원 모델이며 각 영역마다 변화하는 정도가 다르다. 고채도이면 각성을 유발하고, 저채도이면 이완을 유발하게 된다. 고명도이면 쾌를 유발하고 저명도이면 불쾌를 유발하게 된다. 각성 상태에서는 난색 계열의 색 중에서도 고채도의 빨강색을 추천하고 있어 이에 맞추어서 색상을 결정하였고, 이완 상태에서는 한색 계열의 색 중에서도 저채도의 파랑색을 추천하고 있어 이에 맞추어서 색상을 결정하였다[15].
그림 4는 9개의 감성 영역에서의 색상모델이다. 예를 들면, 불쾌(3)에서 쾌(1)로 감성이 변화하면 이미지 명 도 값이 증가하도록 하였다.(-3% → +3%) 또한, 이완(4)에서 각성(2)으로 감성이 변화하면 R값은 증가(-4% → +6%), G값은 증가(-4% → +4%), B값은 감소(+6% → +4%)하도록 설계하였다.
사용자의 감성 상태에 따라 콘텐츠의 변화 없이 단방향으로 제시되는 고정 콘텐츠 방식과 사용자의 감성 상태에 따라 실시간으로 색채, 명도, 채도가 변화하여 피드백이 제공되는 감성 콘텐츠 방식의 두 그룹으로 나누어서 실험을 진행하였다. 실험 참가자들은 각각 그룹의 9명씩 총 18명의 컴퓨터 관련 전공 대학생으로, 평균 연령은 24.2세이고, 남자 9명, 여자 9명이다.
두 그룹의 실험 참가자들은 Full HD 해상도 LED TV에서 1024x768 해상도의 IAPS 이미지 콘텐츠를 감상하였다. 전체적인 실험과정은 그림 6과 같다. 각 한 장의 이미지는 20초 동안 제시되고, 사진제시가 끝나면 5초간 제시된 사진이 유발하는 감성을 주관적 평가지에 작성한다. 구체적으로 감성 이미지 콘텐츠 플레이어는 검증된 2차원 모델의 9개의 영역별로 3장씩 총 27장의 IAPS 이미지를 랜덤 슬라이드 쇼 방식으로 제시한다. 그림 7는 사용된 IAPS 이미지 번호를 보여준다. 주관평가지는 2차원 감성 모델에 따른 9개의 영역이 나누어진 표로 작성하였다.
표 1은 각각 두 그룹에서 피험자가 느끼는 감성과 IAPS 이미지가 유도하고 있는 감성과의 일치도를 나타낸다. 분산분석 결과 고정 콘텐츠 그룹에서는 49.38%, 감성 콘텐츠 그룹에서는 60%의 일치도로 나타났다. 결과 값은 전체 27장의 이미지 중에서 해당 이미지가 유도하고 있는 감성과 피험자가 이미지를 보면서 느낀 감성과 일치한 횟수를 표시한 것으로, 결과 값은 유의수준 95%(p=0.017)에서 유의미하게 나타났다.
콘텐츠 제공 방법에 따른 감성 일치도
그림 8는 9가지 감성 영역에서 IAPS 이미지에 대한 사용자 응답의 평균적인 감성 일치도 결과이다. 고정콘텐츠 방식에서는 감성 영역 중에서 각성쾌 영역에서 일치도가 약 67%로 가장 높은 것으로 나타났다. 감성콘텐츠 방식에서는 감성 영역 중에서 이완 영역에서 일치도가 82%로 가장 높은 것으로 나타났다.
각성(2), 각성쾌(5), 각성불쾌(6)를 각성으로 간주하고 이완(4), 이완쾌(7), 이완불쾌(8)을 이완으로 간주였을 때, 표 2는 각성과 이완에서 감성 일치도 평균값을 보여준다. 두 가지 감성 모두 이완 감성보다 각성 감성에서 더 높은 감성 일치도를 보였고, 특히 이완 감성에 서는 고정 콘텐츠 방식보다 감성 콘텐츠 방식에서 감성일치도가 더 높았다.
[표 2.] 각성 영역과 이완 영역에서 감성 일치도 평균 값
각성 영역과 이완 영역에서 감성 일치도 평균 값
쾌(1), 각성쾌(5), 이완쾌(8)를 쾌로 간주하고 불쾌(3), 각성불쾌(6), 이완불쾌(7)를 불쾌로 간주하였을 때, 표 3은 쾌 감성과 불쾌 감성에서 감성 일치도 평균값을 보여준다. 두 가지 감성 모두 쾌 감성보다 불쾌감성에서 더 높은 감성 일치도를 보였고, 고정 콘텐츠 방식보다 감성 콘텐츠 방식에서 감성 일치도가 더 높았다.
[표 3.] 쾌 영역과 불쾌 영역에서 감성 일치도 평균 값
쾌 영역과 불쾌 영역에서 감성 일치도 평균 값
위의 결과에 따르면 고정 콘텐츠 방식보다는 감성 콘텐츠 방식이 감성 이미지가 유도하는 감성으로 10%정도 더 정확하게 유도되었다. 이 값은 통계적으로 유의미한 차이를 보였고, 감성 콘텐츠 플레이어가 사용자의 감성 상태에 맞는 감성을 유도한다고 볼 수 있다. 이를 통해 콘텐츠와 사용자간의 상호작용을 바탕으로 한 감성 콘텐츠 방식으로 콘텐츠를 제공 받으면 감성을 효과적이고 정확하게 유도할 수 있는 것을 검증하였다.
감성 콘텐츠에서 감성을 유도할 때, 이완 감성이 가장 감성유도가 잘 되나, 평균적으로는 각성 감성이 그 감성을 정확하게 유도하고, 불쾌 감성이 쾌 감성보다 그 감성을 정확하게 유도하는 것을 알 수 있었다.
부가적으로 IAPS 이미지가 감성 변화를 일으킨다는 점에서 감성 콘텐츠로 활용할 수 있다는 가능성을 보았고, 콘텐츠를 이용하여 감성을 유도할 때 색상, 명도, 채도를 어떻게 변경시켜야 하는지 방향을 제시하였다.
인간의 선택과 판단에 감성이 중요한 역할을 한다. 감성은 인공지능, 그래픽 분야, 스마트 TV, 컴퓨터 게임분야, 가상현실분야, 공공문화 서비스분야, 스마트폰 등 융 복합 분야 등에 다양하게 적용될 수 있을 것이다. 사용자의 감성에 따라 반응하는 감성 이미지 콘텐츠를 개발한다면 제안한 감성 이미지 콘텐츠 시스템을 통해 사용자의 감성을 반영시키고, 그 감성에 따라서 콘텐츠의 요소가 변화하도록 하여 사용자의 감성을 강화시키거나 약화시키는 것이 가능할 것이며 게임의 몰입 도나 사용의 만족도등을 향상시킬 수 있을 것이다. 또한, 각 개인의 감성에 따른 콘텐츠를 제공하여 콘텐츠와 사용자간의 감성적 교감을 증대시킬 수 있을 것이다.
