Given the context of rapid developing ubiquitous computing environment, it is imperative for users to search and use images based on affective meanings. However, it has been difficult to index affective meanings of image since emotions of image are substantially subjective and highly abstract. In addition, utilizing low level features of image for indexing affective meanings of image has been limited for high level concepts of image. To facilitate the access points of affective meanings of image, this study aims to utilize user-provided responses of images. For a data set, emotional words are collected and cleaned from twenty participants with a set of fifteen images, three images for each of basic emotions, love, sad, fear, anger, and happy. A total of 399 unique emotion words are revealed and 1,093 times appeared in this data set. Through co-word analysis and network analysis of emotional words from users' responses, this study demonstrates expanded word sets for five basic emotions. The expanded word sets are characterized with adjective expression and action/behavior expression.
최근 컴퓨터 정보 기술과 이용이 빠른 속도로 확대되어 가고 있으며, 감정 기반의 컴퓨팅은 가장 활발하게 연구가 이루어지고 있는 분야이다(Rho and Yeo 2013; Tao and Tan 2005). 감정 기반 컴퓨팅 기술 발전을 위한 핵심 과제중의 하나는 콘텐츠와 정보에 대하여 감정 기반의 접근과 이용이다. 따라서 감정 기반 컴퓨터 정보기술 환경에서 이미지와 같은 멀티미디어 감정 기반의 접근과 이용은 매우 중요한 연구 분야이다. 그러나 여러 학자들은 이미지의 특성상 키워드와 같은 텍스트는 이차적인 표현이기 때문에 직접적인 감정 색인과 검색에 있어서 상당한 어려움이 있다고 동의한다(Fidel 1997; Jörgensen 2003; Wang and Wang 2005). 이미지는 특히 시각적인 구성 요소에 기반을 둔 복합적이며 함축적 의미를 포함하고 있기 때문에 이미지 접근에 있어서 감정과 같은 추상적이고 함의적 접근점을 제공하는 것은 이미지 색인과 검색의 본질적인 어려움을 해결하려는 시도라고도 볼 수 있다. 이미지에 대한 감정과 같은 추상적이고 함의적 접근점 제공에 있어서 또 다른 측면의 어려움은 이미지에 대하여 느끼는 감정은 상당히 주관적이라는 사실이다. 실제적으로 감정을 표현하는 용어에 대해서 색인가와 이용자, 이용자와 이용자 사이에 상당한 차이를 보인다. 따라서 감정의 색인과 검색은 색인가와 이용자 사이의 주관적인 판단과 함께 이를 표현하는 용어 사용의 차이로 인해 검색 결과의 불일치로 이어지는 경향이 있다. 예를 들면, 색인가는 A라는 이미지에 ‘행복’이라는 감정 용어를 사용하여 색인한 경우에, 이용자 관점에서 ‘따뜻하다’, ‘즐겁다’ 등의 시각이 다른 용어를 사용하여 검색하는 경우에 검색 결과에 있어서 불일치가 일어나기 마련이다. 이러한 문제 해결을 위해서 기존의 연구들은 통제 어휘를 통해 다양한 유의어, 관련어, 변형어로도 색인과 검색이 이루어질 수 있도록 하는 시소러스 구축 등의 방법을 제시하였다(Jörgensen 2004; Yoon 2009). 그러나 현실적으로 이미지 색인과 검색을 위해서 구축해야 하는 시소러스는 분야별 특성을 지니고 있으며, 일반적인 목적을 지닌 시소러스 구축은 상당한 비용과 시간이 소요되는 단점이 있어 실질적인 적용에는 한계가 있다.
이에 본 연구는 이용자가 이미지에 대해서 반응한 결과를 분석하여 감정 접근점을 이용자 중심으로 확장하고자 하는 연구 목적을 수행하며, 궁극적으로 이미지 감정 접근과 이용 향상에 기여하고자 한다. 이러한 연구 목적의 달성을 위해서 두 가지 구체적인 연구문제를 다루고자 한다. 첫째는 이용자의 감정 반응에 주목하고자 한다. 이미지에 대한 이용자의 반응은 O'Connor, O'Connor, and Abbas(1999)가 제시한 바와 같이 이미지 접근에 있어서 중요한 속성이다. 따라서 본 연구는 이미지에 대한 이용자의 감정 반응을 이미지 감정 접근점 확장에 활용하고자 한다. 이와 함께 본 연구는 이용자가 제시한 이미지의 감정 반응에 나타난 용어를 기반으로 동시출현단어분석을 수행하였다. 동시출현단어분석은 함께 빈번하게 등장한 용어가 개념적으로 유사하다는 가정에서 출발하여 학문의 지적구조 분석 등에 자주 사용되어 왔다(He 1999). 본 연구는 이용자 감정 반응에서 동시에 빈번하게 출현한 용어를 분석하여 이를 네트워크 기반의 감정용어 확장을 제시하고자 하였다. 이러한 동시출현단어와 네트워크분석 방식은 전통적인 매뉴얼 시소러스 구축 방식에 비해서 비용과 시간 측면에 효율적일 뿐만 아니라 이미지의 감정용어 관련 네트워크 구현과 시각적인 제시에 있어서 효과적이라고 기대한다.
인간이 느끼는 감정을 기반으로 하여 정보를 저장, 검색, 이용하고자 하는 노력은 급격하게 진화하는 유비쿼터스 컴퓨팅 환경에서 필수적이며 가장 활발하게 연구되는 분야이다(Rho and Yeo 2013; Tao and Tan 2005). 최근에는 동영상, 음악, 이미지 등 멀티미디어 컨텐츠에 대한 감정 접근으로 확장시키고자 하는 연구들이 이루어지고 있다(Knautz and Stock 2011). 본 연구와 관련하여 이미지의 감정 접근을 위한 연구는 크게 두 가지 축으로 구분하여 살펴볼 수 있다. 첫째는 이미지의 감정 색인에 관한 연구 흐름이고, 둘째는 이미지에 대한 이용자 반응에 기반을 둔 이미지 검색의 활용에 관한 연구이다.
Jörgensen(1998)이 밝힌 바와 같이 이미지는 다층적 속성을 포함하고 있으며 이용자 관점에서 매우 중요한 이미지 속성은 감정이다. 이미지에 나타난 감정은 다른 추상적 개념의 속성과 함께 이용자가 인지하는 중요한 속성이다. 이용자가 감정으로 이미지를 검색하고 이용하기 위해서는 감정 기반 색인 과정이 필수적이다. 감정 색인에 관한 논의는 내용기반과 의미기반 이미지 검색 연구 분야에서 지속적으로 수행되었으나, 궁극적으로 하위 수준의 이미지 속성과 이용자가 찾고자 하는 추상적 수준의 개념으로서 감정으로 접근하여 이용하는데 상당한 간극이 존재한다(Enser et al. 2007). 이를 해결하기 위해서 여러 연구들이 수행되었다. 우선 유소영과 문성빈(2004)은 66건의 회화작품 이미지와 4명의 실험 참가자를 대상으로 한 실험에서 이미지에 대한 심미적 인상과 색상을 혼합하여 검색할 때 심미적 인상만으로 검색할 때보다 높은 정확률을 보였다고 제시하였다. 정선영과 정은경(2014)은 감정 색인을 위한 시각적 요인을 규명하기 위해 5가지 기본 감정을 나타내는 15건의 이미지에 대해서 20명의 연구 참여자와 인터뷰를 수행하였다. 연구 참여자와의 인터뷰 결과 총 620건의 시각적 요인 및 하위요인을 규명하였으며, 5가지 기본 감정별로 시각적 요인의 분포에 차이가 있음을 밝혔다. 이지연(2002)은 이미지의 감정정보에 대하여 2차례의 실험을 통하여 색인 일관성에 대한 탐구를 수행하였다. 1차와 2차 실험에서 이용자 간의 색인 일관성과 이미지 탐색 과정에서 기존 주제어와 이용자의 동의 정도를 파악하였다. 이 두 차례 실험의 결과 감정 정보의 색인 객관성을 담보하는 것은 한계가 있으며, 이용자의 주관적 접근을 가능하게 하는 시스템 필요하다고 제시하였다.
최근에는 소셜미디어 서비스의 발달과 활발한 이용에 기인하여 이용자가 이미지에 대하여 직접적으로 생성한 태그를 통하여 이미지 색인과 감정 색인으로서 활용 가능성이나 유용성을 분석한 연구들을 찾아볼 수 있다. 감정색인에 국한되지는 않았지만, 일반적인 관점에서 Stvilia, Jörgensen, and Wu(2012)는 소셜 태깅이 이미지 색인에 기여할 수 있는 가능성을 탐색하였다. 이를 위하여 저자들은 Thesaurus for Graphic Materials와 Library of Congress Subject Heading 기반의 기존 색인어에 Flickr와 위키피디아의 이용자가 생성한 이미지 태그를 합하여 이용자에게 유용성 실험을 수행하였다. 실험 결과 소셜 태킹은 기존의 통제 어휘 기반 색인어와 더해져서 이용자들에게 유용하다고 인지되었으며, 이미지에 대한 포괄성 또한 높은 것으로 나타났다. 이러한 결과는 이미지 색인과 검색에 있어서 소셜 태킹의 가치와 함께 실제적인 활용 가능성을 보여준 것이라고 볼 수 있다. Rorissa(2010) 역시 일반적인 관점에서 이미지색인과 검색에 있어서 이용자가 생성한 태킹정보의 유용성을 규명하기 위해서 Flickr에 부여된 태그와 색인가가 부여한 색인어를 비교분석하였다. 2007년 6월 1일부터 7일까지 7일 동안 Flickr에 업로드되고 태깅된 이미지 약 2백만건과 St. Andrews Library Photographic Archive의 소장 이미지 300,000건을 모집단으로 설정하였다. 이 중에서 Flickr 이미지는 무작위로 선정된 975건의 이미지에 부여된 4,159건의 태그와 St. Andrews의 996건의 이미지에 부여된 3,709의 색인어가 비교되었다. 이용자들이 부여하는 태그는 이미지에 나타난 시각적 내용뿐만 아니라 이미지가 나타내는 장소, 사건, 시간 등 보다 광범위한 맥락적 요소를 포함하고 있다고 보고하였다. Rorissa는 카이 자승과 t-검증 기법을 사용하여 태그와 색인어 사이에 근본적인 차이가 존재하는 것을 제시하였다. 보다 구체적으로 이용자가 제공한 태그와 감정 색인에 대한 가능성을 타진한 Schmidt와 Stock(2009)은 이미지 감정 색인을 위하여 소셜 태킹과 같은 집합적 색인 가능성에 대한 탐구를 시도하였다. 총 763명의 연구 참여자들은 5가지 기본 감정의 전형 이미지에 대해서 스크롤 바와 태그를 사용하여 감정을 표현하였다. 이들은 이용자들이 표현한 결과를 분석하여 특정이미지에 대해서 일관적 감정의 표현과 기본단계이론에 근거한 기본 수준의 태그가 사용되었음을 보고하였다.
이미지는 본질적인 특성상 색상, 구도, 질감과 같은 하위 수준의 속성에서부터 추상적인 관념의 수준까지 여러 계층의 속성을 포함하고 있다. 따라서 여러 수준의 속성을 기반으로 색인하여 이용자가 접근하여 이용할 수 있도록 하는 이미지 접근점에 다양한 연구들이 수행되어 왔다. Fidel(1994)은 이용자 반응 기반의 색인은 정보 검색의 효율적인 방식이며 이용자의 요구를 미리 예측하는 가장 좋은 방식이라는 점을 주목하였다. Fidel과 생각을 같이 하는 여러 연구자들은 이용자의 반응은 이미지 접근에 있어서 의미있는 수단이 될 수 있다고 다양한 실험을 통해 지지한다(Shatford Layne 1994; Robertson, Maron, and Cooper 1982; O'Connor, O'Connor, and Abbas 1999). 최근에는 소셜네트워크 서비스의 발달로 인해 이용자가 스스로 이미지에 대해서 반응을 태깅으로 생성하는 시스템이 널리 활용되어 이용자의 반응이 집합적으로 축적되는 상황이다. 이러한 상황에서 이미지 검색 분야에서 이용자가 생성한 이미지 태킹의 시소러스 구축 적용 가능성, 이용자 요구기반의 검색 활용 가능성, 이미지 콜렉션 접근 등 다양한 방향의 연구들이 수행되었다.
이용자가 생성한 태그를 활용하여 이미지 검색을 위한 시소러스 구축에 반영할 수 있는 제안점을 제시한 Yoon(2009)은 Flickr 서비스의 이미지 태킹을 분석하여 시소러스 구축에 반영할 수 있는 시사점을 도출하였다. Shatford Layne(1994)의 범주와 Rosch et al.(1976)의 기본단계이론을 활용하여, 시소러스 설계를 위한 제안점을 제시하였다. 시소러스 설계 시에 색상과 일반 범주를 위해서는 기본단계 용어에 집중하는 것이 바람직하다고 제안하였다. 일관된 일련의 용어 구축이 상대적으로 어려운 추상개념을 위해서는 용어의 계층구조와 연관구조를 통해 브라우징 기능을 확장하는 것이 바람직하다고 제시하였다. 시소러스의 의미구조 형성에 있어서는 용어가 하나의 항목에 제한되는 것보다는 관련된 여러 항목에 복수로 연결되는 것이 필요하다고 밝혔다. 결론적으로 Yoon의 연구는 이용자의 제공하는 이미지에 대한 태킹이 용어간의 의미적 관계를 표현하는 시소러스 구축에 있어서 상당히 의미있게 집적된 이용자 반응이라고 제시하였다. 이용자의 검색요구와의 비 교를 위해서 Chung과 Yoon(2009)는 Shatford Layne의 범주체계와 기본단계이론의 구체성에 기반하여 Flickr 이용자가 제공하는 태그와 검색 질의어의 특성을 비교 분석하였다. 태그와 검색 질의어에 대해서 범주 분석 결과의 빈도 분석과 카이 자승 분석을 통해서 통계적으로 유의미한 차이가 있음을 보였다. 태그와 검색 질의어의 구체성 수준에서도 통계적으로 유의미한 차이를 밝혔다. 이미지의 컬렉션 접근은 개별 이미지에 대한 행태와 차이가 있으며, 이 점을 주목하여 Stvilia와 Jörgensen(2009)은 Flickr에서 개인 이미지 컬렉션(photoset)과 이용자 그룹이 집합적으로 생성한 이미지 컬렉션(group photo)에 대하여 이용자가 생성한 기술을 내용 분석하여 이미지 컬렉션 수준의 메타데이터에 대한 제안점을 보여주고자 하였다. 이미지를 10개의 범주를 사용하여 사진첩(photoset)기능의 컬렉션 단계에서의 태그를 분석하였다. 분석결과 플리커 이용자들은 개인 이미지 컬렉션은 bottom-up방식의 이미지 기술이 보편적이며, 그룹 이미지 컬렉션은 top-down 방식의 이미지기술이 지배적이라고 밝혔다. Rorissa(2008)의 연구는 기본단계이론을 활용하여 개별 이미지의 색인과 검색뿐만 아니라 그룹의 이미지를 대상으로 색인과 검색 향상을 목적으로 한다. 이를 위해서 Rorissa는 180명의 연구 참여자가 이미지를 보고 생성한 정렬, 명명, 기술 결과를 분석하였다. 그 결과 연구 참여자들은 그룹의 이미지와 개별 이미지를 명명하고 기술하는 과정에서 완전히 다른 사고 구조로 접근하는 것을 보여주었다. 기본단계이론의 세 가지 단계인 상위단계, 기본단계, 하위단계를 통해 살펴보면, 그룹 이미지의 명명에서는 상위단계를 사용하며, 개별 이미지를 기술하는데 있어서는 기본단계를 사용하는 것으로 나타났다.
지금까지 살펴본 관련 연구는 주로 이미지 감정색인의 주관성과 이미지 하위요소와 감정과 의 연계점 규명 등을 다루고 있다. 또한 최근 이미지에 대한 이용자 반응의 집적이라고 볼 수있는 이미지 태그 정보의 분석과 활용을 보여주고 있다. 태그 정보의 활용과 분석은 이용자의 요구 분석과의 연계, 메타데이터 요소 제안 등에 집중되어 있다. 감정색인을 위해서 이용자의 반응을 활용하는 관점의 연구가 미비한 상태이다. 따라서 본 연구는 이용자의 반응을 감정색인에 적극적으로 활용하여 이미지 감정 접근 향상에 기여하고자 한다.
본 연구는 ‘이미지 감정 색인과 접근’이라는 일련의 연구 프로젝트의 일환으로 수행되었다. 이미지 감정 색인에 관한 연구인 정선영과 정은경(2014) 연구의 후속 연구이며, 본 연구는 앞선 연구와 마찬가지로 연구 목적 성취를 위해서 유럽 문화유산 데이터베이스인 유로피아나(europeana)에서 검색된 동일한 이미지 데이터(정선영, 정은경 2014 연구 참조)를 사용하였다. 데이터 선정과정에서 International Affective Picture System(IAPS) 등을 고려하였으나, 유로피아나 데이터를 최종 선정하였다. 이러한 선정 결정은 Armitage와 Enser(1997)가 제시한 것처럼 감정을 자극하는 극단적인 이미지 보다는 일반적인 이미지의 이용과 이에 대한 인식을 적용하는 것이 이미지의 감정 색인과 접근점 확장하는데 있어서 실질적인 기여가 될 수 있다는 고찰에 기인한다. 본 연구는 유로피아나 이미지 중에서 전문 색인가에 의해서 5가지 기본 감정(사랑, 행복, 슬픔, 분노, 공포)으로 색인된 이미지를 선정하였다. 5가지 감정으로 색인된 수많은 이미지 중에서 사전 실험을 통해 해당 감정으로 지속적으로 이용자들에게 받아들여진 이미지 3건을 감정 이미지 모형으로 선정하였다. 결과적으로 5가지 감정에 대해서 3건의 이미지, 즉 총 15건의 이미지가 본 연구에 사용되었다. 또한 연구 참여자는 2013년 7월 10일부터 8월 29일까지 본 연구의 데이터 수집에 참여하였다. 연구 참여자는 총 20명이며 특성을 살펴보면, 20대 초중반의 대학 및 대학원 재학생으로 남여 비율은 여성 참여자가 50%를 약간 상회하는 수준이다. 연구 참여자는 15개의 이미지를 보고, 가장 먼저 떠오르는 감정에 대하여 표현할 수 있는 내용을 모두 자유롭게 개방형 설문지에 기술하도록 안내되었다.
연구 참여자가 5가지 기본 감정으로 색인되어 검색된 총 15개의 이미지를 보고 기술한 감정 표현은 데이터 분석을 위한 용어 정련 과정을 거쳤다. 예를 들어 ‘기쁨을 느꼈다’, ‘기쁘다’, ‘기뻐하는 것 같다’ 등의 용어를 ‘기쁨’이라는 명사형으로 통제하는 과정을 거쳐서 동일한 용어는 하나의 대표 용어로 분석될 수 있도록 하였다. 우선 전체 감정 용어를 대상으로 동시출현단어 분석하여 상위 동시출현단어를 기반으로 감정 용어 동시출현 네트워크를 구현하였다. 이와 함께 5가지 감정인 슬픔, 사랑, 공포, 행복, 분노 별로 감정 용어 동시 출현 네트워크를 구현하였다. 동시출현단어 분석에서 동시출현 행렬 작성은 BibExcel
본 연구는 이용자의 감정 반응을 동시출현단어분석과 네트워크 분석을 수행하기 위해서 연구 참여자의 감정반응 응답을 처리하고 정련과정을 거쳤다. 5가지 기본 감정을 표현하는 이미지에 대하여 이용자의 반응은 399건의 고유 용어로 나타났다. 399건의 고유 용어는 동일한 연구 참여자가 동일한 이미지를 보고 기술한 내용에서 중복 출현한 경우를 제외하면 전체 1,093회 출현하였다. 하나의 이미지 당 약 72건의 용어가 출현하였다. 이 중에서 9회 이상 출현한 상위 출현빈도 20위의 용어는 <표 1>에서 제시하는 바와 같다. 5가지 기본 감정의 유로피아나의 색인어 중 4가지 색인어인 슬픔, 사랑, 공포, 행복이 각각 43회, 38회, 34회, 30회 출현하여 1위부터 4위를 차지하였다. 분노는 21회 출현하여 7위를 차지하였으며, 5위는 무서움으로 29회, 6위는 귀여움으로 23회 출현하였다.
전체감정 상위 출현빈도 용어
감정 용어의 동시출현빈도를 상위 26위(동시출현 횟수 4회 이상)에 나타난 동시출현 용어 쌍을 살펴보면, <표 2>와 같다. 상위 용어 쌍에서 ‘사랑’ 기본 감정 용어와 같이 나타난 용어들은 귀여움(10회), 행복(8회), 따뜻함(6회), 기쁨(4회), 안정감(4회), 편안함(4회) 등으로 나타났다. 특히 형용사인 ‘귀엽다’, ‘따뜻하다’, ‘편안하다’ 등의 용어가 ‘사랑’이라는 감정용어와 같이 사용된 것으로 나타났다. ‘슬픔’ 기본 감정 용어와 함께 빈번하게 출현한 용어는 ‘두렵다’(5회), ‘서럽다’(4회), ‘외롭다’(4회), ‘안타깝다’(4회), ‘우울’(4회)과 함께 가장 많이 출현하였다. ‘슬픔’ 감정 용어 역시 형용사인 ‘두렵다’, ‘서럽다’, ‘외롭다’ 등이 빈번하게 출현한 것을 찾아볼 수 있다. ‘공포’ 감정 용어는 ‘두렵다’(9회), ‘무섭다’(8회), ‘놀라다’(4회) 등과 함께 빈번하게 나타났다. ‘행복’ 감정 용어는 ‘사랑’(8회), ‘기쁨’(5회), ‘웃음’(4회), ‘귀여움’(4회) 등과 같이 나타났다. 이 중에서 형용사 ‘귀엽다’를 상위에서 찾아볼 수 있다. ‘분노’ 기본감정 용어는 ‘화남’(4회)과 같이 출현한 것으로 나타났다. 또한 5가지 기본 감정 용어를 포함하지 않은 상위 출현한 용어 쌍은 ‘두려움’ - ‘무서움’, ‘고독’ - ‘외로움’, ‘다정함’ - ‘따뜻함’, ‘두려움’ - ‘화남’으로 나타났다.
전체감정 상위 동시출현 용어쌍
전체 감정용어를 대상으로 구성된 감정용어 동시출현네트워크
슬픔으로 색인된 이미지를 보고 연구 참여자는 반응을 기술하였으며, 이용자 반응에서 추출한 고유한 용어는 총 108건으로 나타났다. 슬픔으로 색인된 이미지를 보고, 연구 참여자는 총 215건의 용어를 사용하였으며, 하나의 이미지에 평균 3.58건의 용어를 사용하였다. <표 3>에서 제시하는 바와 같이 4회 이상 나타난 상위출현 빈도 용어는 12건으로 나타났으며, ‘슬픔’(26회), ‘절망’(10회), ‘고뇌’(8회) 등으로 나타났다.
슬픔감정 상위 출현빈도 용어
슬픔으로 색인된 이미지를 보고 연구 참여자가 기술한 감정 용어의 동시출현 상황을 살펴보면, <표 4>에서 제시하는 바와 같다. 3회 이상 함께 나타난 용어의 쌍은 ‘두려움’ - ‘슬픔’(4회), ‘서러움’ - ‘슬픔’(4회), ‘슬픔’ - ‘안타까움’(4회), ‘슬픔’ - ‘절망’(3회), ‘무서움’ - ‘슬픔’(3회)으로 나타났다. 특징으로 살펴볼 수 있는 것은 상위 동시출현 용어 쌍은 모두 ‘슬픔’이라는 기본감정 색인어와 쌍을 이루어 출현하였다는 점이다.
슬픔 상위 동시출현 용어쌍
이와 함께, <그림 2>는 슬픔의 이미지를 통해 연구 참여자가 반응하여 기술한 용어 중 3회이상 출현한 용어 20건을 대상으로 동시출현네트워크를 보여준다. 슬픔 네트워크는 기본감정 용어인 ‘슬픔’을 중심으로 구성되어 있다. 전체적으로 네트워크에서 살펴볼 수 있는 바와 같이, 주로 ‘슬픔’ 감정과 관련된 감정 용어들과 연결되어 있다. 특징적으로 나타난 용어는 ‘혼란스러움’, ‘포기’, ‘짜증’, ‘그리움’ 등을 찾아볼 수 있는데, 해당 이미지의 특성을 반영한 것으로 여겨진다.
사랑의 이미지에 연구 참여자가 기술한 용어를 분석하면, 총 119건의 고유한 용어가 출현하였으며, 전체적으로 총 214건의 용어가 나타났다. 사랑의 이미지에 사용된 용어는 이미지 하나에 대하여 평균 3.57용어가 사용되었다. <표 5>는 사랑의 이미지에 대하여 연구 참여자에 의해서 표현된 용어 중에서 출현 횟수가 4회 이상인 상위 출현빈도 용어를 제시한다. ‘사랑’(22회) 용어가 가장 빈번하게 출현하였으며, ‘따뜻함’(11회), ‘귀여움’(7회), ‘포근함’(5회) 등이 상위권을 차지하고 있다. 이는 ‘따뜻하다’, ‘귀엽다’, ‘포근하다’ 등의 형용사적 표현이 사랑의 이미지에 대해서 빈번하게 사용되고 있음을 보여주고 있다.
사랑 상위 출현빈도 용어
사랑 감정 용어의 상위 동시출현 용어 쌍은 총 3회 이상 <표 6>과 같이 나타났다. 상위 동시출현 용어 쌍에서 ‘따뜻함’ - ‘사랑’, ‘사랑’ - ‘행복’, ‘귀여움’ - ‘사랑’ 용어 쌍은 기본 감정 색인어인 사랑을 포함하고 있지만, ‘따뜻함’ - ‘포근함’과 ‘따뜻함’ - ‘신비로움’ 등의 용어 쌍은 ‘사랑’이라는 기본 감정 용어 없이 빈번하게 함께 출현하고 있는 것으로 나타났다.
사랑 상위 동시출현 용어쌍
이와 함께 <그림 3>은 사랑 용어 중에서 3회 이상 출현한 용어 19건을 대상으로 구현한 동시출현 네트워크를 제시한다. 상위 동시출현빈도 용어 쌍에서 살펴본 바와 같이 ‘사랑’ 감정 용어 이외에 ‘따뜻함’, ‘포근함’, ‘귀여움’, ‘부드러움’, ‘편안’ 등의 용어가 상대적으로 높은 빈도로 다른 용어와 연결된 중요한 노드이다.
연구 참여자들은 공포의 이미지에 대한 반응으로 총 219건의 용어를 사용하여 기술하였다. 이 중에서 총 121건의 용어는 고유한 것으로 나타났다. 평균적으로 하나의 이미지에 대해서 약 3.65건의 용어를 사용하였으며, 4회 이상 출현한 상위 출현용어는 <표 7>과 같이 제시되었다. ‘공포’(22회) 용어가 가장 많이 출현하였으며, 이어서 ‘무서움’(11회), ‘외로움’(7회), ‘두려움’(7회) 등의 용어를 상위에서 찾아볼 수 있다.
공포감정 상위 출현빈도 용어
이와 함께 <표 8>은 공포감정의 이미지들 대상으로 하여 3회 이상 함께 나타난 상위 출현 용어 쌍을 제시한다. ‘공포- 두려움’(6회), ‘공포’ -‘무서움’(5회), ‘공포’ - ‘외로움’(3회), ‘공포’ - ‘놀람’(3회) 등의 쌍은 공포 기본 감정 용어를 포함하고 있다. ‘고독’ - ‘외로움’(4회), ‘두려움’ - ‘무서움’(4회)은 공포 기본 감정 용어를 포함하고 있지 않지만 상위에 함께 출현한 것으로 나타났다.
공포감정 상위 출현빈도 용어 쌍
<그림 4>에서 살펴볼 수 있는 바와 같이 주요한 용어는 ‘공포’, ‘무서움’, ‘두려움’으로 살펴볼 수 있다. 이와 함께 ‘절망’, ‘긴장감’, ‘외로움’, ‘고독’, ‘슬픔’ 등의 용어도 상대적으로 중요한 노드로 나타났다.
행복을 표현한 이미지에 대해서 연구 참여자들의 반응을 분석하여 총 208건의 감정용어를 찾아내었으며, 80건의 용어가 고유한 것으로 나타났다. 이는 평균적으로 이미지 하나당 3.47건의 용어가 사용된 것으로 보여준다. 고유한 감정용어 중에서 4회 이상 나타난 상위 출현단어는 <표 9>와 같이 제시되었다. ‘행복’(27회)용어가 가장 많이 나타났으며, ‘기쁨’(15회), ‘귀여움’(13회), ‘사랑’(12회) 등 긍정적 감정용어가 주를 이룬다. 그러나 특기할만한 점은 ‘슬픔’이라는 감정용어가 부정적 감정이면서 상위 출현 목록에서 찾아볼 수 있다는 점이다. 이 현상에 대해서 두 가지 설명이 가능하다고 볼 수 있다. 하나는 연구 참여자들이 감정을 반어적으로 표현하는 현상이 나타났거나, 혹은 대상 이미지의 특성 상 ‘슬픔’이라는 감정도 함께 느낄 수 있는 경우이다. 본 연구의 경우는 사용한 이미지의 특성상 ‘슬픔’이라는 감정 또한 느낄 수 있는 상황이라고 볼 수 있다.
행복 상위 출현빈도 용어
<표 10>은 행복을 표현하는 이미지에 대한 연구 참여자들의 감정용어의 동시출현 빈도를 기준으로 하여 상위 6쌍의 용어를 제시한다. ‘행복’ 감정용어가 함께 사용된 용어쌍은 ‘사랑’ - ‘행복’(5회), ‘기쁨’ - ‘행복’(5회), ‘귀여움’ - ‘행복’(4회), ‘웃음’ - ‘행복’(4회)으로 나타났다. 이와 함께 ‘귀여움’ - ‘사랑’(6회), ‘귀여움’ - ‘즐거움’(4회) 용어 쌍은 행복 감정용어를 포함하지 않았지만 빈번하게 출현한 용어 쌍으로 나타났다.
행복 상위 출현빈도 용어 쌍
행복 이미지를 대상으로 기술한 감정 용어 중 3회 이상 출현한 17건의 감정용어를 기반으로 동시출현 네트워크가 <그림 5>에서와 같이 제시되었다. ‘행복’을 중심으로 ‘기쁨’, ‘사랑’, ‘편안’, ‘귀여움’, ‘즐거움’, ‘안정감’ 등이 주요한 노드로 확인되었다. 특히, ‘따뜻함’, ‘귀여움’, ‘예쁨’ 등은 데이터 정련 과정에서 명사형으로 통제된 형용사로서 행복 감정 네트워크에서 중요한 용어로 나타났다.
연구 참여자들이 분노 이미지에 본 반응을 기술하였으며, 이를 살펴보면, 총 237건의 감정용어가 나타났으며, 이중에서 134건의 용어가 고유한 것으로 나타났다. 하나의 이미지 에 대해서 평균 3.95건의 용어가 기술되었으며, 이는 다른 기본감정의 이미지에 사용된 용어의 수에 비해 상대적으로 많이 사용된 것으로 보인다. 이중에서 4회 이상 나타난 상위 출현단어는 <표 11>과 나타났다. ‘분노’(18회) 용어가 가장 많이 나타났으며, ‘화남’(13회), ‘무서움’(13회), ‘두려움’(10회), ‘혐오’(7회), ‘폭력적’(5회), ‘위협’(4회) 등의 부정적 감정용어가 주를 이룬다.
분노감정 상위 출현빈도 용어
한편 <표 12>는 분노 감정의 상위 동시출현용어 쌍을 제시한다. ‘분노’ 감정 용어를 포함하는 쌍은 ‘분노’ - ‘화남’(4회), ‘무서움’ - ‘분노’(3회)로 나타났으며, ‘무서움’ - ‘화남’(4회), ‘두려움’ - ‘화남’(4회), ‘공포’ - ‘화남’(3회), ‘공포’ -‘무서움’(3회), ‘권위적’ - ‘무서움’(3회) 등을 찾아볼 수 있다. ‘분노’와 ‘화남’은 동의어로 여겨지므로, 특기할 만한 분노 감정에 대해서 특기할만한 용어 쌍은 ‘공포 - 무서움’, ‘권위적 - 무서움’ 등을 찾아볼 수 있다.
분노 상위 출현빈도 용어쌍
분노의 감정 용어 중에서 3회 이상 출현한 17건의 용어를 대상으로 동시출현 네트워크가 <그림 6>과 같이 구현되었다. ‘분노’, ‘무서움’, ‘공포’, ‘두려움’ 등의 용어와 함께 ‘겁남’, ‘압박감’, ‘혐오’, ‘권위적’, ‘압도’ 등이 비중 있는 용어로 나타났다.
감정 기반 컴퓨팅 기술의 발전과 함께 이미지감정 기반 검색과 이용을 가능하게 하기 위해서는 감정 기반 색인이 필수적이다. 감정 색인은 기존의 연구들이 밝힌 바와 같이 본질적으로 이미지가 내포하고 있는 추상적이고 함의적 개념을 색인하는 난제 중에 하나이다. 이에 대하여 본 연구는 최근 연구 흐름과 같이 이미지 감정색인을 위해서 이용자의 반응을 활용하고자 하였다. 이용자의 반응을 분석하여 동시에 빈번하게 출현하는 용어를 네트워크로 표현하여 이미지의 감정 접근점을 확장하고자 하였다. ‘사랑’, ‘행복’, ‘분노’, ‘슬픔’, ‘공포’와 같은 5가지 기본감정을 표현하는 이미지에 대하여 연구 참여자의 반응을 기반으로 동시출현단어분석과 네트워크 분석을 수행하였으며, 그 결과 기본 감정용어의 확장을 제시하였다.
전체 감정을 대상으로 한 네트워크는 긍정적 감정과 부정적 용어로 크게 양분되는 양상을 보였다. 기본 감정 용어인 ‘행복’, ‘사랑’은 유사어나 동의어 이외에도 ‘따뜻함’, ‘편안함’, ‘기쁨’ 등이 긍정적 용어와 함께 빈번하게 등장하는 것으로 나타났다. ‘슬픔’, ‘분노’, ‘공포’의 부정적 기본 감정 용어는 유사어나 동의어 이외에도 ‘걱정’, ‘긴장감’, ‘두려움’, ‘외로움’, ‘압박감’, ‘절망’, ‘고뇌’, ‘충격’, ‘화남’ 등의 용어와 빈번하게 등장하는 것으로 나타났다. 개별적인 기본 감정으로써 슬픔 감정 네트워크를 살펴보면, ‘두려움’, ‘안타까움’, ‘불안’, ‘무서움’, ‘절망’, ‘고뇌’ 등이 주요하게 슬픔 용어와 연결되어 있는 것으로 나타났다. 사랑 감정 네트워크에서는 사랑 감정용어와 연결된 주요한 용어들이 도출되었는데 ‘따뜻함’, ‘포근함’, ‘편안함’ 등이다. 공포 감정 네트워크에서는 기본 감정 용어와 ‘혐오’, ‘놀람’, ‘긴장감’, ‘두려움’, ‘무서움’, ‘절망’, ‘외로움’ 등이 빈번하게 동시에 출현하였으며, ‘고독’, ‘슬픔’, ‘우울’ 등이 특징적인 용어로 나타났다. 행복 감정 네트워크는 행복 기본 감정 용어가 중심이 되어 ‘귀여움’, ‘사랑’, ‘편안’, ‘즐거움’, ‘안정감’, ‘기쁨’ 등의 용어와 함께 출현한 것으로 나타났다. 분노 감정 네트워크는 ‘무서움’, ‘화남’ 과 빈번하게 나타났으며, ‘공포’, ‘두려움’, ‘겁남’ 등이 특징적으로 비중있게 나타났다.
이와 같은 연구결과를 바탕으로 이미지 감정색인과 검색 향상을 위한 이용자 반응 기반 감정접근점 확장은 세 가지 논의 사항을 중심으로 살펴볼 수 있다. 첫째, 전체 감정 네트워크를 살펴보면, 5가지 기본 감정의 구분은 명확한 경계가 있기 보다는 감정의 최상위 구분 단계인 긍정적 감정과 부정적 감정으로 양분되어 나타났다. 이러한 결과는 5가지 기본 감정 중에서도 긍정적 감정인 ‘사랑’과 ‘행복’의 감정을 표현하는 용어가 서로 밀접하게 연결되어 있는 것을 보여준다. 반대로 부정적 감정인 ‘분노’, ‘슬픔’, ‘분노’의 감정 용어의 네트워크를 보면 마찬가지로 확연한 구분보다는 서로 연계되어 있는 것을 알 수 있다. Shatford Layne(1994)의 연구결과에서 제시한 바와 같이 이미지 감정 접근점 확장을 위해서 네트워크와 같이 복수의 노드(용어)를 제시하는 것이 효율적이다. 즉 추상적인 개념을 이미지 접근점으로 이용자에게 제시하기 위해서는 네트워크의 여러 노드(용어)를 제시하는 것이 기존의 시소러스나 통제어휘의 단일 항목 제시보다 유용하다는 것을 보여준다. 두 번째 논의 사항으로는 감정 네트워크를 통해 나타난 용어의 다양성이다. 기본 감정 5가지에 대하여 이용자의 반응을 기반으로 한 고유한 용어의 수를 살펴보면, 전체 감정을 대상으로 한 경우는 고유한 용어는 399건으로 나타났다. 개별 감정네트워크로서 슬픔 108건, 사랑 119건, 공포 121건, 행복 80건, 분노 134건의 용어로 각각 나타났다. 이러한 확장된 용어는 기존의 시소러스나 통제어휘에서 전통적으로 제공하는 유사어, 동의어, 관련어 등의 관계보다는 해당 이미지의 특성을 반영한 형용사나 동작/행위의 표현 등이 포함되어 있다. 이러한 결과는 본 연구의 세 번째 논의사항과 연결되는데, 용어의 출현과 이를 바탕으로 형성된 네트워크는 이용자의 반응을 위한 대상 이미지의 특성을 반영한다는 점이다. 이용자가 보고 감정 반응을 나타내는 대상 이미지가 변경될 경우에는 기본 감정 용어와 이와 연결된 출현 빈도가 높은 용어 결과에 있어서 변화가 일어날 수 있다. 그러나 본 연구가 지니는 이러한 제한점은 두 가지 관점에서 극복할 수 있다. 첫째, 일반적이고 보편적인 이미지 도메인이 아니라 특정 도메인이나 주제 분야 이미지 감정 색인에 활용하여 극복할 수 있다. 두 번째는 대상 이미지의 수를 확대하여 용어 네트워크 구성에 있어서 특정 이미지의 영향을 줄일 수 있다.
본 연구 결과에 따라 후속 연구는 크게 두 가지 방향으로 살펴볼 수 있다. 첫째는 특정 도메인, 주제 분야의 이미지 컬렉션을 기반으로 이미지 감정 네트워크를 구축하고 시각화하여 실제적인 응용방안을 고찰해 볼 수 있다. 둘째는 일반적인 이미지 컬렉션과 이용자의 집적된 반응을 수록하고 있는 Flickr 등의 데이터를 대상으로 특정 이미지의 영향을 최소화한 범용적 이미지 감정 색인과 검색을 위한 용어 네트워크 구현에 관한 논의가 이루어질 수 있다.
