기업이 자사 제품의 상대적 약점과 강점을 파악하고 경쟁 업체의 제품을 분석하고 캠페인을 설계하기 위해, 웹 사이트, 뉴스 및 리뷰, 토론 사이트에서 제공되는 정보를 얻는 것이 중요하다[1]. 텍스트 마이닝은 "서로 다른 문서 자원에서 정보를 자동으로 추출하여 이전에 알려지지 않은 새로운 정보를 발견"하는 것으로 정의할 수 있다. 텍스트 마이닝은 데이터베이스 또는 XML 파일과 같은 구조화된 데이터를 처리하는 데이터 마이닝과는 달리 전자 메일, 전체 텍스트 문서 및 HTML 파일과 같은 비정형 또는 반 구조화 데이터 집합에 대해 작업을 한다[2].

텍스트 마이닝의 일부분인 오피니언 마이닝은 리뷰, 포럼 토론, 블로그 등에서 오피니언이 들어있는 정보를 자동으로 감지하고 특정 대상에 대한 의견의 극성(긍정, 부정)을 결정하는 분야이다[3].

오피니언은 "오피니언 보유자로부터 어떤 개체(제품, 서비스, 이벤트 등) 또는 그 개체의 특성에 대한 주관적 진술, 견해, 태도, 감정 또는 평가"로 정의될 수 있다[4].

여기서 개체는 제품, 사람, 이벤트, 조직과 같은 물리적이거나 추상적인 개체를 의미한다. 예를 들어“아마존 베이직 헤드폰의 사운드 품질은 우수하다”라는 문장에서 개체는 아마존 베이직 헤드폰이고 그 개체의 특성은 사운드이며 의견의 극성은 긍정이다. 오피니언 마이닝은 단순 오피니언 마이닝과 비교 오피니언 마이닝으로 나눌 수 있다. 비교 오피니언은 두 개 이상의 제품 간에 유사성 또는 상이한 관계를 나타낸다. 비교 오피니언은 주로 비교 대상인 제품이나 서비스와 관련된 경험을 가진 사람들이 제공하며 제품이나 서비스의 강점, 약점 및 차이점에 대해 구체적인 정보를 제공한다[3]. 본 연구에서는 제품의 사용경험이 있는 사용자가 아마존과 같은 전자상거래 사이트에서 작성한 영문 리뷰로부터 제품의 특성을 비교하는 오피니언을 추출하기 위해 다양한 텍스트 마이닝 기법을 비교한 결과를 제시한다. 이 연구의 첫 단계로 리뷰 문장이 비교구문인지 여부를 식별하고, 그 다음에는 각 비교 문에 나타난 제품 및 제품의 특성을 추출하고 제품의 선호도를 식별하였다. 최종 결과로 정밀도, 재현율, 정확도 등으로 적용된 기법의 성능을 측정하고 결과를 비교하였다.

논문의 구성은 다음과 같다. 2장에서는 오피니언 마이닝과 비교 오피니언 마이닝의 특징 및 기법이 소개된다. 3장에서는 비교 오피니언 구문의 분류를 위한 시스템의 개요 및 수행절차와 다양한 머신 러닝 기법을 적용한 결과를 제시한다. 아울러 비교 오피니언에서 참조되는 제품의 특성을 추출하기 위한 방법도 소개한다. 4장에서는 결론 및 시사점을 서술한다.

전자 상거래에 대한 관심이 높아지고 있기 때문에 특정 제품에 대한 감성, 평가 및 리뷰가 매우 많아지고 있으며, 이런 자원으로부터 유용한 정보를 추출하는 것은 중요하다. 오피니언 마이닝(감정 분석, 리뷰 마이닝 또는 평가 추출, 태도 분석이라고도 함)은 텍스트로 표현된 다양한 주제에 대한 의견, 감정 및 태도를 감지, 추출 및 분류하는 작업이다[5].

오피니언 마이닝의 주요 작업은 오피니언 추출, 감성 분류, 극성 결정 및 요약이다.

오피니언 마이닝을 위한 텍스트는 다양한 형식의 여러 리소스에서 제공된다. 데이터 취득과 데이터 전처리는 텍스트 마이닝 및 감성분석을 위한 가장 일반적인 하위 작업이다. 오피니언 마이닝의 특정 유형으로서 입장 감지(stance detection)는 특정 토론 주제 또는 뜨거운 토론 이벤트에 대한 사용자의 입장(찬성, 반대)을 감지하는 데 중점을 둔다. 이것은 감성 분석과 구별되는데 감성 분석은 텍스트의 감성(긍정, 부정)을 식별하는 하는 반면에 입장 감지는 대상에 대한 입장에 관심을 둔다[6].

감성 분류(sentiment analysis)는 주어진 텍스트의 감성 방향을 결정하는 것이며, 한 문장이 주제에 대해 긍정, 부정, 중립을 나타내는 극성을 결정하는 것과 관련이 있다. 따라서 감성 분류는 극성 결정이라고도 하며, 제품 리뷰, 포럼, 블로그, 뉴스 기사 및 마이크로 블로그에 대해 수행된다. 사용자 리뷰로부터 오피니언과 제품의 특성을 추출하기 위한 오피니언 마이닝과 감성분석에 관한 많은 연구가 수행되었다[7-10].

단순히 오피니언 마이닝만으로는 다른 제품이나 서비스를 사용한 경험을 파악할 수 없다. 비교 오피니언은 주로 비교 대상인 제품이나 서비스와 관련하여 경험을 가진 사람들이 제공하며 제품 또는 서비스 간의 유사점과 차이점에 대해 보다 정확한 정보를 나타낸다[3]. 비교 오피니언 마이닝에 대한 연구는 아직 초기 단계이며, 적용되는 대부분의 리뷰가 작성된 언어는 영어이고 일부는 중국어[11]와 한국어[12,13]가 있다.

비교 오피니언을 나타내는 문장의 식별 문제는 2006년에 처음 연구되었다[14]. 대표적인 연구에서는 텍스트 문서에서 비교 문장을 식별하기 위한 새로운 통합 패턴 발견 및 지도 학습 접근 방식이 제시되었다[15].

비교 오피니언 마이닝의 연구는 크게 텍스트로부터 비교 오피니언 문장의 식별과 탐지, 비교 대상이 되는 개체 및 개체 속성의 식별 그리고 비교 관계의 식별 연구로 구분할 수 있다[3,14]. 대표적인 연구에서 오피니언을 가진 텍스트에서 비교 문장 추출과 개체식별을 위한 방법을 제시했다. 여기에서 비교 문장에서 개체를 추출할 때 명사와 대명사를 사용하는 LSR(Label Sequential Rules)을 사용했다. 이러한 개체는 4개의 POS 태그 ( "taller", "bigger"와 같은 비교 형용사, "faster"와 같은 비교 부사, "more frequently", "best", "most desired"와 같은 최상급 형용사,"earliest", hardest"같은 최상급 부사 )와 "outperform"," beat" 등과 같은 지시어를 참조하는 79 개의 키워드로 구성된 83개의 비교 키워드 집합을 가지고 비교 오피니언 문장과 선호 개체가 추출되었다.

비교 문장이 주어졌을 때 비교 서술어, 비교되는 개체와 속성을 탐지하기 위한 방법으로 Semantic Role Labeling (SRL) 기법을 도입한 연구[16]가 있다. 여기에서는 비교문장에서 4개의 튜플(tuple)인 (서술어, +개체, -개체, 특성)을 얻기 위해 이 기법을 적용하였다. +개체는 -개체보다 선호되는 개체이고 특성은 개체의 구성요소(예, 배터리 등) 또는 품질 특성(예, 사운드, 잡음 등)이다.

또한 두 개체1, 개체2가 있고 특성 p와 비교 관계 R(좋음, 나쁨 등)이 있을 때 두 개체가 어떤 특성에 대해 선호 또는 비선호 등의 관계를 가지는지 파악하는 연구도 있다[17].

한국어에서 비교 요소를 추출하기 위한 연구에서[12]는 우열 비교 및 최상급 비교라는 두 가지 유형의 비교 문장들로부터 세 가지의 요소 즉, 비교되는 두 개체와 개체사이의 관계를 추출하였다. 사용된 비교 키워드 집합에는 ～보다’와 같은 조사, ‘가장’ 등의 부사, ‘같～’, ‘다르～’등의 형용사 어간, ‘～가 ～를 앞서～’처럼 비교 표현에 자주 쓰이는 관용구 등 다양한 형태의 키워드가 포함된다. 그리고 이 키워드를 포함한 문장을 비교 문장 후보로 간주하고 실제 비교 문장만을 선별하는 과정을 거친다.

한글로 씌여진 비교 문장을 찾아내기 위해 문장 패턴 규칙, 통계적 방법, 비교어를 제안한 또 다른 연구가 있다[13]. 비교 문장을 나타내는 문장 규칙이 정의되고 비교 단어와 POS 태깅이 사용됐다. 서술어로서, 단순 동등 비교를 위해 사용된 단어는 ‘같다’, ‘비슷하다’, ‘유사하다’ 등이고 전치사로서 사용된 단어는 ‘같이’, ‘처럼’등이다. 단순 차이 비교를 위한 단어는 ‘다르다’, ‘상이하다’이고, 우열비교를 위해 사용된 전치사는 ‘~보다(than)’, ‘에서(in)’, ‘가운데(among)’, ‘비하여(비해서)(compared and compare to)’ 등이다. 부사 단어로는 ‘잘(well)’, ‘더(more)’ 등 단어가 사용된다. 이러한 방법은 레스토랑 평가에 적용되었다.

비교 오피니언 마이닝 기법에는 머신러닝, 규칙 마이닝 및 자연어 처리방법이 있다[3].

머신 러닝 방식은 비교 오피니언 마이닝의 다양한 작업을 처리하기 위해 비교 문장과 비교가 아닌 문장을 구별할 목적으로 분류기가 개발되고 훈련된다. 규칙 마이닝 접근 방식은 연관 규칙 및 순차 패턴을 기반으로 하는 방법을 사용한다. 자연어 처리방법은 구문 분석과 시멘틱 분석의 두 가지 수준에서 언어를 분석하며, 구문 분석은 문장의 구문 분석을 수행하고, 시멘틱 분석은 의미 분석을 적용한다. 요약하면 비교문 식별은 여전히 어렵고 한 문장이 비교문인지를 결정하는 성숙한 알고리즘은 없으며, 비교 오피니언 마이닝에 대한 연구는 다양한 기법이 적용되고 평가되는 단계이다. 따라서 본 연구에서는 사용자 리뷰로부터 비교 오피니언 마이닝을 위한 머신 러닝 기법인 SVM, 랜덤 포레스트, 로지스틱 회귀분석 기법을 적용한 결과를 제시한다.

비교 오피니언 마이닝을 위해 다양한 기법을 적용하기 위한 본 연구에서 사용한 절차는 <그림 1>과 같다.

1) 리뷰 데이터는 영문으로 작성된 사용자리뷰를 대상으로 하며, 대표적 웹 사이트인 아마존에서 파이썬 라이브러리인 뷰티풀 숲(Beautiful Soup)을 이용하여 4만여 건의 헤드폰 사용자 리뷰 데이터를 웹 크롤링 하였다.

2) 문장 토크나이징

비교 문장을 분류하기 위해 리뷰로부터 각각의 독립된 문장으로 문장 토크나이징을 하였다.

3) POS 태깅

형태소 분석(POS-tagging) 작업은 형태소의 뜻과 문맥을 고려하여 마크업을 하는 작업이다. 원시 말뭉치를 형태소 단위로 쪼개어 각 형태소의 품사를 부착하여 형태소별 사용 형태를 알 수 있다. 본 연구에서는 nltk POS 태깅을 사용하였다. POS 태그를 통해 문장의 사용된 품사를 구별이 가능하며 이를 통해 비교구문의 판별에 이용된다.

4) 데이터 전처리

리뷰의 경우 특수 문자 및 크롤링으로 인한 html 태그가 있을 수 있다. BeautifulSoup을 통해 html 태그를 제거하고 정규 표현식으로 알파벳 이외의 문자를 공백으로 치환하여준다.

소문자 변환을 하고 nltk를 이용해 불용어(Stopword)를 제거하여 준다. 그리고 어간 추출 작업을 한다.

5) 데이터 레이블링

데이터 레이블링은 데이터에 답을 주는 것으로 학습할 데이터에 평가를 하는 지도학습을 하기 위한 준비단계이다. 지도학습 중 연구에 사용될 분류는 주어진 데이터를 정해진 카테고리에 따라 분류하는 과정이다.

본 연구에서는 비교 문장 여부와 비교구문의 유형의 분류를 위한 데이터 레이블링을 수행한다.

수집된 데이터를 전처리 및 데이터 레이블링 작업을 거친 후 선정된 머신러닝 알고리즘을 이용해 데이터 분류를 해준다. 레이블링된 데이터를 훈련 데이터, 검증 데이터, 테스트 데이터 세트로 나누어 선정된 머신러닝의 3가지 알고리즘인 랜덤 포레스트, 선형 SVM, 로지스틱 회귀를 통해 어느 알고리즘이 비교구문의 분류작업에 적절한지 정 성능을 측정하였다.

본 논문에서 고려하는 비교문의 분류와 추출은 기존 연구에서 제시한 방법[17]을 채택하였으나 적용된 기법과 연구의 초점이 다른 기법을 적용한 성능측정에 있다는 점에서 다른 연구와 구별된다. 또한 비교문을 분류하고 추출하기 위해서는 <표 1>에서 제시한 비교 문장 조건을 충족해야 하며 비교 대상이 되는 제품 또는 특성이 나타나야 한다.

여기서 특성은 제품 또는 브랜드, 제품을 구성하는 물리적 구성요소, 품질 속성을 의미한다. <표 2>는 이런 조건을 충족한 비교 문의 예를 나타낸다.

본 연구에 적용하는 세 가지 머신러닝 기법을 정의한다.

1) 선형 SVM(Linear Support Vector Machine)

선형 SVM은 패턴인식, 자료분석 등을 위한 지도학습 모델로서 주어진 데이터 집합을 이용하여 새로운 데이터가 어느 쪽에 속할 것인지 계산하는 비 확률적 이진 선형 분류 모델이다. 두 클래스의 가장 가까운 데이터 포인트 사이의 거리를 최대화하면 분류의 견고성을 높이는 데 도움이 되며 마진이 낮으면 오 분류 가능성이 높아진다[7,18].

2) 랜덤 포레스트(Random Forest)

랜덤 포레스트는 의사 결정 트리의 개념을 적용한 알고리즘이다. '포레스트'라는 용어는 더 정확하고 안정적인 예측을 얻기 위해 함께 병합되는 여러 의사 결정 트리를 통합한다[7,18]. 다수의 의사결정 트리들을 생성하여 각각의 개별 트리 예측 값 중 투표 기반 분류기를 통해 가장 많은 선택을 받은 레이블을 예측하는 알고리즘이다.

3) 로지스틱 회귀분석(logistic regression)

기존의 카테고리 분류 중 어떤 카테고리에 속하는지 분류하는 문제이다[19]. 선형 회귀분석에서부터 시작되었으며 선형 회귀 분석은 y= ax + b 의 선형 관계식으로 x 변수 y 변수 간의 관계이다. 최소제곱법으로 a, b의 값을 계산으로 회귀식으로 예측한다. 최종으로 x값에 따라 y값의 변화를 예측한다. 로지스틱 회귀는 선형 회귀 분석과 다르게 결과 값이 범주형일 때 사용한다.

3.2절에서 제시한 세 가지 머신러닝 기법을 비교 문장의 분류(리뷰의 각 문장으로부터 비교 오피니언을 나타내는 문장의 분류), 선호도 분류(A제품 또는 특성이 B제품보다 좋음) 및 선호도의 대상이 되는 제품의 특성을 추출하였다.

먼저, 비교 문장의 분류를 위해 전처리된 데이터를 word2vec의 데이터 벡터화 기법을 통해 랜덤 포레스트, 선형 SVM, 로지스틱 회귀를 적용하여 판별하였다. word2vec은 단어를 벡터로 바꾸는 엠베딩 모델들 중에서 대표적인 모델이다[20]. 파이썬의 경우 gensim 패키지의 word2vec 클래스로 구현되어 있고 모델은 google news copus를 사용하였다.

비교구문 유형별 식별 작업에 사용된 리뷰데이터는 1만여 건으로 수집된 데이터를 전처리 단계와 데이터 수정작업이 끝난 데이터를 훈련 집합, 검증 집합, 테스트 집합으로 나누어 모델을 학습시켰다. 테스트 집합으로 레이블링된 문장의 개수는 비교구문은 2천여 건이고 비교구문이 아닌 문장이 1만여 건으로 구성되었다. 리뷰로부터 비교 오피니언 구문의 분류가 각 기법마다 성능 평가가 어느 정도 인지는 정밀도, 재현율 및 F점수로 평가하였다.

비교 오피니언은 주로 비교 대상인 제품이나 서비스와 관련된 경험을 가진 사람들이 제공하며 제품이나 서비스의 강점, 약점 및 차이점에 대해 구체적인 정보를 제공한다[5]. 이러한 비교 오피니언을 나타내는 비교문 식별은 여전히 어렵고 한 문장이 비교문인지를 결정하는 성숙한 알고리즘은 없으며, 비교 오피니언 마이닝에 대한 연구는 아직 초기 단계이다. 특히, 어떤 연구에서도 비교 사실과 비교 의견을 구별하지 못했다[3]. 지금까지의 연구는 비교가 아닌 텍스트와 비교 텍스트를 구분하는 데 사용할 수 있는 일반적인 방법론을 제공한다. 따라서 어떤 알고리즘이 어떤 리뷰에 적용하기 좋은지 파악하기 위한 시도도 바람직하다. 본 연구에서는 기존 기법에서 제시한 알고리즘을 적용하였으며 사용자 리뷰로부터 비교구문 식별 및 분류, 비교구문 유형분류, 비교 대상 및 피처를 추출하기 위한 비교 오피니언 마이닝을 하기 위한 머신 러닝 기법인 SVM, 랜덤 포레스트, 로지스틱 회귀분석 기법을 적용한 결과를 제시하였다. 다른 연구와 차이점은 본 연구의 초점이 다양한 기법을 적용한 성능 측정에 있다는 점에서 다른 연구와 구별된다. 시사점은 본 연구를 통해 다양한 비교 의견 마이닝 기법을 이해하고 분석하는데 있다. 본 연구에서 적용한 아마존 헤드폰 리뷰에서 비교구문을 분류하기 위한 기준에 따라 추출된 비교 대상이 되는 제품(또는 특성)이 하나의 비교 문장에 나타나는 경우는 전체 리뷰의 6-7%에 불과하며 원래 제품은 POS tag에서 대명사로 암시적으로 언급되는 경우도 많았다. 향후 연구로서 한글 및 영문으로 작성된 비교 오피니언 마이닝에서 이런 암시적인 제품 특성을 파악하는 방법과 딥러닝을 적용한 연구를 수행하고자 한다.