안구 추적은 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 인간과 컴퓨터의 상호작용(HCI)분야이다. 안구 추적은 사용자의 시선 추적을 이용한 마케팅 분석이나 의도 인식 등에 적용되고 있으며 다양한 적용을 위한 많은 연구가 진행되고 있다. 안구 추적을 수행하는 방법 중에 영상처리를 이용한 안구 추적 방법이 사용자에게는 편리하지만 조명의 변화와 스케일 변화 그리고 회전이나 가려짐에는 추적의 어려움이 있다. 본 논문에서는 이미지 기반의 안구 추적시 발생되는 조명, 회전, 스케일 변화 등 환경변화에도 강인하게 안구 추적을 수행하기 위하여 두 단계의 추적 방법을 제안한다. 우선 Haar분류기를 이용하여 얼굴과 안구 영역을 추출하고, 추출된 안구 영역으로부터 CAMShift과 템플릿 매칭을 이용하여 강인하게 안구를 추적하는 두 단계의 안구 추적 방법을 제안하였다. 제안한 알고리즘은 조명 변화, 회전, 스케일 등 변화하는 환경 조건하에서 실험을 통하여 강인성을 증명하였다.
The eye-tracking [ET] is used on the human computer interaction [HCI] analysing the movement status as well as finding the gaze direction of the eye by tracking pupil's movement on a human face. Nowadays, the ET is widely used not only in market analysis by taking advantage of pupil tracking, but also in grasping intention, and there have been lots of researches on the ET. Although the vision based ET is known as convenient in application point of view, however, not robust in changing environment such as illumination, geometrical rotation, occlusion and scale changes. This paper proposes two steps in the ET, at first, face and eye regions are discriminated by Haar classifier on the face, and then the pupils from the discriminated eye regions are tracked by CAMShift as well as Template matching. We proved the usefulness of the proposed algorithm by lots of real experiments in changing environment such as illumination as well as rotation and scale changes.
안구 추적은 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선을 추적하는 Human-Computer Interaction(HCI) 분야의 기술이다. 안구 추적은 의학 진단 및 수술, 마케팅 연구 및 사용자 의도 인식과 같은 다양한 분야에 적용이 되고 있는 기술이다[1]. 특히, 안구추적은 눈동자의 움직임을 측정하는 방식에 따라 적용되는 기술과 장비의 구성이 달라지며 크게 콘텍트렌즈방식[2], Head Mount Display(HMD) 방식[3], 비디오 분석 방식으로 분류된다.
이 중에 비디오 분석 방식은 영상처리를 이용한 방식으로 카메라와 IR 센서 등을 통해 입력된 영상으로부터 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 방식이다. 비디오 분석 방식은 콘텍트렌즈 방식과 HMD 방식에 비해 사용자의 편의성면에서 우수하다. 그러나 비디오 분석 방식은 조명과 스케일 변화 그리고 회전과 같은 외부에서 발생하는 다양한 환경 변화로 인한 추적의 어려움이 있다.
이러한 환경 변화에 강인하게 눈동자를 찾기 위하여 Q. Ji, Z. Zhu는 IR 조명이 눈동자에 반사되는 특징을 사용한 Eye-Tracking 방법을 제안하였고[4], B. K. Kim과 B. M. Suhng은 얼굴이 고정된 환경에서의 Eye-Tracking 방법을 제안하였다[5, 6].
본 논문에서는 비디오 분석 방식의 안구 추적 알고리즘을 수행하였으며, 입력 영상으로부터 눈동자 영역을 찾기 위하여 Haar 분류기와 Circular Hough Transform(CHT)을 융합한 방법을 제안하였다. Haar 분류기는 Haar-like 특징과 Cascade 방식의 Adaboost 학습을 알고리즘을 사용하여 영상으로부터 빠르게 얼굴 및 눈주변 영역을 검출하며, CHT는 눈동자의 모양이 원형이라는 기하학적 특징을 이용하여 눈동자를 찾는 방법이다.
이후 검출된 얼굴과 눈동자의 추적을 위해서는 CAMShift 알고리즘과 Template Matching(TM)을 융합한 추적 방법을 사용하였다.
본 연구에서는 제안한 방법을 사용한 실시간 영상에서의 Eye-Tracking을 수행하였으며, 조명과 스케일의 변화가 있는 실제 환경에서의 실험을 통하여 제안한 알고리즘의 강인성과 유용성을 확인하였다.
비디오 분석 방식으로 안구 추적을 수행하기 위해서는 먼저 입력된 영상으로부터 사용자의 동공을 검출해야 한다. 본 논문에서는 사용자의 동공을 검출하기 위해서 먼저 영상으로부터 얼굴을 검출하고 얼굴로부터 눈 영역을 검출하고 다시 눈동자를 검출하는 방식, 즉 관심 영역을 순차적으로 줄여나가는 방법을 사용하였다. 다음은 동공을 검출하기 위해 제안한 Haar 분류기와 CHT를 이용한 방법에 대한 설명이다.
2.1. 안구 영역 추출을 위한 Haar 분류기의 사용
본 논문에서는 입력된 영상으로부터 얼굴 및 눈 주변 영역 검출을 위해 Haar 분류기를 사용하였다. Haar 분류기는 Viola, Johns가 제안한 방법으로 Haar-like 특징의 빠른 계산을 위해 Integral image를 사용한다[7]. Integral image는 아래 식(1)과 같다.
Integral image는 특정 영역의 픽셀 값의 합을 빠르게 구할 수 있다. 아래 그림 1은 Integral image를 이용한 Haar-like 특징의 계산 방법을 나타낸 것이다.
그림 1과 같이 Integral image에서 D 영역의 픽셀 합은 4-3-2+1과 같다. Integral image로 계산된 Haar-like 특징은 입력 영상의 전체 영역을 슬라이딩 윈도우 방식으로 검색을 수행한다. Haar 분류기는 Cascade 방식의 분류기를 사용하여 얼굴 영역을 검출한다. Cascade는 분류를 위한 일종의 트리로 몇 단계의 Stage로 구성되며 각 Stage는 AdaBoost 알고리즘으로 학습된 Haar-like 특징들로 구성되어 있다. Cascade는 각 Stage 마다 정해진 Threshold가 있으며, Stage내의 분류기의 통과 값을 더한 후 합이 정해진 Threshold를 통과하면 다음 Stage로 넘어가는 방식이다. 따라서 영상내의 얼굴 영역이 아닌 대부분의 True Negative 영역은 초기 몇 단계의 Stage에서 걸러짐으로 빠른 분류가 가능하다. 아래 그림 2는 Cascade-AdaBoost 알고리즘의 흐름도이다.
본 논문에서는 Haar 분류기를 사용하여 얼굴 및 눈 주변 영역을 검출하였다. 아래 그림 3은 입력 영상으로부터 Haar 분류기를 사용하여 얼굴이 검출된 결과이다.
위 그림 3에서 보는 바와 같이 Haar 분류기는 정면과 앞.뒤 및 좌.우로 기울어진 얼굴을 영상으로부터 강인하게 검출한다.
본 논문에서는 검출된 얼굴 영역으로부터 눈 주변영역을 검출하다. 눈 주변 영역 역시 Haar 분류기를 사용하여 검출하였으며, 아래 그림 4는 검출된 눈 주변영역의 결과이다.
위 그림 4는 좌.우 눈 주변 영역을 검출하기 위하여 검출된 얼굴 영역을 1/2로 나누어 각각 검출을 수행하였다.
2.2. 동공 검출을 위한 Circular Hough Transform
본 논문에서는 Haar 분류기로부터 검출된 눈 주변 영역으로부터 눈동자를 검출하며, 이때 Circular Hough Transform(CHT)을 사용한다. CHT는 영상내의 Edge를 검출하고 기하학적으로 원형인 Edge를 추출하는 방법으로 원형 방정식의 계수를 파라미터 공간에 Voting하여 파라미터 공간에서 가장 많이 Voting된 값을 찾아 원의 방정식을 구하는 방법이다.
이러한 방법을 사용할 수 있는 것은 눈동자는 원형을 이루고 있으며 또한 눈동자는 주변영역과 명암 대비가 분명하다는 특징이 있기 때문이다. 아래 식 (2)는 영상 내의 Edge 점에 대해 가능한 원의 중심 위치를 정의한 것이다.
아래 그림 5는 눈 주변 영역으로부터 검출된 CHT 결과 영상이다. 검출된 눈 주변 영상으로부터 동공을 검출하기 위해 먼저 Gaussian Smoothing을 수행하여 잡음을 제거하고, Edge를 검출하였으며, 이후 CHT를 이용하여 동공 영역을 검출하였다.
위의 그림 5와 같이 Cascade 분류기와 CHT로 검출된 동공 영역은 이후 추적을 위한 Template으로 지정된다.
본 논문에서는 안구 추적을 위해 입력 영상으로부터 얼굴 및 눈 주변 영역을 검출하고 검출된 영역으로부터 동공을 찾아가는 과정을 거쳤다. 이후 최종 검출된 눈동자는 Template Matching(TM)을 위한 Template으로 지정하였다. TM은 다른 매칭 방법에 비해 연산량이 작으며, 눈동자와 같이 매칭하고자 하는 형태의 변화가 작은 영상에 강인하다.
본 논문에서는 Haar 분류기로 검출된 눈 주변 영역을 TM을 위한 관심영역(ROI)으로 지정하여 TM을 수행한다. 본 논문에서 사용한 TM방법은 제곱차 매칭 방법을 정규화한 방식이며, 아래 식 (3)와 같다.
Normalized Sum of Squared Differences(NSSD) 방식은 입력 영상과 템플릿 사이에 조명 차이가 존재 할 때 그 영향을 줄여준다. 아래 그림 6은 NSSD 방식을 사용한 템플릿 매칭의 결과이다.
아래 그림 7은 본 논문에서 제안한 전체적인 안구 추적의 흐름도이다. 그림 7에서 1단계와 2단계는 검출(Detection) 단계이며, 3단계와 4단계는 추적(Tracking)단계이다. 만약 추적이 실패 하였을 경우에는 입력 영상으로부터 다시 얼굴 및 눈동자를 검출하고, 추적하는 단계를 수행한다.
위 그림 7에서 (1)은 Haar 분류기 및 AdaBoost를 이용한 얼굴 영역 검출과 검출된 얼굴영역으로부터 눈주변 영역을 검출하는 단계이다. (2)는 CHT를 이용하여 동공을 검출하는 단계이다. (3)은 CAMShift를 이용하여 얼굴 영역을 추적하는 부분이다. (4)는 3번의 추적된 얼굴영역에서 TM을 이용하여 동공을 추적하는 것이다. 이러한 일련의 연속적인 과정은 다음번 영상을 입력받는 단계로 이동하여 반복적으로 수행하게된다.
본 논문에서는 조명의 변화에 따른 강인함을 실험하기 위해 아래 그림 8과 같이 3단계의 조명 변화를 사용하였다.
아래 그림 9는 3단계의 조명 환경에서 안구 추적을 수행한 결과이다.
위 그림 9와 같이 조명과 스케일의 변화가 있는 환경에서 얼굴과 눈동자를 검출하고 추적하는 것을 실험을 통해 확인하였다.
아래 표 1은 검출과 추적 알고리즘 각각의 프레임당 처리 속도를 기록한 것이다. 얼굴과 눈 주변 영역 검출, 그리고 동공 검출은 총 253ms로 초당 약 4프레임을 처리할 수 있으며, 얼굴과 동공 추적은 39ms로 실시간에 근접한 처리리 결과를 보여주고 있다.
알고리즘별 처리 속도
본 논문에서는 고속으로 영상으로부터 눈동자를 검출하고 추적하는 방법을 제안하였다. 먼저 얼굴 및 눈동자를 검출하기 위한 방법으로 Haar 분류기를 사용하였으며, CHT를 사용하여 검출된 눈 주변 영역으로부터 동공을 검출하였다.
검출 이후 추적을 위해서는 CAMShift와 TM을 사용하여 얼굴 및 동공을 각각 추적하였다. 검출된 동공을 템플릿으로 사용하므로 미리 지정된 템플릿을 사용한 매칭보다 조명과 스케일 변화에 강인한 결과를 보였다.
얼굴 및 눈동자 검출 단계에서 처리속도가 총 250ms 정도 소요되어 초당 4프레임의 속도 성능을 나타내었다. 실시간 영상으로 안구 추적을 수행하기 위해서는 검출 단계의 성능 향상이 필요함을 실험을 통해 확인하였다.
