손은 인간이 실생활에서 가장 많이 사용하는 기관이다. 물건을 집거나 키보드를 치는 등 물리적인 수단으로만 사용하는 것이 아니라 인사를 할 때 흔드는 것 같은 의미적인 수단으로도 쓰인다. 손 동작은 인간과 인간 사이의 의사소통에 도움을 주며 단독적으로 의사 표현도 가능하다. 다양한 손 모양을 통한 수화가 이러한 예라고 할 수 있다. 이러한 의사소통 측면에서 손 활용의 장점 때문에 컴퓨터와 인간의 상호작용(Human-Computer Interaction, HCI)에서도 다양한 손동작 및 손 모양 인식 기술들이 개발되어 왔다.

피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하기도 하고[1], 손 모양에 관한 영상의 데이터베이스를 만들어 두고 템플릿 매칭을 이용하거나 주성분 분석 방법을 통하여 손 모양을 인식하기도 하며[2, 3], HOG(Histogram of oriented gradient)를 활용하여 팔과 손의 방향 각도를 추정하여 손을 검출하기도 한다[4]. 그러나 기존 방법들은 컬러 영상을 많이 활용하기 때문에 조명 등 주변 환경에 영향을 많이 받아 손 모양 인식을 위한 안정된 조건을 갖추는데 많은 제약이 따른다. 또한 데이터베이스를 이용한 템플릿 매칭이나 주성분 분석 방법은 연산량이 많고 비슷한 기하학적 모양을 가진 손 모양에 대한 인식률이 저조하다. 손의 무게중심을 구하고 이를 중심으로 하는 원에 걸친 손가락 수를 세어 인식하는 방법은 손 모양이 정확하게 취해져야 하고 펼쳐진 손가락의 길이에 영향을 많이 받기 때문에 같은 손 모양에 대해 다른 모델로 구분하는 경우가 생긴다.

본 논문에서는 컬러 영상의 불안정성을 해결하기 위해 깊이 영상을 이용하고 convex-hull을 이용하여 손 모양의 기하학적 특징에 따른 내각의 합을 통하여 손 모양을 구분 및 인식하는 기법을 제안한다. 깊이 영상을 획득하기 위한 카메라로 저가이면서도 비교적 양질의 깊이 영상을 제공하는 키넥트(Kinect)를 사용한다. 키넥트는 컬러 영상도 함께 제공하므로 하이브리드 기법에 적용되는 카메라이기도 하다. 이 외에 인간의 골격 정보도 제공하기 때문에 손의 위치 정보와 깊이 영상을 혼용하면 손 영역 검출에 유리한 조건을 갖는다.

깊이 영상은 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출한 결과로써 컬러 영상에 비해 주변 환경에 강인하기 때문에 손 영역 검출에 유리하다. 본 논문에서는 손 모양 인식을 위해 convex-hull이라는 수학적 개념을 이용한다. Convex-hull은 객체의 외곽점의 집합인데 깊이 영상의 흔들림 효과로 인해 생긴 외곽점과 불필요한 외곽점을 일련의 기법을 거쳐 제거하고 추려진 외곽점을 직선으로 이어 그리면 임의의 다각형이 된다. 손 모양에 따라 달라지는 convex-hull을 특정 다각형에 대응하여 내각의 합이 일정한 다각형의 성질을 이용하여 손 모양을 구분하고 인식하도록 한다. 기하학적 특징에 기반한 내각의 합을 이용하기 때문에 손 모양의 축이 틀어진 형태에서도 동일한 손 모양으로 인식이 가능하다.

본 논문은 다음과 같이 구성된다. Ⅱ장에서는 키넥트에서 제공하는 손의 위치 및 깊이 정보를 활용하여 손 영역을 검출하는 방법과 convex-hull 개념에 대해 설명한다. Ⅲ장에서는 깊이 영상의 잡음으로 인한 외곽점 및 손 모양 인식에 불필요한 외곽점을 제거하는 방법 및 손 모양 인식 기법을 제시한다. Ⅳ장에서는 Ⅲ장에서 제시된 손 모양 인식 기법을 적용했을 때의 인식률을 비교 및 분석한다. 마지막으로 Ⅴ장에서 본 논문의 결론을 맺는다.

키넥트(Kinect)는 구조광(Structured light)인 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출하는 방법을 이용하여 깊이 영상을 제공한다. 그리고 인간의 골격을 뼈대와 이를 잇는 관절로 이루어진 형태로 받아들이고 20개의 관절에 해당하는 위치 정보 또한 제공한다. 깊이 정보와 손 중심에 해당하는 점의 2차원 좌표를 이용하면 손 영역을 간단히 검출할 수 있다.

여기서 P_d(x,y)은 깊이 영상에서 x,y 좌표에 대응하는 화소의 깊이에 해당하는 값이고 D₁과 D₂는 손이 위치해야 하는 깊이 범위의 최소값과 최대값을 나타낸다. 그리고 H_x와 H_y는 키넥트가 제공하는 손의 x,y 좌표이고 L은 손 영역 검출을 위한 관심영역의 크기를 결정하는 값이다. 식 (1)과 (2)를 공통적으로 만족하는 깊이 영상의 화소들과 그렇지 않은 나머지 화소들을 이진화하면 손 영역을 검출할 수 있다.

그림 1은 식 (1)과 (2)가 나타내는 것을 시각화한 것으로 깊이 범위와 손 좌표를 중심으로 한 정사각형 관심영역으로 이루어진 3차원 공간의 조건을 통하여 손 영역을 검출할 수 있음을 보여준다. 그림 2는 키넥트로부터 얻은 깊이 영상에서 위의 식 (1), (2)을 통하여 검출한 손 영역을 빨간색으로, 배경을 검은색으로 이진화한 영상을 보여준다.

검출한 손 영역의 경계점을 구하기 위해서 손 영역의 convex-hull을 구한다. 어떤 객체 O가 convex하다는 것은 객체 O에 속하는 임의의 두 점을 잇는 선분상의 모든 점들이 객체 내에 포함되어 있는 것을 말한다. 이를 식 (3)으로 정의할 수 있다.

여기서 x₁과 x₂는 객체 O안에 포함된 임의의 점을 말한다. 그림 3은 객체의 convex의 경우를 보여주는 예로 그림 3(a)의 경우 식 (3)을 모든 경우에 대하여 만족하기 때문에 convex이고 그림 3(b)의 경우 두 점을 잇는 선분 상의 점 중에서 객체 내에 포함되어 있지 않은 경우가 있으므로 convex가 아니다.

객체 O의 convex-hull은 객체 O안에 포함되어 있는 점들의 모든 convex 조합의 집합이다. 식 (4)에서 Conv O는 객체 O에 대한 convex-hull을 나타내는데 i값과 θ₁ + ⋯ + θ_k = 1를 만족하는 다양한 조합으로 생기는 점들의 총 집합이 된다. 이는 당연히 항상 convex이고 객체 O를 포함하는 가장 작은 convex가 된다.

그림 3(b)에 대한 convex-hull은 그림 4가 되고 convex-hull을 만족하는 경계점(그림 4의 빨간점)을 구할 수 있다.

경계점을 선분으로 이으면 convex-hull이 된다. 그림 5(a)는 본 논문에서 인식하고자 하는 다섯 가지 손 모양에 대한 모델이다. 펼친 손가락 수에 따라 1~5번 모델로 정의하고 이에 맞게 손 모양을 취한 손 영역의 convexhull이 그림 5(b)이다. 각 모델마다 convex-hull의 모양이 다르기 때문에 이를 활용하여 손 모양을 구분하고 인식하고자 한다.

그림 5(b)를 보면 각 모델마다 convex-hull이 나타내는 기하학적 모양이 다르다. 이 모양을 도형에 빗대어 보면 1번 모델을 제외하고 2~5번 모델의 convex-hull은 각각 사각형, 오각형, 육각형, 칠각형에 가까운 형태라는 것을 알 수 있다. 이러한 생각을 토대로 손 모양의 convex-hull을 특정 다각형으로 판단하고 다각형 내각의 합이 일정하다는 성질을 이용하여 손 모양을 인식한다. 다각형으로 판단하기 위해서는 꼭지점의 수와 위치 좌표가 필요하기 때문에 convex-hull을 구성하는 경계점을 꼭지점으로 대응시키는 과정이 필요하다.

그림 6(a)는 그림 5의 5번 모델에 대한 손 영역의 convex-hull 경계점을 추출한 결과이다. 깊이 영상에는 흔들림 효과로 인한 불규칙한 화소가 생기기 때문에 불필요한 경계점들도 같이 추출된다. 그림 6(b)를 보면 손가락 끝을 나타내는 경계점은 하나만 필요하지만 추가적인 경계점이 같이 추출됨을 알 수 있다.

추가 경계점을 제거하기 위해서 하나의 경계점을 시작점으로 동일한 방향으로 이동하면서 인접한 다음 경계점과의 거리를 식 (5)를 이용하여 순차적으로 구하고 이를 식 (6)을 이용하여 내림차순 정렬하여 큰 거리값을 갖는 n개의 선분을 찾는다.

여기서 x_i와 y_i은 경계점의 좌표를 나타내고 ( )_N은 modulo 연산을 의미하고 N은 총 경계점의 수이다. D(i)는 인접한 경계점들 간의 거리 값이고 S는 D(i) 을 원소로 하는 집합이다. A(j)는 집합 S_(n)에서 가장 큰 값의 원소를 갖는다. 그리고 식 (7)을 이용하여 n개의 선분을 구성하는 두 경계점 중 하나를 선택하여 뽑아낸다. 선분에서 하나의 경계점을 선택할 때 규칙적으로 빠른 순서의 경계점을 선택하도록 한다.

여기서 큰 거리 값을 갖는 n개의 경계점 좌표 를 얻는다. n은 손 영역의 convexhull을 이루는 최소 경계점이며 그림 6과 같은 손 영역에 대한 n의 값은 convex-hull 모양이 칠각형에 근접하므로 7이 된다. 그림 6은 불필요한 경계점을 제거한 결과로 7개의 경계점이 원하는 위치에 존재함을 보여준다.

3.1절에서 5번 모델에 대한 손 영역의 경계점을 일곱개로 정하여 불필요한 경계점을 제거하였다. 2~4번 모델의 경우에는 각각 사각형, 오각형, 육각형으로 결정하기 위해서 더 적은 경계점이 필요하므로 7개로 줄여진 경계점에서 추가적인 과정을 통해 해당 모델에 적합한 최소의 경계점을 뽑아내야 한다. 그림 8은 2~4번 모델에 대해 경계점 일곱 개를 갖도록 적용한 결과로 convex-hull을 다각형으로 결정하기에 불필요한 경계점들이 존재한다.

불필요한 경계점들이 위치하는 경향을 보면 그림 9에서와 같이 손가락 끝을 나타내는 경계점에 인접한 위치에 존재하거나 연속적인 경계점 세 개를 이었을 때 직선에 근접한 형태가 된다. 따라서 거리와 각도 조건을 통하여 경계점을 최소화한다.

순차적인 과정이 필요하기 때문에 경계점들을 정렬해야 하는데 가장 상단에 있는 점을 기준점으로 하고 다른 경계점 간의 각도를 구해 작은 값을 갖게 하는 좌표를 정렬하면 시계방향으로 순서화된다. 각도는 식 (8)과 같이 삼각 함수 중의 하나인 탄젠트 역함수를 사용하여 구한다.

그림 10은 convex-hull 경계점을 순서화한 결과로 최상단 점을 0으로 시작하여 시계방향으로 순차적으로 경계점의 번호가 증가한다.

인접한 위치에 존재하는 경계점은 식 (9)와 같이 경계점 간의 거리를 순차적으로 계산하고 임계값 l_th를 두어 임계값보다 작은 거리를 갖게 되면 불필요한 경계점으로 판단하고 제거한다. ( )_n은 modulo 연산이고 n값은 7이다.

세 점이 동일한 직선에 근접한 경우에는 식 (10), (11)과 같이 가운데 점을 기준으로 양 옆의 점과의 두 개의 벡터를 구성한다. 그리고 식 (12)와 같이 내적 연산을 통하여 끼인각을 구한다. 이 때 끼인각이 임계값보다 큰 경우에 가운데 점을 불필요한 경계점으로 판단하고 제거한다. 임계값 는 근처가 된다는 것을 예상할 수 있다.

그림 11은 2~4번 모델에 대한 convex-hull이 7개의 경계점에서 각 모델에 적합한 최소의 경계점을 찾아 선택하고 제거한 것을 보여준다.

그림 12는 손 모양을 인식하는 기법의 흐름도이다. 먼저 최소화된 경계점 중에서 최상단에 있는 점을 꼭지점으로 하여 이에 대응하는 내각을 구해서 1번 모델을 나머지 모델들과 분류한다.

그리고 나머지 모델들에 대해서 최소화된 경계점을 꼭지점으로 하는 다각형의 내각의 합을 이용하여 2부터 5번까지의 모델로 구분하고 인식한다. 그림 13(a)는 인식하고자 하는 다섯 가지 손 모양 모델에 대한 최상단 꼭지점에 대응하는 내각의 모습을 보여준다. 1번 모델의 경우 최상단 꼭지점에 대응하는 내각이 예각이 되고 2번 모델의 경우 직각에 가깝게 되며 3, 4, 5번 모델의 경우는 각각 둔각이 됨을 알 수 있다. 그림 13(b)는 100프레임에 대한 다섯 가지 모델의 최상단 꼭지점에 대응하는 내각을 보여주는 도표인데 3, 4, 5번 모델은 비슷한 형태를 지니므로 묶어서 표시한다. 예상했던 것처럼 1번 모델의 경우 최상단의 내각이 60° 미만이고 2번 모델의 경우 80° ~ 100° 사이이며 3~5번 모델의 경우 110° 와 140° 사이의 둔각이 되는 것을 확인할 수 있다.

따라서 이러한 특징을 활용하면 1번 모델과 나머지 모델들을 분리할 수 있다. 2~5번 모델 의 경우 최소화된 경계점들을 꼭지점으로 하는 다각형의 내각의 합을 이용하여 구분한다. 일반적으로 다각형의 내각의 합은 같은 수의 꼭지점을 갖고 있는 형태에 대해서는 동일한 값을 갖는다. 2~5번 모델이 기하학적 모양에 따라 각각 최소화된 경계점을 4~7개를 갖기 때문에 내각의 합을 이용하면 분리가 가능하다. 그림 14는 200프레임 동안 2~5번 모델에 대하여 임의로 손 모양을 바꿔가면서 측정한 내각의 합의 히스토그램이다. 취하는 손 모양에 대해서 사각형에서 칠각형의 내각의 합에 해당하는 360° ~ 900° 의 각도를 가질 뿐 다른 각도는 갖지 않으므로 서로 간의 오차를 제외하고는 구분이 가능하다는 것을 알 수 있다. 지금까지 손 모양 인식에 있어 손은 그림 5(a)와 같이 손가락을 손바닥 기준으로 위로 펼친 형태가 되도록 하였다. 이러한 형태에서는 일반적으로 중지가 가장 길기 때문에 최상단의 꼭지점은 중지 끝에 존재하게 된다. 하지만 중지가 가장 길지 않은 손이나 좌, 우로 축이 틀어진 손 모양에 대해서는 최상단 꼭지점의 위치가 바뀔 수 있다. 이러한 경우에도 동일한 손 모양으로 인식하는지의 여부를 알아야 한다. 손의 축이 앞, 뒤로 꺾어지는 여부에 대해서는 깊이 영상에서 손 영역을 검출하게 되면 모델과 매우 상이한 형태를 지니기 때문에 고려하지 않았다. 제안하는 기법이 convex-hull을 이용하여 내각의 합을 통해 손 모델들을 구분하는 방법인데 convex-hull과 내각의 크기가 손의 방향에 영향을 받지 않는 요소이기 때문에 비슷한 결과를 가질 것을 예상할 수 있다.

그림 15의 (a), (b)는 회전된 손 모양에 대해서 최상단 꼭지점에 대응하는 내각의 크기 경향과 분포를 보여준다. 2부터 4번 모델은 최상단 꼭지점을 기준으로 비슷한 형태를 지니므로 같이 표현하였다. 틀어진 손 모양에 대해서도 1번 모델과 나머지 모델들을 최상단 내각의 크기를 통해 분리할 수 있고 2~5번 모델이 각각 4~7개의 최소 경계점을 갖기 때문에 동일한 기법으로 구분 및 인식이 가능하다.

본 논문에서는 3장에서 제시된 1~5번 모델의 손 모양 인식 방법의 성능을 비교, 분석하기 위하여 키넥트 (Kinect) 시스템에서 제공하는 깊이 영상을 실험 영상으로 사용한다. 또한 보다 수월한 손 영역 검출을 위하여 Kinect for Windows SDK v1.6 라이브러리를 이용하여 손 위치 정보를 얻는다. 실시간 스트림의 해상도 640x480의 깊이 영상을 사용하고 손 영역 검출을 위한 손 위치는 키넥트에서 80~100(cm) 떨어진 거리로 하였다. 다섯 명의 인원으로 평범한 연구실 환경에서 실험을 실시하였고 각각의 인원은 모델 당 100 프레임, 즉 개인별 500프레임의 영상에서 손 모양 인식을 측정하였고 좌, 우로 축을 틀어가면서 진행하였다. 또한 3.2절에서 불필요한 convex-hull 경계점을 제거하기 위한 임계값 l_th와 θ_th을 두었는데 실험데이터를 통하여 80~100(cm) 거리에서는 l_th= 20, θ_th= 160의 값이 적합한 조건임을 찾고 실험을 진행하였다.

그림 17은 깊이 영상에서 1~5번 모델에 대한 손 영역 검출 및 최적의 경계점 수와 위치를 보여준다. 1번 모델의 경우 최상단 꼭지점에 대응하는 각도를 통하여 분리가 가능하고 2~5번 모델의 경우 최적의 경계점 수로 대응되는 각각의 다각형 내각의 합을 통하여 구분 및 인식이 가능하다는 것을 알 수 있다. 그림 18은 2~5번 모델에 대하여 100프레임 동안 내각의 합의 빈도수를 나타내는 히스토그램으로 각 모델마다 현저히 높은 빈도수를 갖는 내각의 합이 있는 것을 볼 수 있으며 이를 통해 손 모양 인식이 가능함을 알 수 있다. 표 1은 기존의 기법들과 제안하는 기법의 손 모양 인식률을 보여준다. 기존 기법 1은 컬러 영상 기반의 손 모양 인식 방법이고 [5] 기존 기법 2는 손 모양의 기하학적 특징을 이용하고 더불어 손가락 끝에서의 기울기 특성으로 손 모양을 인식한다[6]. 여기서는 본 논문에서 인식하고자 하는 모델과 동일하거나 거의 비슷한 convex-hull을 나타내는 손 모델과 비교하였다. 기존 기법 3은 피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하는 방법이다[1].

제안하는 기법은 깊이 영상에서 검출한 손 영역의 convex-hull을 구하고 손 모양에 따라 달라지는 convexhull에서 제안하는 기법을 통해 각 모델별 최적의 경계점을 구한 뒤 이를 꼭지점으로 하는 다각형의 내각의 합을 통해 손 모양을 인식한다. 기존 기법들과 비교했을 때 인식률이 떨어지는 모델도 있지만 전체적인 인식률을 보았을 때 제안하는 기법의 성능이 더 뛰어나다는 것을 알 수 있다. 특히 기존 기법 3과 비교하면 깊이 영상을 이용해서 잡음에 더 강인하고 손의 축이 좌, 우로 틀어지는 경우에도 인식이 가능하기 때문에 환경이나 손 모양 상태에 제한 없이 좀 더 안정적인 결과를 얻을 수 있음을 알 수 있다.

그리고 평균 프레임당 처리시간이 31ms로 실시간 동작이 가능함을 알 수 있다.

본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상에서 검출한 손 영역에 대해 convex-hull이란 수학적 개념을 사용하여 손 모양을 인식하는 기법을 제안하였다. 컬러 영상에 비해 잡음에 덜 민감한 깊이 영상을 이용하여 주변 환경에 구애받지 않을 수 있었으며[7] 손 모양 그 자체가 나타내는 형태를 특정 다각형에 대응시키고 일정한 내각의 합이라는 다각형 성질을 이용하여 축이 틀어진 손 모양에 대해서도 인식이 가능함을 확인할 수 있었다. 또한 제안하는 기법은 실시간으로 손 모양 인식이 가능하다.