운전자의 조작 없이 주행환경을 자동차 스스로 인식하여 목표지점까지 운행할 수 있도록 하는 무인 자동차 기술에 대한 연구 개발이 국내외적으로 활발히 이루어지고 있다[1]. 무인자동차 기술에는 반도체 및 전자제어 기술뿐만 아니라 컴퓨터 및 로봇 공학 등의 다양한 융복합 기술들을 필요로 한다. 특히, 카메라를 이용하여 입력되는 영상정보의 분석과 처리를 통해 장애물 회피와 돌발 상황에 대처하는 것은 매우 중요한 필수 요소 기술로서 현재 국내외적으로 가장 활발히 연구 개발이 이루어지고 있다[1,2].

기존에 무인자동차 구현을 위한 연구가 많이 수행되었는데, M. Mathias [1]은 TSR (Traffic Sign Recognition) 시스템을 위한 다양한 교통신호 표지판 인식 방법에 대한 기술 동향을 논하였고, A. Lorsakul [2]은 OpenCV로서 신경망을 도입하여 지능적인 자동차/운전자 보조 시스템을 제시하였다. R. Charette [3]은 움직임에 의한 블러링이나 조도 변화에 둔감한 장점을 갖도록 하기 위해 원거리에서 빛을 검출할 수 있는 알고리즘을 제시하고, 적응적 템플릿 매칭 기법에 의한 방식으로 신호등 색깔 검출 알고리즘을 제안하였다. Y. Jie[4]은 HSI와 RGB 칼러 모델에서 사각형내에 원형탐색 알고리즘을 개발하여 신호등 검출을 시도하였다. 이러한 R. Charette [3] 과 Y. Jie [4]의 방식은 빛을 발산하는 특정 지점 검출에 기초하여 개발되었으며, 신호등의 모양과 신호의 배치 형태가 다른 국내 신호등 모양에 맞고, 또한 형태학적 특징을 효과적으로 이용하는 방식에 대해 연구할 필요가 있다.

국내에서도 자율주행차량을 위한 다양한 연구 개발이 시도되었다. S. Kim [5]은 디지털 영상처리 기술을 이용하여 교통신호등 자동 판별시스템을 개발하였는데, 색상 성분을 통해 교통 신호등의 색깔을 검출하는 방식을 사용하였다. 즉, 색상 성분 분할과 더불어 웨이블릿 변환을 사용하여 신호등 영역을 검출하는 연산자를 도입하였다. Y. Kim [6]은 차세대 실감 내비게이션 시스템을 위해 차선인식, 교차로인식 등의 기능 블록 등을 구현하고, 교통신호등과 표지판을 객체별로 인식하기 위해 색상 정보를 이용하여 인식 대상을 검출하고, 객체의 특징을 이용하여 인식하는 방법을 제시하였다. M. Kim[7]은 차량 내 장착되는 블랙박스 카메라와 분석 기능을 갖는 스마트 자동차 인포테인먼트 시스템 개발에 대한 기술을 제안하였다. J. Jeong [8]은 실시간으로 신호등을 인식하고 검출하는 알고리즘을 제시하였는데, 기본적인 접근 방식은 색 성분의 차이와 검출 마스크를 이용하여 신호등 위치와 색깔 인식률을 개선하고자 하였다. 그러나 이 방법은 교차로 앞에서 정지된 경우에 대한 색깔 인식률에 기초하여 교통신호등을 검출하는 경우로 제약되고, 인식거리에 무관한 알고리즘을 제시하고 있다. 실제 신호등 인식은 주행하고 있는 경우에 대해 의미가 있으며 또한 운전자에게 보조적인 정보로서 더 많은 응용을 갖는다고 볼 수 있다.

본 논문에서는 주행 중에 카메라로부터 입력되는 영상으로부터 신호등 위치를 자동적으로 검출하고, 신호등 색깔을 인식하는 방법을 제안한다. 주행 중의 영상에서는 신호등의 위치와 크기가 가변적이며, 또한 실제 10m ~ 25m 전방에 위치하는 신호등을 인식하는 방법을 제안한다. 기존 방식의 한계를 극복하면서 주행 중 영상에서 신호등을 검출하기 위해 제안한 방법은 핀홀 카메라 모델에 기초하여 거리 인식 기법을 고안하고, 이를 바탕으로 성능을 평가하는데 사용한다. 또한 신호등 위치 및 색깔 인식을 위해 제안한 방법은 교통신호등이 갖는 형태학적인 특성을 최대한 고려한 교통 신호등 인식 방법을 제안한다. 제안한 방식은 색깔 성분과 사각형 특성, 원형 특성과 같은 형태학적 특성을 동시에 고려함으로써 인식 효율을 크게 증대된다. 다양한 모의실험을 통하여 제안한 방식은 기존의 색깔 분석 방식에 비해 교통신호등 인식률뿐만 아니라 오인식률 성능을 크게 개선시킬 수 있음을 보인다.

본 논문의 구성은 다음과 같다. II장에서 핀홀 카메라 모델에 기초해서 거리 인식 기법을 제시하고, III장에서는 본 논문에서 제안한 교통신호등 위치 인식 및 색깔 인식 방법에 대한 알고리즘을 제안하고, IV장에서는 다양한 모의실험을 바탕으로 제안한 알고리즘의 타당성을 검토한다. 끝으로 V장에서는 결론을 맺는다.

주행 중인 차량에서 전방에 위치한 거리를 예측하기 위한 모델로서 본 논문에서는 그림 1과 같은 기존 연구[9,10]의 결과에 따른 핀홀 기반의 거리 인식 모델을 사용한다. 그림 1에서 운전자로부터 기준선까지 떨어진 거리를 a, 그리고 관찰선까지의 거리를 y라고 할 때, 이 선들이 실제 동일한 도로폭 W₁과 W₂으로 영상 내에 관찰되어 측정되는 길이는 각각 l₁과 l₂로 표현된다. 따라서 측정하고자 하는 관찰선까지의 실제 거리는 다음과 같이 비례식으로 예측한다.

그림 2는 5m 전방을 기준선으로 두고, 식(1)에 의해 전방 관찰선까지의 거리를 예측한 결과를 보여준다. 실제 측정된 실측치와 식(1)에 의해 예측된 결과는 거의 일치함을 보여준다.

본 논문에서 제안된 교통신호등 위치 검출 및 신호등 인식에 대한 제안된 알고리즘은 그림 3과 같이 요약된다.

국내의 대도시 시내에 설치된 대부분의 교통신호등은 수평으로 위치하고 있고, 각 신호등은 정사각형 모양의 검은색 테두리 내에 빨강색, 노랑색, 초록색, 또는 방향 지시등을 위치시켜서 각각 한 종류의 신호를 표시하고 있다. 이러한 특성에 맞추어 각각의 색 영역으로 분해하여 각각에 대해 처리하는 것이 요구된다. 기존의 많은 논문에서는 RGB모델을 HSI모델로 변환하여 색 분할을 수행하였으나[6,8], 본 논문에서는 다양한 실험을 바탕으로 RGB모델에서 HLS모델로 변환하여 색 분할을 수행하였다. 이때 발생되는 HLS모델로 변환된 신호 YH/YL/YS는 0에서 255사이의 값으로 정규화되고, 이 값들이 표1에 나타낸 범위에 해당되면, 신호등의 색깔 또는 테두리가 존재한다는 것을 의미하는 이진영상 Br/By/Bg와 Bb를 생성한다.

이진영상 Br/By/Bg와 Bb은 교통신호등이 갖는 색깔 성분과 동일한 색 성분을 나타내는 것으로서 일정 부분의 잡음을 제거하기 위해 열림연산을 수행한다. 즉, 입력영상 Br/By/Bg와 Bb에서 3x3 직각형태의 커널을 침식(erosion)과 팽창(dilation)을 순차적으로 적용함으로써 Kr/Ky/Kg와 Kb를 얻는다.

이진영상 Kr/Ky/Kg와 Kb을 기초하여 신호등 위치에 대한 후보 영역을 결정하는 과정은 그림 4와 같이 요약된다. 먼저, Kr영상에 대해 레이블링을 수행하고, 이때 레이블의 개수가 L개라고 하면, L개 중에 임의 i번째 레이블에 포함된 넓이(Area)를 이용하여 예상 반지름 ()은 다음과 같이 계산한다.

주어진 레이블 내의 좌표로부터 상측 방향으로 최대 4까지 이동하면서 신호등 외곽 이진영상인 Kb를 탐색하여 1인 값을 찾는다. 이때 1이 탐색되면, 수평방향의 좌측으로 4 만큼 그리고 우측으로 16 만큼 스캔하여 1을 찾게 되고, 찾게 되는 1에 대응되는 외곽후보 영상(Pb)의 좌표위치에 1로 표시한다. 좌측과 우측으로 각각 다르게 탐색하는 이유는 Kr영상은 신호등의 빨강색 위치를 의미하고, 이를 기초해서 좌측과 우측으로 각각 스캔하는 범위가 각각 다르게 한다[8]. 이와 동일한 방법으로 하측 방향으로 최대 4까지 이동하면서 신호등 외곽 이진영상인 Kb를 탐색하여 1인 값을 찾고, 좌측과 우측으로 각각 4 과 16 만큼 스캔하여 1을 찾게 되고, 찾은 1에 대응되는 Pb영상의 좌표위치에 1로 표시한다. 이렇게 해서 Pb영상에 1을 표시하게 하는 레이블에 대해서는 그 레이블의 모든 좌표에 대해서는 색깔 후보영상 (Cryg)에 1로 표시하여 신호등 외곽 프레임을 검출한 색깔후보를 표시하게 된다.

다음은 Ky영상과 Kg영상에 대해서도 동일한 방법으로 Pb영상과 Cryg영상에 대해 1로 표시하는 작업을 수행한다. 단, Ky영상에서는 좌측과 우측으로 각각 8 과 12 만큼 스캔하여 1을 찾게 되고, 찾은 1에 대응되는 Pb영상의 좌표위치에 1로 표시한다. 그리고 Ky영상에서는 좌측과 우측으로 각각 16 과 4 만큼 스캔하여 1을 찾게 되고, 찾은 1에 대응되는 Pb영상의 좌표위치에 1로 표시한다. 이상에서 얻은 Pb영상과 Cryg영상의 OR합성을 통해 신호등 후보영상 (Q)을 얻는다.

그림 4(a)는 이상에서 설명한 신호등 위치 후보 즉, 외곽 후보영상(Pb)과 색깔 후보 영상(Cryg)을 얻는 제어 흐름도를 나타내고 있다. 그리고 외곽후보영상과 색깔후보영상을 통해 얻어진 신호등 후보 영상은 그림 4(b)에 대하여 구하여진 한 예를 나타내고 있다. 이 그림에서 빨강색 위치의 테두리는 검정색과 빨강색의 상호 작용에 의해 임계치에 포함되지 않음에 기인한다.

신호등 후보영상 (Q)으로부터 형태학적 분석을 통해 신호등의 사각형 정보, 원형정보 그리고 색깔 정보를 동시에 고려한다. 신호등 후보영상의 각 레이블에 대해 무게중심 좌표를 구하고, 그 무게중심 좌표로부터 수평 방향으로 좌우로 탐색해서 종단 좌표를 구하여 x_min과 x_max값을 구한다. 또한 무게중심 좌표로부터 수직방향으로 상하로 탐색해서, 종단좌표를 구하여 y_min과 y_max를 구함으로써, 사각형의 좌측 상단좌표(x_min, y_min)과 (x_max, y_max)좌표를 구한다. 그림 5는 신호등에 대한 사각형 근사화 과정에 대한 예를 나타내고 있다.

신호등 후보영상(Q)으로부터 사각형 근사화 정도를 측정하기 위해 사각형 내부 화소 비율을 다음과 같이 측정한다.

여기서 N_i는 사각형 근사화에 따른 사각형 내부에 위치하는 1의 좌표 개수이고, Width = x_max - x_min와 Height = y_max - y_min는 각각 사각형 근사화의 폭과 높이를 나타낸다.

신호등 후보의 사각형 근사화에 따라 신호등의 가로 대 세로 비율은 신호등의 매우 중요한 특징 파라미터이다. 각 신호등은 정사각형 모양의 검은색 테두리 내에 빨강색, 노랑색, 초록색, 또는 방향 지시등으로 위치하고 있다. 따라서 다음과 같은 기준으로 신호등 비율을 검출한다.

신호등에 위치하는 색깔은 신호등에서 수직축상에서 가운데에 위치한다. 본 논문에서는 색 영역 무게중심 좌표를 추출하기 위해 그림 6과 같이 근사화된 사각형의 수직방향의 가운데 1/3 크기의 영역에 대해 색 영역 좌표를 추출하게 된다.

색깔 후보영상(Cryg)에서 얻어진 각각의 레이블에 대해서는 원근사화를 통해 이것이 원형적인 특성과 관련되는 파라미터 값을 추출한다. Cryg의 각 레이블에 대해 넓이와 무게중심을 구하고, 이 넓이를 식(2)에 따라 반지름을 근사한 후에, 무게 중심 좌표에서 원을 그리면, 원형 근사화가 된다. 이때 그려지는 원 내부 좌표의 전체 개수(I_total)에 대한 원 내부 좌표에서 1의 값을 갖는 좌표 개수(I_cir)의 비율을 다음과 같이 정의한다.

신호등 후보영상 (Q)으로부터 형태학적 분석을 통해 신호등의 사각형 근사화 및 파라미터, 신호등의 가로대 세로 비율, 색 영역 무게중심 좌표의 위치, 그리고 원 근사화 및 파라미터를 기초하여 신호등 여부를 판정하고, 또한, 검출된 신호등내의 색깔 위치와 색 성분에 의해 신호를 판정한다.

동영상에서 신호등이 한 번 검출되면 그 다음 프레임에서는 신호등 탐색이 용이하다. 즉 차량의 주행 속도에 따라 달라지지만 대부분의 신호등은 우측 상향 방향으로 신호등이 확대되는 형태로 변화가 있게 된다. 따라서 이러한 방향성을 고려하고 연산 범위를 제약하기 위해 관심영역을 설정하는 것이 가능하다.

본 논문에서는 제안된 방식에 의한 신호등 위치 검출과 색깔 인식 성능을 확인하기 위해 약 120개의 다른 신호등을 추출하였고, 동영상을 구성하는 각 프레임 단위로 모의실험을 수행하여 성능을 평가하였다.

그림 7(a)는 색깔 후보영상(Cryg)에서 색 영역 무게중심 좌표가 근사화된 사각형의 수직방향의 가운데 1/3 크기의 영역에 위치하는 경우에 대해 식(3)으로 정의된 사각형 내부 화소 비율(Rrate)을 조사하여 나타낸 것이다. 실제 신호등인 경우에는 Rrate의 값이 0.4이상이 되는 경우에 대부분이 신호등으로 분류될 수 있음을 확인할 수 있다. 신호등이 아닌 경우에는 Rrate의 값이 대부분 0.3이하에 집중되므로, 색 영역의 무게 중심 좌표와 더불어 Rrate의 값이 작은 경우에는 신호등이 아닌 경우로 분류하더라도 오인식할 확률은 낮게 된다.

그림 7(b)는 색 영역의 무게 중심좌표가 신호등 수직방향으로의 가운데 1/3 크기 영역에 위치하지 않는 경우에 대하여 사각형 내부 화소 비율( Rrate)을 조사하여 나타낸 것이다. 그림 7의 결과에 비해 전체적으로 발생빈도수는 낮게 발생하는 것을 확인할 수 있으나, Rrate의 값이0.5이상인 경우에 대해서도 비신호등이 신호등으로 인지될 수 있음을 알 수 있다. 따라서 이 같은 경우에는 좀 더 높은 값을 설정해야 오인식률을 낮출 수 있게 된다.

이상의 실험으로부터 사각형 근사화로 얻어지는 신호등 후보 영역 내에 색 후보 영역이 가운데 1/3 구간에 위치하는 경우에 신호등으로서의 인식률이 매우 높은 것으로 판정할 수 있으나, 이 구간을 벗어나는 경우에는 사각형 화소 비율을 상대적으로 매우 높게 해야 하는 제한적인 특성을 갖게 된다. 이러한 관찰을 바탕으로 본 논문에서는 색 영역의 무게중심 좌표가 근사화된 사각형의 수직방향의 가운데 1/3 크기의 영역에 존재하면 0.4 < Rrate에 대해 신호등으로 판정하고, 그렇지 않은 경우에는 0.6 < Rrate에 대해 신호등으로 판정하도록 선정하였다.

식(4)에 의해 3색등/4색등/5색등에 대한 가로대 세로 비율을 만족시키는 근사화된 사각형에 대해 내부의 신호가 갖는 원형특성을 나타내는 수식(5)로 정의된 특성을 조사하여 그림 8과 같이 나타내었다. 실제 먼 거리에 있는 원은 실제 원으로 근사화하는데 매우 작은 개수의 화소로 표현될 수 있기 때문에 매우 낮은 Crate의 값에 대해서만 실제 신호등이 존재함이 관찰된다. 실제 오인식률을 줄이기 위해서는 Crate의 값을 충분히 큰 값으로 설정하는 것이 필요함을 확인하게 된다. 본 논문에서는 안정적인 값을 얻기 위해 0.6 < Crate의 값으로 제한하였다.

II절에서 설명한 방식으로 실제 거리별로 신호등 검출 및 신호 인식률을 관찰하기 위해 그림 1과 그림 2의 내용을 직접 구현하였으며, 거리별로 신호등 검출 성능과 실질적인 신호 인식률을 조사하였다. 본 논문의 시뮬레이션에서는 1280 x 720의 공간 해상도를 사용하였고, 줌인(Zoom In)과 같은 화면 확대 기능 없이 기본 모드로 촬영된 주행 영상에 구현되었다.

그림 9는 제안된 알고리즘을 사용하여 동영상에서 거리 단위로 교통신호등을 성공적으로 검출할 비율과 더불어 실제 교통신호등이 아닌 곳을 신호등으로 오인식하는 비율을 조사하여 나타내었다. 약 25m 전방에 있는 신호등에 대한 인식률은 약 65% 정도의 신호등을 검출하는 비율을 보여준다. 거리가 약 5m씩 가까워짐에 따라 75% 그리고 83% 정도로 개선되고, 15m이내의 범위에 진입하게 되면, 약 93%의 성능을 달성하게 된다. 그리고 약 25m 전방에서는 오인식률이 약 6% 정도에 달하였으나 점차 거리가 5m씩 가까워짐에 따라 4% 그리고 2% 정도로 감소시킨다. 15m이내의 범위에 진입하게 되면, 약 0.2% 범위로 크게 감소시키는 것을 확인하게 된다.

그림 10은 검출된 신호등 위치에 대해 신호를 적절하게 인식하는 비율과 오인식 비율을 조사하여 나타낸 것이다. 색깔 인식률은 신호등이 제대로 검출되면 거리에 무관하게 98.2%이상을 달성하게 되고, 색깔 오인식률은 거의 1% 미만을 달성하게 된다. 이것은 신호등이 적절하게 검출되는 경우에 대해서는 색깔을 검출하는 방법에 있어서 거의 오인식이 발생하지 않게 됨을 의미한다. 따라서 제안한 교통신호등 검출과 색깔 인식 알고리즘은 형태학적인 특성에 의해 크게 오인식률을 떨어뜨릴 수 있음을 확인할 수 있게 된다.

본 논문에서는 동영상의 각 프레임 내에 존재하는 교통 신호등 위치를 검출하고, 그 신호등의 신호 성분을 인식하는 적응적인 알고리즘을 제안하였다. 제안한 방식은 신호등이 갖는 형태학적인 특성을 최대한 고려한 방법으로서 사각형 근사화, 가로대 세로 비율, 색 영역 성분의 무게중심 좌표 위치, 원형 근사화 특성 등을 종합적으로 고려해서 신호등 특성을 만족하는 범위의 신호등을 찾고, 또한 신호등의 신호를 인식하는 알고리즘을 제안하였다. 또한 제안한 알고리즘의 검증을 위해 핀홀 카메라 모델에 기초해서 카메라 장착 높이에 따른 거리 인식 방식에 기초하여 매우 다양한 실험을 수행하였고, 제안한 알고리즘이 매우 효과적임을 검증하였다. 제안한 방식은 교통신호등 위치와 신호를 매우 높은 인식률로 인식할 수 있음을 보였고, 더불어 오인식률을 크게 낮출 수 있음을 보였다.

앞으로 본 논문에서 개발한 알고리즘에 대해 야간환경에서 가로등이 있는 조건에 대해 검증할 필요가 있으며, 더불어 곡선도로나 지하차도와 같은 다양한 도로에 대해 검증하여 거리예측 모델의 타당성에 대해 확인할 필요가 있다. 또한, 본 논문에서 제안한 방식을 통하여 교통신호등 오인식률을 더욱 줄이기 위한 방안에 대해 추가적인 연구를 수행할 필요가 있다.