EGML 이동 객체 검출 알고리듬의 고정소수점 구현 및 성능 분석

doi:10.6109/jkiice.2015.19.9.2153

OA학술지
Journal of the Korea Institute of Information and Communication Engineering

EGML 이동 객체 검출 알고리듬의 고정소수점 구현 및 성능 분석 A fixed-point implementation and performance analysis of EGML moving object detection algorithm

DOI : 10.6109/jkiice.2015.19.9.2153
Publish: Journal of the Korea Institute of Information and Communication Engineering Volume 19, Issue9, p2153~2160, 30 Sep 2015

ABSTRACT

EGML 이동 객체 검출 알고리듬의 고정소수점 구현 및 성능 분석

An analysis of hardware design conditions of moving object detection (MOD) algorithm is described, which is based on effective Gaussian mixture learning (EGML). A simulation model of EGML algorithm is implemented using OpenCV, and the effects of some parameter values on background learning time and MOD sensitivity are analyzed for various images. In addition, optimal design conditions for hardware implementation of EGML-based MOD algorithm are extracted from fixed-point simulations for various bit-widths of parameters. The proposed fixed-point model of the EGML-based MOD uses only half of the bit-width at the expense of the loss of MOD performance within 0.5% when compared with floating-point MOD results.

KEYWORD

이동 객체 검출 , MOD , 가우시안 혼합 모델 , EGML , 배경 학습

본문

Collapse all

Ⅰ. 서 론

감시시스템 (surveillance system)은 방범과 각종 사고 예방을 위해 도로, 교통, 건물 내ㆍ외부, 무인시설 등에서 널리 사용되고 있다. 최근에는 움직이는 객체가 검출된 경우만 영상을 저장하거나 움직이는 객체를 추적하는 지능형 감시시스템에 대한 관심이 높아지고 있으며, 이에 대한 연구가 활발히 이루어지고 있다[1,2]. 지능형 감시시스템의 기반을 이루는 기술 중 하나가 영상 속에서 움직이는 객체를 찾아내는 이동 객체 검출(moving object detection; MOD)이다.

MOD를 위해 장면 차분 (temporal difference) 기법, 배경 차분 (background subtraction) 기법 등 다양한 방법들이 사용된다. 장면 차분 기법은 이전 픽셀과 현재 픽셀의 차를 이용하여 배경과 객체를 구분하는 방법이며, 역동적인 배경에서는 배경을 모두 객체로 인식하고, 반대로 느린 이동 객체는 객체의 윤곽만을 객체로 인식하는 단점이 있다. 배경 차분 기법은 배경을 모델링하여 배경과 이동 객체를 검출하는 방법으로서 가장 널리 사용 되고 있으며, 배경의 변화에 따라 적응적으로 배경을 모델링 하는 적응적 배경 차분 알고리듬이 대표적인 방법이다. 이를 위해 사용되는 가우시안 혼합모델(Gaussian mixture model; GMM)은 영상의 각 픽셀에 대해 여러 개의 가우시안 확률 분포를 적용하여 배경을 모델링 하는 방법이다[3]. 이 방법은 배경에 적응해 나가는 학습 속도에 따라 성능에 큰 차이를 보이는 단점이 있다.

GMM 기반 배경 모델링 방법이 갖는 문제점을 해결하기 위해 EGML (effective Gaussian mixture learning)알고리듬이 제안되었으며, 각 가우시안 분포에 맞게 학습 속도를 조정함으로써 MOD 정확도를 향상시킨다[4]. 그러나 역동적인 배경, 화면 흔들림, 조명 변화, 그림자 등의 상황에서 MOD 정확도가 다소 떨어지는 단점을 갖기도 한다[5]. 이러한 요인들에 의한 영향을 줄이기 위해서는 영상의 종류에 따라 학습 속도와 알고리듬 파라미터 값을 적절하게 조절해야 한다.

본 논문에서는 EGML 알고리듬을 openCV로 구현하고, IEEE CDW-2012 데이터 세트에 제시된 기준 영상들에 대한 시뮬레이션을 통해 알고리듬 파라미터 값과 비트 길이가 MOD 성능에 미치는 영향을 분석하고 최적 하드웨어 설계 조건을 도출하였다.

Ⅱ. 이동 객체 검출 기술 동향

MOD를 위한 알고리듬들은 다양한 수학적 모델을 기반으로 한다. 입력 영상의 환경적인 특성을 고려할 때, 실내인 경우 배경이 고정되어있을 가능성이 높아 움직이는 모든 물체를 이동 객체로 인식해도 큰 문제가 되지 않는다. 그러나 실외 환경인 경우에는 바람에 흔들리는 나뭇가지나 물결 등 움직이는 물체자체가 배경이 될 수 있기 때문에 복잡한 환경에서도 이동 객체를 올바로 검출할 수 있는 기술이 필요하다. MOD를 위한 많은 기법들이 존재하지만 주로 차 영상, 배경 차분, 광류 흐름을 적용시킨다. 이들 3가지 기법 중에서 배경 차분은 복잡한 환경에서도 우수한 성능을 갖기 때문에 일반적으로 많이 적용된다[6]. 배경 차분은 코드북 모델[7], 적응적 가우시안 혼합 모델[3], 비모수적 커널 기법[8] 등의 알고리듬이 존재한다.

배경 차분 기법은 관심 영역이 포함되지 않은 추정 이미지 (배경 모델)와 관찰 이미지 (입력 영상)를 비교하는 절차에 의해 전경을 추출한다. 배경 차분 기법에서 배경 또는 조명의 변화, 화면 흔들림, 그림자 등의 원인으로 전경 영역을 완벽히 정의하는 것이 매우 어려운 일이다. 따라서 이러한 문제점들에 강인한 이상적인 전경 영역 검출을 위한 새로운 방법이 제안 되고 있다[5]. RGB 색 공간을 기반으로 외곽선 비율에 따라 이동 객체와 그림자를 판정하는 방법이 문헌[9]에 제시되었다. 이동 객체와 그림자의 특성이 3차원 RGB 색 공간에서 분석되며, 현재 이미지와 배경 모델의 픽셀 밝기 및 색도의 왜곡에 기초하여 객체와 그림자를 구분한다.

문헌[10]에서는 빠른 조명 변화 조건에서 색도 모델과 휘도 비율 모델을 통해 접근 하는 방법을 제시하였다. 이 방식의 주요 초점은 빠른 조명 변화에 의해 오검출된 전경 픽셀들을 제거하는 것이다. 초기에 움직이는 물체와 오검출된 전경 픽셀 후보들을 분리하기 위해 색도 차 모델을 사용하여 오검출 전경 픽셀 확률 분포를 결정한다. 문헌[11]에서는 그림자 제거와 조명 변화 조건에서의 이동 객체 검출 방법을 제시하고 있다. 영상의 그림자 픽셀들을 제거하기 위하여 정규화된 국부적 감도 (local intensity)에 의해 그림자 픽셀들이 대체된다. 노이즈와 산란된 그림자를 제거하기 위해 침식 연산이 사용되며 윤곽 강조 기법을 사용하며 이동 객체의 윤곽을 찾고, 얻어진 이동 객체의 빈 공간을 채운다.

Ⅲ. 배경 차분 기반 이동 객체 검출

3.1. 가우시안 혼합 모델을 적용한 이동 객체 검출

배경 차분 기반 MOD 알고리듬에서 가장 먼저 처리되는 과정은 배경 추출이다. 추출된 배경과 입력 픽셀값의 차 (difference)를 구하고, 그 차이가 설정된 임계값 보다 큰 경우에는 해당 픽셀을 전경으로 검출하며, 임계값 보다 작은 경우에는 배경으로 분류한다. 장면 변화에 따라 추출된 배경값이 변화를 보이는 경우에 적응적 가우시안 혼합모델을 이용하면 더욱 효과적인 배경 모델링이 가능하다.

적응적 가우시안 혼합 모델에서 임의의 시간 t에 입력된 픽셀이 배경일 확률 P(X_t) 은 식 (1)과 같이 정의된다. K는 가우시안의 개수이며 ω_{i, t}는 가우시안의 가중치, G(X_t, μ_i_,_t, Σ_i_,_t)는 평균 μ_i_,_t 와 공분산 행렬 Σ_i_,_t = σ² ‧ I 을 갖는 가우시안 확률 밀도 함수를 나타낸다. 가우시안 확률 밀도 함수는 학습율 α와 함께 식 (2)와 같이 각 가우시안의 파라미터를 갱신할 때 사용되며, ρ_i값의 크기에 따라 갱신 비율이 달라진다.

가중치 ω를 표준편차 σ로 나눈 값에 따라 각 가우시안의 분포를 내림차순으로 정렬한 후, 식 (3)을 만족하는 B개의 분포를 배경으로 모델링한다[12]. 식 (3)에서 T_f는 배경의 동적 정도를 나타내는 임계치이다.

배경 차분 기반의 이동 객체 검출은 그림 1과 같이 크게 3단계의 과정으로 처리된다. 전처리 과정에서는 잡음 제거를 위해 가우시안 필터가 적용되며, 컬러 영상이 그레이 스케일로 변환된다. 전처리 과정 후, 배경 학습 알고리듬을 통해 배경이 학습되고, 입력 픽셀과 학습된 배경의 차를 분석하여 전경 또는 배경으로 분류된다. 후처리 과정에서는 MOD 결과를 보정하기 위해 메디안 필터가 적용된다.

[그림 1.] 배경 차분 기반 이동 객체 검출

3.2. EGML 알고리듬

EGML 알고리듬은 가변 학습율을 적용하여 가우시안의 평균 μ와 분산 σ²을 갱신함으로써 빠른 수렴속도와 높은 안정도를 갖도록 개선된 가우시안 혼합 모델 기반의 배경 생성 방법이다. 배경 학습 과정에서 학습율 α에 의해 가중치 ω가 갱신되는 관계는 식 (4)와 같다. 가중치 ω는 최초로 생성되는 배경의 조건을 판단하고 새로운 객체를 배경으로 추가할 때 적용되어 가우시안 생성과 소멸의 기준으로 사용된다.

가우시안의 평균 μ와 표준편차 σ는 각 가우시안의 매칭 빈도수 c_k를 이용하여 식 (5)-(8)과 같이 계산된다. EGML 알고리듬은 승자독식 (Winner-Take-All) 방식을 적용하므로, 가장 높은 확률을 가진 가우시안은 q_k = 1이 되고, 나머지 가우시안은 q_k = 0이 되어 파라미터가 갱신된다.

입력되는 픽셀 값이 어느 가우시안에도 포함되지 않을 경우에는 식 (9)에 의해 가장 낮은 가중치를 갖는 가우시안의 파라미터들이 초기화된다. 새롭게 생성되는 가우시안은 c_k = 1로 초기화되어 평균과 분산이 빠른 속도로 수렴되며 시간이 지날수록 α 값에 근접해져 높은 안정도를 갖는다[4].

그림 2는 EGML을 포함한 대표적인 MOD 알고리듬 4가지의 MOD 결과를 보인 것이며, 표 1은 알고리듬 별 MOD 성능을 비교한 것이다[4,13-15]. F-measure는 검지율 Recall = TP/(TP+FN)과 정밀도 Precision = TP/(TP+FP)의 조화 평균 (harmonic mean)으로 0 ≤ F - Measure ≤ 1의 값을 가지며, 1에 가까울수록 성능지표가 높다. TP(True Positive)는 객체 픽셀이 객체로 인식된 총 픽셀수를 나타내며, FN (False Negative)과 FP (False Positive)는 각각 객체 픽셀이 배경으로 인식된 총 픽셀 수, 그리고 배경 픽셀이 객체로 인식된 총 픽셀 수를 나타낸다. 그 외의 지표로서 그림자 픽셀을 객체로 인식된 총 픽셀 수를 나타내는 SE(Shadow Error)가 있다.

[그림 2.] MOD 알고리듬에 따른 이동 객체 검출 결과 (a) 입력 영상, (b) 그라운드 트루스, (c) EGML, (d) PAWCS, (e) PBAS, (f) VIBe+

[표 1.] MOD 알고리듬의 성능 비교

MOD 알고리듬의 성능 비교

Ⅳ. 소프트웨어 구현 및 파라미터 분석

EGML 기반의 MOD 알고리듬을 C++ 및 OpenCV을 사용하여 모델링하였으며, IEEE CDW-2012 데이터 세트에 대한 MOD 결과를 ROC-Curve와 F-measure 값으로 MOD 성능을 분석하였다.

각 범주별 영상에 대한 분석 결과는 그림 3과 같으며, 대부분의 영상에서 ROC- Curve는 기울기가 1인 기준선 보다 상단에 형성되어 있어 EGML 알고리듬의 유용성을 확인할 수 있다. 알고리듬에 적용시킬 학습율 α, 임계값 T, 표준편차의 최소값 σ_min을 결정하기 위해 3가지 파라미터 값을 가변시키면서 ROC-Curve 특성을 분석한 결과, 그림 3(a),(c),(e),(f)의 안정된 영상은 α값이 크고 (0.003), T × σ_min = 18인 경우에 가장 좋은 성능을 나타냈다. 그림 3(b),(d)와 같은 불안정한 영상은 안정된 영상에 비해 MOD 성능이 저하되었으며, α값이 작고 (0.001), T × σ_min = 30인 경우에 가장 좋은 성능을 나타냈다.

[그림 3.] 영상 범주별 MOD 결과의 ROC-Curve 성능 (a) pedestrians-baseline, (b) boulevard-camera Jitter, (c) canoe-dynamicBackground, (d) parking-intermittentObject Motion, (e) peopleInShade- Shadow, (f) park-thermal

그림 4는 안정된 pedestrians 영상과 흔들림이 있는 불안정한 boulevard 영상에 대해 α와 σ_min값에 따른 MOD 결과를 보이고 있으며, 불안정한 영상은 안정된 영상보다 파라미터 값에 따른 차이가 크다는 것을 확인할 수 있다. 표 2는 최적의 파라미터 값을 적용한 경우에 범주별 각 영상들의 F-measure 값이다.

[그림 4.] 파라미터 값에 따른 이동 객체 검출 결과 (a) pedesrians, (b) boulevard

[표 2.] 파라미터에 따른 F-measure 성능 분석

파라미터에 따른 F-measure 성능 분석

Ⅴ. 고정소수점 비트 길이 분석

EGML 기반 이동 객체 검출 시스템의 하드웨어 구현을 위해서는 고정소수점 (fixed-point) 연산이 적용되므로, 파라미터 및 연산 회로의 비트 길이가 MOD 결과에 미치는 영향을 고려해야 한다. EGML 기반 이동 객체 검출 알고리듬의 최적 하드웨어 설계조건을 도출하기 위해 고정소수점 시뮬레이션으로 성능을 분석하였다.

본 논문에서는 학습율 α의 최소값을 0.001로 적용하였으며, 학습율에 영향 받는 모든 파라미터들을 동일한 정밀도로 표현하기 위해 μ와 σ의 소수부와 관련 연산회로의 비트 길이를 최대 10-비트로 설정하였다. 또한, ω의 소수부와 관련 연산회로의 비트 길이를 최대 20-비트로 설정하였으며, 비트 길이를 1-비트씩 줄이면서 MOD 결과의 F-measure 값을 분석하였다.

그림 5는 각각 ω, μ, σ의 비트 길이 변화에 따른 F-measure 결과를 보인 것이다. 그림 5(a)에서 traffic 영상의 경우 학습율 α값을 0.003 (≈ 2^-8.4)으로 설정했으며 9-비트까지 출력이 가능하였다. 나머지 두 영상의 경우 ω의 정밀도 2^-10표현할 수 있는 최솟값인 10-비트 이하의 값을 적용하면, 이동객체 검출이 되지 않음을 확인할 수 있다.

[그림 5.] 비트 길이에 따른 F-measure 성능

또한 안정된 배경을 갖는 영상은 불안정한 영상에 비해 μ, σ의 비트 길이 감소에 따른 성능 저하가 비교적 작음을 알 수 있다. 그림 5(b)에서 canoe 영상의 경우 μ가 3-비트인 경우에 5-비트인 경우 보다 F-measure 값이 약간 증가한다. 그림 6은 canoe 영상의 μ의 비트 길이에 따른 MOD 결과를 보인 것이다. 그림 6에서 볼 수 있듯이, μ의 비트 길이가 감소하면 이동 객체 검출 영역의 크기가 작아지지만 노이즈 영역도 작아짐에 따라 F-measure 값이 상승하는 것으로 분석되었다. 이는 비트 길이 감소에 따른 부작용으로 최적의 비트 길이로 고려하지 않는다.

[그림 6.] canoe 영상의 μ의 비트 길이에 따른 MOD 결과

본 논문에서는 그림 6에서 F-measure가 급격히 감소하는 지점을 기준으로 해당 비트 길이에 약 2-비트의 마진을 적용해 최적의 비트 길이를 ω : (1.17), μ : (9.6), σ : (8.6)으로 결정하였다. 여기서 (A, B) 는 정수부분 A-비트, 소수부분 B-비트를 나타낸다.

그림 7은 32-비트 부동소수점 (a), 본 논문에서 사용된 비트 길이 (b), 문헌[16]에서 적용된 비트 길이 (c) 그리고 MOD가 가능한 최소 비트 길이 (d)에 따른 MOD 결과를 보이고 있다. 표 3은 각각의 비트 길이에 따른 이동 객체 검출 결과의 F-measure값으로, 본 논문에서 결정된 비트 길이 (b)의 경우 부동소수점 연산 (a) 및 문헌[16]에서의 비트 길이 (c)에 비해 성능이 향상된 결과 를 보이고 있다.

[그림 7.] 비트 길이에 따른 이동 객체 검출 결과 (a) 32-b 부동 소수점, (b) 고정 소수점 [본 논문], (c) 고정 소수점 [16], (d) 고정 소수점 [최소]

[표 3.] 비트 길이에 따른 F-measure 값

비트 길이에 따른 F-measure 값

Ⅵ. 결 론

본 논문에서는 EGML 알고리듬을 이용한 이동 객체 검출 과정을 소프트웨어로 모델링 하였으며, 다른 MOD 알고리듬과의 F-measure 성능을 비교함으로써 해당 알고리듬의 유용성을 확인하였다, 또한 다양한 범주의 영상들에 대해 높은 MOD 성능을 갖도록 최적의 파라미터 값을 도출하였다. 또한, 하드웨어 설계를 위한 파라미터의 고정소수점 비트 길이를 분석하고 최적의 비트 길이를 도출하였다. 본 논문에서 결정된 고정 소수점 비트 길이는 부동소수점 연산 대비 약 절반의 비트 길이를 사용하면서 0.5% 이내의 MOD 성능 차이를 갖는 것으로 확인되었다.

참고문헌

1. Hsiehm J., Yu S., Chen Y., Hu W. 2006 “Automatic traffic surveillance system for vehicle tracking and classification,” [IEEE transactions on Intelligent Transportation Systems] Vol.7 P.175-187
2. Black J., Velastin S., Boghossian B. Sep. 2005 “A real time surveillance system for metropolitan railways,” [IEEE Conf. on Advanced Video and Signal Based Surveillance] P.189-194
3. Stauffer C., Grimson W. 1999 “Adaptive background mixture models for real-time tracking,” [Proc. Computer Vision and Pattern Recognition] Vol.2 P.246-252
4. Lee D. 2005 “Effective Gaussian Mixture Learning for Video Background Subtraction,” [IEEE Transaction on Pattern Analysis and Machine Intelligence] Vol.27 P.827-832
5. Kulchandani S., Dangarwala J. Jan. 2015 “Moving object detection: Review of recent research trends,” [Pervasive Computing (ICPC), 2015 International Conference]
6. Piccardi M. 2004 “Background subtraction techniques: A review,” [Proc. IEEE Int. Conf. Syst., Man Cybern.] Vol.4 P.3099-3104
7. Kim K., Chalidabhongse T., Harwood D., Davis L. 2005 “Real-time foreground-background segmentation using code-book model,” [Real-Time Imag., Special Issue on Video Object Processing] Vol.11 P.172-185
8. Elgammal A., Duraiswami R., Harwood D., Davis L.S. 2002 “Background and foreground modeling using nonparametric kernel density estimation for visual surveillance,” [Proc. IEEE] Vol.90 P.1151-1163
9. Dong Xia, Wang Kedian, Jia Guohua Oct. 2009 “Moving Object and Shadow Detection Based on RGB Color Space and Edge Ratio,” [IEEE 2nd International Conf. on Image and Signal Processing] P.1-5
10. Choi Jin Min, Chang Hyung Jin, Yoo Yung Jun, Choi Jin Young 2012 “Robust moving object detection against fast illumiation change,” [Computer Vision and Image Understanding] P.179-193
11. Xiang Jinhai, Fan Heng, Liao Honghong, Xu Jun, Sun Weiping, Yu Shengsheng 2014 “Moving object detection and Shadow Removing under Changing Illumination Condition,” [Mathematical Problems in Engineering] P.1-10
12. Suo P., Wang Y. Oct. 2008 “An improved adaptive background modeling algorithm based on Gaussian Mixture Model,” [ICSP 2008. 9th International Conference on]
13. St-Charles P.-L., Bilodeau G.-A., Bergevin R. Jan. 6-9, 2015 “A Self-Adjusting Approach to Change Detection Based on Background Word Consensus,” [IEEE Winter Conference on Applications of Computer Vision (WACV)]
14. Hofmann M., Tiefenbacher P., Rigoll G. June, 2012 “Background Segmentation with Feedback: The Pixel-Based Adaptive Segmenter,” [Proc. of IEEE Workshop on Change Detection]
15. Van Droogenbroeck M., Paquot O. June, 2012 “Background Subtraction: Experiments and Improvements for ViBe,” [Proc of IEEE Workshop on Change Detection]
16. Lim J. S 2006 “Hardware Implementation of Background Subtraction Algorithm,”

OAK XML 통계

이미지 / 테이블

[ ]
[ ]
[ ]
[ 그림 1. ] 배경 차분 기반 이동 객체 검출
[ ]
[ ]
[ ]
[ ]
[ ]
[ ]
[ 그림 2. ] MOD 알고리듬에 따른 이동 객체 검출 결과 (a) 입력 영상, (b) 그라운드 트루스, (c) EGML, (d) PAWCS, (e) PBAS, (f) VIBe+
[ 표 1. ] MOD 알고리듬의 성능 비교
[ 그림 3. ] 영상 범주별 MOD 결과의 ROC-Curve 성능 (a) pedestrians-baseline, (b) boulevard-camera Jitter, (c) canoe-dynamicBackground, (d) parking-intermittentObject Motion, (e) peopleInShade- Shadow, (f) park-thermal
[ 그림 4. ] 파라미터 값에 따른 이동 객체 검출 결과 (a) pedesrians, (b) boulevard
[ 표 2. ] 파라미터에 따른 F-measure 성능 분석
[ 그림 5. ] 비트 길이에 따른 F-measure 성능
[ 그림 6. ] canoe 영상의 μ의 비트 길이에 따른 MOD 결과
[ 그림 7. ] 비트 길이에 따른 이동 객체 검출 결과 (a) 32-b 부동 소수점, (b) 고정 소수점 [본 논문], (c) 고정 소수점 [16], (d) 고정 소수점 [최소]
[ 표 3. ] 비트 길이에 따른 F-measure 값