현재 영상 신호처리는 디지털 시대를 맞이하여 차량 인식, 보안 그리고 로봇 등의 여러 응용 분야에서 활용되고 있다. 일반적으로 영상은 영상 데이터를 전송, 저장, 처리하는 과정에서 salt & pepper 잡음에 의해 열화가 발생한 다. 이러한 잡음을 제거하기 위한 방법들은 SMF, CWMF, SWMF 등이 있으며, 이러한 방법들은 salt & pepper 잡음 환경에서 잡음 제거 특성이 다소 미흡하다. 따라서 본 연구에서는 영상에 첨가된 salt & pepper 잡음을 완화하기 위하여, 영상 내 마스크를 4개의 영역으로 세분화하여 각 영역에서 비잡음 화소 수를 이용하여 처리하는 알고리즘을 제안하였다. 그리고 제안한 알고리즘의 우수성을 입증하기 위해, PSNR을 사용하여 기존의 방법들과 그 성능을 비교하였다.
In these digital times, the image signal processing is being used in various areas like vehicle recognition, security, and robotics. Generally, the image deterioration occurs by salt & pepper noise in the procedures of image transmission, storage, and processing. Methods to remove this noise are SMF, CWMF, and SWMF and these methods have few unsatisfactory noise reduction characteristics in salt & pepper noise environment. Therefore, in order to mitigate salt & pepper noise which is added in the image, this study suggested an algorithm which subdivides the masks in the image into four areas and processes using non-noise pixel numbers in each area. Additionally, in order to prove the excellence of the proposed algorithm, relevant performances were compared with existing methods using PSNR.
최근 스마트 TV, 스마트폰, 노트북, 태블릿 PC 등디스플레이 관련 제품들이 대중화되면서 영상처리의 필요성이 증가되고 있으며, 디지털 영상처리는 방송, 영화, 의료 산업, 군사 분야 등에 폭넓게 활용되고 있다[1,2]. 디지털 영상처리를 하기 위한 데이터는 주로 카메라를 포함한 영상 장치에 의해 획득하며, 이 과정에서 광전자에 의한 잡음, 임펄스 성 잡음 그리고 구조적 잡음 등이 발생한다. 이러한 잡음들 중에서 salt & pepper 잡음을 제거하기 위한 알고리즘에 관한 연구가 국내외에서 활발히 진행되고 있다[2-6].
Salt & pepper 잡음을 제거하기 위해, 개발된 기존의 필터들에는 SMF(standard median filter), CWMF(center weighted median filter), SWMF (switching weighted median filter) 등이 있다[7-11]. 그러나 이러한 필터들은 salt & pepper 잡음 밀도가 낮은 영역에서 잡음 제거 특성이 우수하지만, 잡음 밀도가 높은 영역에서는 잡음 제거 특성이 다소 미흡하여 시각적인 오류가 발생된다[12].
따라서 본 논문은 영상에 첨가된 salt & pepper 잡음을 완화하기 위하여, 중심 화소가 비잡음인 경우 그대로 보존하고, 잡음인 경우 영상 내 마스크를 4개의 영역으로 세분화하여 각 영역에서 비잡음 화소의 메디안 값들을 평균화하는 영상복원 알고리즘을 제안하였다. 그리고 제안한 알고리즘의 잡음 제거 성능을 평가하기 위해, PSNR(peak signal to noise ratio)를 사용하여 기존의 방법들과 비교하였다.
2.1. SMF(standard median filter)
SMF는 마스크
식 (1)에서
또한 마스크의 크기는 (2
SMF는 훼손된 영상으로부터 salt & pepper 잡음을 제거하는 대표적인 비선형 필터이며, 마스크 내의 화소를 메디안 값으로 처리하므로 에지 보존 특성이 다소 저하된다[7,8,14-16].
2.2. WMF(weighted median filter)
WMF(weighted median filter)는 각 화소의 값
2.3. CWMF(center weighted median filter)
CWMF는 WMF의 한 가지 경우로서, 최종 CWMF의 출력은 식 (3)과 같이, 중심 화소에 대해서만 가중치를 적용하고, 주변 화소에 대해서는
식 (3)에서
2.4. SWMF(switching weighted median filter)
SWMF는 영상 마스크 내의 화소값들을 정렬하여 메디안 값을 구하고, 중심 화소와 구한 메디안 값의 차이에 따라 잡음 여부를 판단하며, 그 차이가 threshold 값보다 클 경우, 메디안 값으로 처리하고 이 외의 경우, 중심 화소로 출력하며, 최종 출력은 식 (4)와 같이 표현한다.
여기서
Salt & pepper 잡음 제거에 의한 훼손된 영상을
여기서,
Step 1. 영상 마스크의 중심 화소가 비잡음인 경우, 식 (6)과 같이 처리한다.
Step 2. 영상 마스크의 중심 화소가 잡음인 경우, 4개의 영역인 로 세분화하여 방향성 마스크로 정의하며, 식 (7)과 같다.
Step 3. 각 영역에서 존재하는 비잡음 화소를 검출하여,
여기서
Step 4.
A. 비잡음 요소 수
B. 비잡음 요소 수
C. 비잡음 요소 수
Step 5. Step 4에서 식 (9), (10), (11)을 적용하여 구간내의 각 영역의 메디안 값을 구한 후 평균하여, 최종 출력을 식 (12)와 같이 구한다.
그리고 제안한 알고리즘의 순서도는 그림 2와 같다.
본 논문에서는 512×512 크기의 Barbara 및 Baboon 영상에 10 ~ 60% 밀도의 salt & pepper 잡음을 첨가하여 시뮬레이션하였으며, 기존의 SMF, CWMF, SWMF 방법들과 성능을 비교하였다. 그리고 영상의 개선 정도를 평가하기 위해 PSNR(peak signal to noise ratio)를 사용하였으며, 식 (13), (14)과 같다.
여기서 M, N은 영상의 가로 및 세로 크기이다.
그림 3은 Barbara 영상에 50% 밀도의 salt & pepper 잡음을 첨가한 영상을 적용하여 기존의 필터와 제안한 필터를 시뮬레이션하여 나타낸 결과이다.
[그림 3.] Barbara 영상에 대한 시뮬레이션 결과 (a) Original image (b) Noise image (c) SMF (d) CWMF (e) SMWF (f) PFA
그림 3에서 (a)는 원 영상, (b)는 잡음 영상(P=50%), (c) 는 SMF, (d)는 CWMF(
그림 4는 Barbara 영상(100,300)을 중심으로 상하좌우 각각 50화소 영역을 확대한 영상이며, 확대한 영상으로부터 SMF는 잡음 밀도가 높은 영역에서는 잡음 제거 특성이 다소 미흡하였으며, CWMF는 중심 화소의 가중치가 커짐에 따라 잡음 제거 특성이 다소 미흡하였다. 또한, SWMF는 SMF, CWMF에 비해 잡음 제거 특성이 미흡하여 시각적으로 오류를 나타내었다. 그러나 제안한 알고리즘은 기존의 방법들에 비해 잡음 제거 특성이 전반적으로 우수한 결과를 나타내었다.
그림 5, 6은 Barbara 및 Baboon 영상에서 잡음 밀도 변화에 따른 PSNR 특성을 나타내었고, 표 1, 2는 Barbara 영상과 Barbara 영상을 기존의 방법들과 제안한 알고리즘으로 처리한 결과를 나타낸 것이다.
[표 1.] Barbara 영상의 각 PSNR 비교[dB]
Barbara 영상의 각 PSNR 비교[dB]
[표 2.] Baboon 영상의 각 PSNR 비교[dB]
Baboon 영상의 각 PSNR 비교[dB]
표의 결과로부터, 제안한 방법으로 복원한 영상은 기존의 방법들에 비해 우수한 PSNR 특성을 보였다. Barbara 영상에 50%의 salt & pepper 잡음에 훼손되었을 때, 기존의 SMF, CWMF, SWMF는 각각 14.70[dB], 12.93[dB], 11.32[dB]의 PSNR 특성을 나타내었으며, 제안한 알고리즘은 20.05 [dB]의 우수한 PSNR 특성을 나타내었다. 그리고 Baboon에 50%의 salt & pepper 잡음에 훼손되었을 때, 기존의 SMF, CWMF, SWMF는 각각 14.53[dB], 12.86[dB], 9.31[dB]의 PSNR 특성을 나타내었으며, 제안한 알고리즘은 19.51 [dB]의 우수한 PSNR 특성을 나타내었다.
본 논문은 salt & pepper 잡음에 훼손된 영상에서 효과적으로 잡음을 제거하기 위하여, 중심 화소가 비잡음인 경우 그대로 보존하고, 잡음인 경우 4개 영역으로 세분화하여 비 잡음 요소 수에 따라 각 영역의 비잡음 화소의 메디안 값들을 평균화하는 영상복원 알고리즘을 제안하였다. 시뮬레이션 결과, 제안한 알고리즘은 salt & pepper 잡음이 첨가된 Barbara 영상에서 기존의 방법들보다 잡음 제거 특성이 우수한 PSNR 결과 값을 나타내었다. 그리고 표 1의 결과에서, 제안한 알고리즘은 salt & pepper 잡음(