국부 마스크의 화소 분포를 이용한 Salt & Pepper 잡음 제거에 관한 연구

A Study on Salt & Pepper Noise Removal using the Pixel Distribution of Local Mask

  • cc icon
  • ABSTRACT

    최근 IT 기술의 발전에 따라 디스플레이 등 영상장치들에 대한 요구가 갈수록 높아지고 있다. 일반적으로 영상은 전송과정에서 여러 원인으로 열화가 발생하며 이러한 잡음을 제거하기 위해 활발한 연구가 진행되고 있다. 따라서 본 논문에서는 salt & pepper 잡음을 제거하기 위해 잡음 판단 후, 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 처리하는 알고리즘을 제안하였다. 제안한 알고리즘은 salt & pepper 잡음(P = 60%)의 고밀도 잡음에 훼손된 Goldhill 영상은 30.49[dB]의 높은 PSNR을 보이고 있고, 기존의 CWMF, SWMF, A-TMF에 비해 각각 17.74[dB], 11.52[dB], 13.76[dB] 개선되었다.


    Due to the recent progress in information technology, demand for video imaging devices such as displays has grown. In general, images experience deterioration during the process of transmission due to various reasons. Many studies have boon undertaken on ways o reduce such noise. This paper6 suggests an algorithm that makes a judgment on the noise in order to remove the salt & pepper noise and replaces original pixels if they are non-noise while processing noise according to its density. The suggested algorithm shows a high PSNR of 30.49[dB] for Goldhill images that had been damaged of a high density salt & pepper noise(P = 60%), Compared to the exising CWMF, SWMF, and A-TMF, there were improvements by 17.74[dB], 11.52[dB], and 13.76[dB], respectively.

  • KEYWORD

    잡음제거 Newton 보간법 , 공간 가중치 , 메디안 필터

  • Ⅰ. 서 론

    디지털 영상처리는 사무자동화, 의료산업, 위성사진, 공장자동화, 영상검지 또는 영상인식 시스템, 로봇 등 넓고 다양한 분야에서 활용되고 있다. 그러나 영상 데이터는 획득, 전송, 처리하는 과정에서 여러 외부 원인에 의해 잡음이 첨가되어 영상의 열화가 발생한다. 영상에 첨가되는 잡음은 발생되는 원인과 형태에 따라 다양한 종류가 있으며, 주로 AWGN (additive white Gaussian noise), salt & pepper 잡음이 대표적이다[1].

    Salt & pepper 잡음의 주요 원인으로는 채널 전송 에러 등이 있으며, 에지 검출이나 분할 등의 영상 처리 작업이 수행되기 전에 salt & pepper 잡음의 제거는 필수적이다[2]. 이러한 salt & pepper 잡음을 제거하기 위하여 많은 기법들이 제안되었고 대표적인 공간영역 기법에는 CWMF(center weighted median filter), SWMF(switching median filter), A-TMF(alpha-trimmed mean filter) 등이 있다. 그러나 이러한 필터들은 고밀도 잡음이 첨가된 경우 잡음 제거 특성이 저하된다[3,4].

    따라서 본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여, 잡음판단을 통해 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 Newton 보간법, 공간 가중치 및 메디안 필터로 처리하는 알고리즘을 제안하였다. 그리고 제안된 알고리즘의 잡음제거 성능의 우수성을 입증하기 위해, PSNR(peak signal to noise ratio)을 이용하였으며, 기존의 방법들과 그 성능을 비교하였다[5,6].

    Ⅱ. 제안한 알고리즘

    본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여 중심 화소에 대해 잡음 판단을 거친 후 비잡음인 경우, 원 화소 그대로를 출력하고 잡음인 경우, 5 × 5 국부 마스크 내의 잡음 밀도에 따라 처리하며 잡음 밀도가 50% 이하인 경우, Newton 보간 다항식, 50%~90%인 경우, 공간 가중치 필터[5], 90% 이상인 경우, 메디안 필터[6]로 처리하고, 5 × 5 국부 마스크가 모두 잡음인 경우, 이미 처리된 인접 화소로 처리하는 알고리즘을 제안하였다.

       2.1. Salt & pepper 잡음

    Salt & pepper 잡음에 의하여 훼손된 영상에서 i, j의 위치에 있는 화소 xi, j는 식 (1)과 같다.

    image

    여기서 P는 잡음 밀도를 나타내며, S은 salt & pepper 잡음에 훼손된 화소값을 나타내고, I는 원영상의 화소값을 나타낸다.

    본 논문에서 salt & pepper 잡음을 제거하는데 salt & pepper 잡음 신호의 화소값은 xminxmax를 가진다.

       2.2. Newton 보간법

    Newton 보간법은 미정 계수법의 단점인 긴 계산 과정과 오차를 줄이기 위하여 고안된 다항식에 의한 보간법으로 (n-1)차 다항식은 식 (2)와 같다.

    image

    선형 또는 2차 보간법과 마찬가지로 데이터 점은 계수 b1, b2, ᠁ , bn을 계산하는데 사용된다.

    (n-1)차 다항식에서는 n개의 데이터 점들 [x1, f(x1)], [x2, f(x2)], ᠁ , [xn, f(xn)]이 필요하게 된다. 계수는 식 (3)과 같이 구할 수 있다.

    image

    여기서, [ ]로 표시된 함수는 유한제차분을 나타내며 1차 유한제차분은 식 (4)와 같다.

    image

    이와 같이 계산된 계수값들을 (n-1)차 다항식에 대입하면 Newton 보간 다항식을 식 (5)와 같이 구할 수 있다.

    image

       2.3. 잡음판단

    Salt & pepper 잡음을 제거하기 위하여 중심화소의 잡음 판단은 식 (6)과 같다.

    image

    식 (6)에서 0과 1은 각각 잡음 신호와 비잡음 신호를 나타낸다.

       2.4. 잡음제거

    잡음판단을 통해 중심화소가 비잡음 신호로 판단된 경우, 식 (7)과 같이 원 화소로 대치한다.

    image

    잡음판단을 통해 중심화소가 잡음 신호로 판단된 경우, 5 × 5 국부 마스크를 식 (8)과 같이 설정한다.

    image

    여기서, p, q는 마스크 인덱스이다.

    5 × 5 국부 마스크의 잡음 밀도 ɸ를 계산하고, 잡음 밀도 ɸ에 따라 임계치 , t1, t2를 사용하여 처리한다. 여기서, t1, t2는 각각 0.5, 0.9이다.

    2.4.1. t1인 경우

    5 × 5 국부 마스크의 잡음 밀도가 50% 이하인 경우, Newton 보간법으로 처리하며 다음과 같다.

    Step 1. 중심화소 C를 중심으로 수직, 수평 방향, 좌우 대각선 방향을 식 (9)와 같이 정의한다.

    image

    Step 2. Salt & pepper 잡음의 수가 적은 순서로 정렬하여 두 방향을 식 (10)과 같이 처리한다.

    image

    Step 3. 5 × 5 국부 마스크 M의 메디안 값을 의 잡음 요소에 대입한다.

    Step 4. Newton 보간법을 적용하며 식 (11)과 같다.

    image

    여기서, l = 1 : 2이고, r은 보간하고자 하는 독립변수로 3이며, k는 방향 벡터의 인덱스로 [1, 2, 4, 5]이다.

    Step 5. Newton 보간법을 적용하며 최종 출력은 식 (12)와 같이 구한다.

    image

    2.4.2. t1t2 인 경우

    5 × 5국부 마스크의 잡음 밀도가 50%~90%인 경우, 공간 가중치를 적용하며 다음과 같다.

    Step 1. 공간 가중치 Wp, q 는 식 (13)과 같이 설정한다.

    image

    여기서, t는 가중치의 크기를 결정하는 중요한 파라미터이다.

    공간 가중치는 중심 화소와 주위 화소의 공간적 거리에 따라 각각 다르게 적용된다. 즉, 공간적으로 중심 화소와 인접한 화소에 대해서는 큰 가중치를 적용하고, 중심화소와의 공간 거리가 증가됨에 따라 가중치를 감소시킴으로써 처리된 영상에 에지 특성을 향상시킨다.

    Step 2. 잡음화소 검출에 의해 5 × 5 국부 마스크를 2 진화 형태로 나타낼 경우, 식 (14)와 같이 표현된다.

    image

    Step 3. 공간 가중치를 적용한 최종 출력은 식 (15)와 같이 구한다.

    image

    2.4.3. t2 인 경우

    5 × 5 국부 마스크의 잡음 밀도가 90% 이상인 경우, 메디안 필터로 처리하며 다음과 같다.

    Step 1. 5 × 5 국부 마스크 내의 비잡음 요소의 집합을 Ω, 그 요소수를 d로 정의한다.

    Step 2. d가 홀수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 최종 출력은 식 (16)과 같다.

    image

    k가 짝수인 경우, 비잡음 신호들을 오름차순으로 정렬한 후 최종 출력은 식 (17)과 같이 구한다.

    image

    2.4.4. = 1

    5 × 5 국부 마스크의 모든 화소가 잡음이므로 이미 처리된 최종 출력을 이용하여 구하며 식 (18)과 같다.

    image

    Ⅲ. 시뮬레이션 및 결과

    본 논문에서는 512⨉512 크기의 8비트 그레이 영상인 Goldhill에 대해 salt & pepper 잡음을 첨가하여 시뮬레이션하였으며, 또한 영상의 개선 정도를 평가하기 위하여 PSNR을 사용하여 기존의 CWMF, SWMF, A-TMF로 성능을 비교하였다. PSNR은 식 (19), (20)과 같이 표현된다.

    image
    image

    여기서, Ii,j는 원 영상을 나타내고 Oi,j는 출력 영상이며 R, C는 영상의 가로, 세로 크기를 나타낸다.

    그림 1에서 (a)는 원 영상이고, (b)는 salt & pepper 잡음(P = 60%)에 훼손된 영상이다. 훼손된 영상으로부터 제안한 알고리즘의 우수한 잡음 제거 특성을 입증하기 위해, 기존의 방법들과 제안한 방법을 시뮬레이션하였다. 그림 2에서 기존의 방법과 제안한 필터 알고리즘(PFA: proposed filter algorithm)으로 처리한 결과를 나타내었고, 제안한 알고리즘의 잡음제거 특성을 확인하기 위해, Goldhill 영상에 (250, 150) 화소를 중심으로 상하좌우 각각 50화소 영역 확대하여 나타내었다.

    그림 2에서 (a)는 CWMF(5 × 5), (b)는 SWMF(5 × 5), (c)는 A-TMF(5 × 5), (f)는 제안한 필터 알고리즘으로 처리한 결과이다.

    시뮬레이션 결과로부터, CWMF, SWMF 및 A-TMF는 고밀도 잡음 환경에서 다소 미흡한 잡음제거 특성을 나타내고 있으며, 제안한 알고리즘은 고밀도 잡음 환경 에서 우수한 잡음 제거 특성을 나타내고 있다.

    그림 3은 각각의 필터들에 의해 복원된 Goldhill 영상에 대한 PSNR을 비교한 것이며, 수치를 표1에 나타내었다.

    여기서, 기존의 방법들은 잡음밀도가 적은 경우 잡음 제거 특성이 우수하였으며 잡음 밀도가 40% 이상으로 높아짐에 따라 잡음제거 특성이 급격히 미흡해지는 특성을 나타내었다.

    그리고 제안한 알고리즘은 잡음 밀도에 따라 Newton 보간법, 공간 가중치, 메디안 필터를 이용하여 잡음 밀도가 낮은 영역 및 높은 영역에서도 우수한 PSNR을 나타내었다.

    Ⅳ. 결론 및 향후 연구 과제

    본 논문에서는 영상에 첨가되는 salt & pepper 잡음의 영향을 완화하기 위하여 잡음 판단을 거친 후, 비잡음인 경우 원 화소로 대치하고, 잡음인 경우 잡음 밀도에 따라 Newton 보간법, 공간 가중치, 메디안 필터로 처리하는 알고리즘을 제안하였다.

    시뮬레이션 결과, 제안한 알고리즘은 salt & pepper 잡음(P = 60%)의 고밀도 잡음에 훼손된 Goldhill 영상에서 30.49[dB]의 높은 PSNR을 나타내었으며 기존의 CWMF, SWMF, A-TMF에 비해 각각 17.74[dB], 11.52[dB], 13.76[dB] 개선되었다. 그리고 salt & pepper 잡음 밀도 변화에 따른 잡음 제거 특성이 기존의 방법들보다 우수한 PSNR 결과를 나타내었다.

    향후 제안한 알고리즘을 개선하여 우수한 성능을 얻을 수 있는 알고리즘에 관한 연구를 진행할 예정이다.

  • 1. Gonzalez R. C., woods R.E. 2007 Digital Image Processing google
  • 2. Luo RW. 2006 "Efficient removal of impulse noise from digital images," [IEEE Trans. Consumer Electron] Vol.52 P.523-527 google doi
  • 3. Kwon Se-Ik, Kim Nam-Ho 2015 "A Study on Modified Spatial Weighted Filter in Mixed Noise Environments," [JICCE] Vol.19 google
  • 4. Oten Remzi, De Figueiredo Rlui J P 2004 "Adaptive Alpha-Trimmed Mean Filters Under Deviations From Assumed Noise Model" [IEEE Trans, Image Processing] Vol.13 P.627-639 google doi
  • 5. Long Xu, Kim Nam-Ho 2013 "An Improved Weighted Filter for AWGN Removal" [JKIICE] Vol.17 P.1227-1232 google
  • 6. Hong Sang-Woou, Kim Nam-Ho 2015 "A Study on Median Filter using Directional Mask in Salt & Pepper Noise Environments" [JKIICE] Vol.19 P.203-236 google
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [] 
  • [그림 1.] Goldhill 영상 (a) 원 영상 (b) 잡음 영상
    Goldhill 영상 (a) 원 영상 (b) 잡음 영상
  • [그림 2.] Goldhill 영상에 대한 시물레이션 결과 (a) CWMF (b) SWMF (c) A-TMF (d) PFA
    Goldhill 영상에 대한 시물레이션 결과 (a) CWMF (b) SWMF (c) A-TMF (d) PFA
  • [그림 3.] Goldhill 영상의 PSNR 그래프
    Goldhill 영상의 PSNR 그래프
  • [표 1.] Goldhill 영상의 각 PSNR[dB] 비교
    Goldhill 영상의 각 PSNR[dB] 비교