복합잡음 환경에서 에지 보존을 위한 영상복원

Image Restoration for Edge Preserving in Mixed Noise Environment

  • cc icon
  • ABSTRACT

    디지털 영상처리 기술은 영상의 압축, 인식 그리고 복원 등 많은 분야에서 연구가 진행되고 있다. 그러나 여전히 영상의 획득, 저장 및 전송하는 과정에서 잡음에 의해 영상의 열화가 발생하고 있다. 일반적으로 영상에 첨가되는 대표적인 잡음으로는 가우시안 잡음, 임펄스 잡음, 가우시안 및 임펄스 잡음이 중첩된 복합잡음 등이 있으며, 이러한 복합잡음을 제거하기 위해 다양한 연구가 진행되고 있다. 본 논문에서는 에지를 보존하고 복합잡음을 제거하기 위하여, 잡음 판단을 거친 후, 화소집합의 메디안값 및 평균값에 의해 적응 가중치를 설정하여 처리하는 영상복원 필터 알고리즘을 제안하였다. 그리고 시뮬레이션을 통해 기존의 방법들과 비교하였으며, 판단의 기준으로 PSNR(peak signal to noise ratio)을 사용하였다.


    Digital processing technologies are being studied in various areas of image compression, recognition and recovery. However, image deterioration still occurs due to the noises in the process of image acquisition, storage and transmission. Generally in the typical noises which are included in the images, there are Gaussian noise and the mixed noise where the Gaussian noise and impulse noise are overlapped and in order to remove these noises, various researches are being executed. In order to preserve the edge and effectively remove mixed noises, image recovery filter algorithm was suggested in this study which sets and processes the adaptive weight using the median values and average values after noise judgment. Additionally, existing methods were compared through simulations and PSNR(peak signal to noise ratio) was used as a judgment standard.

  • KEYWORD

    영상처리 , 복합 잡음 , 적응 가중치 , 영상복원

  • Ⅰ. 서 론

    다양한 멀티미디어 서비스에 대한 요구가 증가 됨에 따라 영상을 정보전달의 수단으로 사용하기 위한 관련 기술들이 급격히 발전되어왔다. 그러나 통신기술의 초고속 발전에 따라 영상 처리, 정보 전송, 저장을 위한 디지털화 과정에서 여러 가지 원인에 의해 잡음이 첨가되어 영상의 열화와 왜곡을 일으킨다. 이에 따라 잡음 제거의 중요성이 대두되고 있으며, 잡음에 훼손된 영상을 복원하기 위해 활발한 연구가 진행되고 있다[1-4]. 영상에 첨가되는 잡음으로는 주로 임펄스 잡음, AWGN(additive white Gaussian noise) 그리고 이 두 가지 잡음이 중첩된 복합잡음 등이 있다[5,6].

    이러한 영상을 복원하기 위하여 많은 방법들이 제안되었으며, 그중 메디안 필터 및 Hybrid 필터[7]는 잡음을 제거함에 있어 잡음화소 및 비 잡음화소에도 필터처리가 되어 영상을 왜곡시킨다. 이를 보완하기 위하여 가중치 메디안 필터(WMF: weighted median filter), 중심 가중치 메디안 필터(CWMF: center weighted median filter)[8-11], 적응 중심 가중치 메디안 필터(ACWMF: adaptive center weighted median filter)[12-15] 등이 제안되었다. WMF, CWMF는 메디안값에 가중치를 크게하여 비 잡음 화소에 대한 왜곡이 적지만 메디안값이 잡음일 경우 잡음제거 특성이 미흡하다. CWMF는 잡음 화소를 판단하여, 비 잡음 화소는 보존하고 잡음 화소에 대해서만 필터링을 수행한다. 그러나 임계값의 제한성으로 잡음검출에 오류가 발생할 수 있으며, 잡음 밀도가 높은 경우 잡음제거 특성이 미흡해진다[15-18].

    본 논문에서는 에지를 보존하고 복합잡음을 제거하기 위하여 잡음 판단을 거친 후, 화소집합의 메디안값 및 평균값에 의해 적응 가중치를 설정하여 처리하는 영상복원 필터 알고리즘을 제안하였다. 그리고 잡음제거 성능의 우수성을 입증하기 위하여 PSNR을 이용하여 기존의 방법들과 그 성능을 비교하였다.

    Ⅱ. 잡음 모델 및 기존 필터

    일반적으로 영상에서 존재하는 임펄스 잡음과 AWGN이 대표적이며 영상 복원 모델은 그림 1과 같이 나타낸다.

    잡음을 제거함에 있어서 Hybrid 필터는 일반적으로 5×5 마스크를 사용하여 처리하며, 마스크내의 45°, 135°방향, 즉 대각선 방향의 화소를 선택하여 처리한다. 선택한 방향의 화소들을 정렬하여 메디안값을 구하며, 다음 구한 메디안값과 중심화소와의 메디안값을 구하여 최종 출력화소로 한다[7].

    CWMF는 마스크 W내에서 중간화소에 대해서는 가중치 2K+1을 적용하고 기타 화소에 대해서는 가중치 1을 적용하며, 식 (1)과 같다[11].

    ACWMF는 CWMF에 비하여, 잡음 판단 과정이 추가됨으로서 우수한 잡음제거 특성을 나타내며, 다음 식 (2)와 같이 나타낸다.

    마스크 내부좌표가 (p,q)가 −wp,q ≤ +w이고, L=2w×(w+1)인 경우, 2L+1은 전체 마스크 화소수를 나타낸다. (2k)∀xi,j은 중심화소를 2k번 반복처리한 것이고, k의 범위는 [0, L−1]이다. 메디안값과 중심화소의 절대차 에 의해 임계값을 선택하며, 잡음화소는 그 인접화소의 메디안값으로 대체하고, 비 잡음화소는 그대로 보존한다[12,14].

    Ⅲ. 제안한 방법

    본 논문에서는 영상에 첨가되는 복합잡음을 제거하기 위하여 잡음 판단을 거친 후, 잡음제거와 에지보존 두 부분으로 나누어 처리한다.

       3.1. 잡음의 판단

    AWGN과 Salt-and-pepper 잡음이 복합적으로 중첩된 영상은 다음 식 (3)과 같이 나타낸다[19-20].

    여기서 (i,j)는 공간 좌표를 나타내고, 은 원 영상의 화소값을 나타내며, xi,j는 잡음 영상의 화소값, ni,j는 AWGN의 크기, p,q는 임펄스 잡음의 확률이다. 또한 임펄스 잡음판단은 식 (4)와 같이 표현된다.

    여기서 xmin, xmed, xmax 는 각각 화소를 중심으로 한 마스크 내에서의 최소값, 중간값, 최대값을 나타내고, a는 2진 형태이며, 0과 1은 각각 임펄스 잡음과 비 임펄스 잡음을 나타낸다[21].

       3.2. 잡음 제거

    Step 1. 검출 화소가 임펄스 잡음이라고 판단될 경우, 화소를 중심으로 한 3×3 마스크 내에서, 마스크내의 2L+1개 화소값을 {x1,x2…,x2L+1}이라고 할 때, 잡음여부에 따라 적응 메디안 필터에 의하여 최종 출력 값을 구하며, 검출된 잡음화소 개수와 전체화소 개수의 비례에 의해 마스크 크기를 변화시키다.

    식 (5)에서 Nl는 검출된 임펄스 잡음의 개수를 나타내고, N는 전체 화소 개수를 나타내며, WD는 마스크 크기를 나타낸다. TR은 파라메타로서 50%로 정의한다. 마스크 크기가 결정된 후, 마스크 내에서 임펄스 잡음으로 판단된 화소들을 제거하고 메디안값을 구하며, 다음 식 (6)과 같이 나타낸다.

    여기서 Tk는 임펄스 잡음제거 후의 화소집합을 나타내고, k는 집합 내의 화소 개수를 나타낸다.

    다음 집합내의 메디안값과 화소값 차이에 의한 파라메타 g를 사용하여 적응 가중치를 구하며, 다음 식 (7), (8)과 같은 과정을 거친다.

    Step 2. 적응 가중치를 적용한 임펄스 잡음 제거의 출력값은 다음과 같이 나타낸다.

    Step 3. 검출 화소가 비 임펄스 잡음이라 판단될 경우, AWGN이라고 추정하며, 화소를 중심으로한 3×3 마스크 내에서, 화소들을 오름차 순으로 배열한다.

    마스크 내에서 최대값과 최소값을 가지는 화소들을 추정하며, 식 (11)과 같이 나타낸다.

    여기서 maxx,minx는 마스크 내의 화소들이 가지는 최대값과 최소값을 나타낸다.

    Step 4. 마스크 최대, 최소값을 가지는 화소들을 제거한 후, 평균치는 식 (12)와 같다.

    여기서 Hl는 새로운 화소 집합을 나타내고, l는 화소 개수를 나타낸다.

    다음 집합내의 평균값과 화소값 차이에 의하여 식 (13)과 같이 파라메타 f를 구하며, f를 적용한 적응 가중치는 식 (14)와 같이 나타낸다.

    Step 5. 적응 중치를 적용하여 구한 AWGN 제거의 출력값은 다음과 같이 나타낸다.

       3.3. 에지 보존

    잡음 제거 필터링에서 잡음 화소라고 판단될 경우, 메디안값, 평균치를 이용하여 주변값과의 차이에 따라 적응 가중치를 설정하여 필터처리 하므로 에지 부분이 훼손될 가능성이 있다. 따라서 그림 2에서의 화소들을 D1에서 D8로 재구성하며 식 (16)과 같이 나타낸다.

    에지 필터는 방향선택이 에지 결과에 영향을 크게 미치며, D1~D8에서 차이가 가장 적은 Dmin를 선택하여 식 (17)과 같은 처리 과정을 거친다.

    다음 식 (18)에 의해 얻어진 각 방향에서의 최소값과 중심화소를 제외한 x2, x4, x6, x8 화소와의 메디안값에 의하여 최종출력을 구하며 식 (18)과 같이 나타낸다.

    Ⅳ. 시뮬레이션 및 결과

    본 논문에서는 512⨉512 크기의 8 비트 그레이 영상인 Girl과 Peppers에 대해 시뮬레이션하였다. 또한 영상의 개선 정도를 평가하기 위하여 PSNR(peak signal to noise ratio)을 사용하여, 기존의 Hybrid 필터, CWMF, ACWMF와 제안한 필터 알고리즘과의 성능을 비교하였다.

    그림 3은 영상에 임펄스 잡음 (P=40%) 및 AWGN (σ=10)이 첨가된 테스트 영상이고, 그림 46은 기존의 방법들과 제안한 방법의 시뮬레이션결과이다. 그림 46에서 (a)는 Hybrid 필터 처리 결과이고, (b)는 CWMF 처리 결과, (c)는 ACWMF 처리 결과, (d)는 제안한 필터 알고리즘(PFA: Proposed filter algorithm)으로 처리한 결과이다. 그리고 제안한 알고리즘의 에지보존 성능을 확인하기 위해, 처리 된 영상에서 Roberts 에지 검출 알고리즘으로 처리한 영상을 그림 5, 그림 7에 나타내었다.

    시뮬레이션 결과로부터, 기존의 Hybrid 필터, CWMF에 의해 처리된 영상은 잡음제거 특성이 미흡하였고, ACWMF로 처리한 영상은 임계값의 제한성으로 잡음 판단에 오류가 발생하여, 잡음 밀도가 낮은 영역에서는 우수한 잡음제거 특성을 나타내며, 잡음 밀도가 높은 영역에서는 특성이 다소 미흡하다. 제안한 알고리즘으로 처리한 영상은 처리 시간 면에서 다소 미흡하나 기존의 알고리즘에 비해 우수한 잡음제거 특성을 나타내었다. 또한 Roberts 에지 검출 알고리즘에 의한 처리 결과에서 기존의 방법들은 잡음의 영향으로 에지 검출 결과가 미흡하였으며, 제안한 알고리즘으로 처리한 영상은 우수한 에지 검출 결과로 에지 보존 특성을 확인하였다.

    그림 8은 각각의 필터들에 의해 복원된 영상에 대한 PSNR을 비교한 것이며, 그 결과를 표 12에 나타내었다.

    그 결과 제안한 알고리즘의 임펄스 잡음 밀도 변화에 따른 잡음제거 특성은 기존의 방법들보다 우수한 PSNR 결과를 나타내었다. 그리고 임펄스 잡음밀도가 (P=40%) 및 AWGN (𝜎=10)인 Peppers 영상에서 25.0[dB]의 높은 PSNR을 보이고 있고, 기존의 Hybrid 필터, CWMF, ACWMF에 비해 각각 10.8[dB], 9.4[dB], 10.2[dB] 개선되었다.

    Ⅴ. 결 론

    본 논문은 임펄스 및 AWGN이 중첩된 복합잡음 환경에서 에지를 보존하면서 훼손된 영상을 복원하기 위하여 잡음 판단을 거친 후, 화소집합의 메디안값 및 평균값에 의해 적응 가중치를 설정하여 처리하는 영상복원 필터 알고리즘을 제안하였다.

    시뮬레이션 결과, 제안한 알고리즘은 기존의 방법에 비하여 높은 PSNR수치를 보이고 있고, 기존의 방법에 비해 우수한 잡음제거 특성 및 우수한 에지 보존 특성을 나타내었다.

    따라서 제안한 알고리즘은 복합잡음을 제거하여 영상을 복원하기 위한 영상 처리 시스템에 유용하게 적용될 것으로 사료된다.

  • 1. Gonzalez R. C., woods R.E. 2007 Digiral Image Processing google
  • 2. Hwang H., Haddad R. A. 1995 "‘Adaptive Median Filters: New Algorithms and Results" [IEEE Trans. Image Process] Vol.4 P.499-502 google doi
  • 3. Wang Z., Zhang D. 1999 "Progressive Switching Median Filter for the Removal of Impulse Noise from Highly Corrupted Images" [IEEE Trans. Circuits Syst. II, Analog Digit. Signal Process] Vol.46 P.78-80 google doi
  • 4. Lalush D.. S. 2008 "Binary Encoding of Multiplexed Images in Mixed Noise" [IEEE Trans. on Medical Imaging] Vol.27 P.1323-1332 google doi
  • 5. Gao Yinyu, Kim Nam-Ho 2011 "A Study on Image Restoration for Removing Mixed noise while Considering Edge Information" [International Journal of KIICE] Vol.15 P.2239-2246 google
  • 6. Baljozovi? D., Kova?evi? B., Baljozovi? A. 2013 "Mixed Noise Removal Filter for Multi-Channel Images based on Half-Space Deepest Location" [Image Processing] Vol.7 P.310-323 google doi
  • 7. Kim Kuk-Seung, Lee Kyung-Hyo, Kim Nam-Ho 2008 "A Study on Robust Median Filter in Impulse Noise Environment" [Proceedings of the Korean Institute of Information and Communication Sciences Conference] P.463-466 google
  • 8. Smail Akkoul, Roger Ledee, Remy Leconge, Rachid Harbaao 2010 "A New Adaptive Switching Median Filter" [IEEE Signal Processing Letters] Vol.17 P.587-590 google doi
  • 9. Chen T., Wu H. R. 2001 "Adaptive Impulse Detection using Center Weighted Median Filters" [IEEE Signal Processing Letters] Vol.8 P.1-3 google doi
  • 10. Fabija?ska A., Sankowski D. 2011 "Noise Adaptive Switching Median-based Filter for Impulse Noise Removal from Extremely Corrupted Images" [Image Processing] Vol.7 P.472-480 google
  • 11. Gao Yinyu, Kim Nam-Ho 2011 " The Modified Nonlinear Filter to Remove Impulse Noise" [Journal of KIICE] Vol.15 P.973-979 google
  • 12. Zhou Y.Y., Ye Z.F., Huang J.J 2012 "Improved Decisionbased Detail-Preserving Variational Method for Removal of Random-Valued Impulse Noise," [Published in IET Image Processing] Vol.6 P.978-985 google
  • 13. Li Y., Shen L. X., Dai D., Suter B. 2011 "Framelet Algorithms for De-blurring Images Corrupted by Impulse plus Gaussian Noise," [IEEE Trans. on Image Process.] Vol.20 P.1822-1837 google doi
  • 14. Jian Wu, Chen Tang 2011 "PDE-Based Random-Valued Impulse Noise Removal Based on New Class of Controlling Functions" [IEEE Trans. Image Process] Vol.20 P.2428-2438 google doi
  • 15. He Changwei, Liu Yingxia, Ren Wenjie, Wang Xin 2007 "Wavelet De-noising based on Multistage Median Filtering" [Journal of Computer Application] Vol.27 P.2117-2119 google
  • 16. Bodduna K., Siddavatam R. 2012 "A Novel Algorithm for Detection and Removal of Random Valued Impulse Noise using Cardinal Splines" [India Conference (INDICON), 2012 Annual IEEE] P.1003-1008 google
  • 17. Ko S. J., Lee Y. H. 1991 "Center Weighted Median Filters and Their Applications to Image Enhancement" [IEEE Transactions, on Circuits and Systems] Vol.38 P.984-993 google doi
  • 18. RChan R.H., Hu C., Nikolova M. 2004 "An Iterative Procedure for Removing Random-Valued Impulse Noise" [IEEE Signal Processing Letters] Vol.11 P.921-924 google doi
  • 19. Zhu Lin 2013 "A Non-local Means based Adaptive De-noising Framework for Mixed Image Noise Removalenter Weighted Median Filters and Their Applications to Image Enhancement" [2013 20th IEEE International Conference on Image Processing (ICIP)] P.454-458 google
  • 20. Jian Zhang, Ruiqin Xiong, Chen Zhao, Siwei Ma, Debin Zhao 2012 "Exploiting Image Local and Non-local Consistency for Mixed Gaussian-Impulse Noise Removal" [2012 IEEE International Conference on Multimedia and Expo (ICME)] P.592-597 google
  • 21. Xu Long, Kim Nam-Ho 2012 "An Improved Adaptive Median Filter for Impulse Noise Removal" [Journal of KIICE] Vol.17 P.989-995 google
  • [그림 1.] 영상 복원 과정의 모델
    영상 복원 과정의 모델
  • [그림 2.] 에지 보존 마스크
    에지 보존 마스크
  • [그림 3.] 테스트 잡음 영상 (a) Girl (b) Peppers
    테스트 잡음 영상 (a) Girl (b) Peppers
  • [그림 4.] Girl 영상에 대한 시뮬레이션결과(a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
    Girl 영상에 대한 시뮬레이션결과(a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
  • [그림 5.] Girl 영상의 에지 검출 결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
    Girl 영상의 에지 검출 결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
  • [그림 6.] Peppers 영상에 대한 시뮬레이션결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
    Peppers 영상에 대한 시뮬레이션결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
  • [그림 7.] Peppers 영상의 에지 검출 결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
    Peppers 영상의 에지 검출 결과 (a) Hybrid 필터 (b) CWMF (c) ACWMF (d) PFA
  • [그림 8.] 임펄스 잡음밀도에 따른 PSNR (a) Gril 영상 (b) Peppers 영상
    임펄스 잡음밀도에 따른 PSNR (a) Gril 영상 (b) Peppers 영상
  • [표 1.] Gril 영상의 각 PSNR[dB] 비교
    Gril 영상의 각 PSNR[dB] 비교
  • [표 2.] Peppers 영상의 각 PSNR[dB] 비교
    Peppers 영상의 각 PSNR[dB] 비교