영상 열화는 영상 획득 과정에서 필연적으로 발생한다. 이렇게 획득된 영상은 열화 정도에 따라서 영상의 소기 목적을 얻지 못하는 경우도 발생할 수 있다. 예를 들어 도로변에 설치된 과속차량 카메라로 영상을 얻을 때 바람이나 차량의 진동으로 인해 해독하기에 부적절한 영상을 얻기도 한다.

열화 영상으로부터 더 나은 영상을 추출하는 작업으로는 영상 개선 (image enhancement)과 영상 복원(image restoration)이 있다. 이 두 영역 간에는 겹쳐지는 부분이 있으나 영상 개선은 주관적인 처리인데 비해 영상 복원은 객관적인 처리이다[1]. 복원은 열화 현상에 대한 사전 지식 (prior knowledge)을 활용하여 열화영상을 재구성하거나 복구를 하는 작업이다. 여기서 사전 지식으로 열화 함수와 잡음 등을 예로 들 수 있다. 따라서 복원은 열화 과정의 역순을 적용하여 원 영상(original image)을 얻어내는 작업이다.

영상 복원이 요구되는 열화 현상은 영상을 획득할 때 렌즈의 부정확한 초점 (out of focus), 영상 시스템이 촬영도중 움직이거나 촬영 대상 물체가 움직일 때 발생하는 움직임에 의한 흐려짐(motion blur)으로 나누어 생각할 수 있다.

본 논문은 부정확한 초점과 움직임에 의한 흐려짐 또는 블러링 (blurring)으로 생성된 열화 영상을 복원하는 방법을 제안한다. 앞에서 설명했던 과속차량 카메라로 얻은 열화 영상이 있다고 가정할 때, 복원하는데 주어진 정보는 열화 영상 밖에 존재하지 않는다. 이런 경우 블라인드 디컨볼루션 (blind deconvolution)을 사용하여 영상을 복원한다. 이는 부적절하게 정립된 역 문제(ill-posed inverse problem)로 한 장의 열화 영상에서 원 영상에 가까운 영상을 얻는 일이다.

열화 영상은 영상 획득 당시의 상황에 기인한다. 만일 과속차량 카메라가 차량과 바람 등이 없는 상황에서 영상을 획득한다면 이 영상 안에는 차량이 없으나 그 주변의 영상은 초점이 잘 맞고 흔들림이 없이 상당히 안정적이다. 본 논문에서는 이 영상을 기준 영상(reference image)이라 정의하고, 블라인드 디컨볼루션 이후에 사용함으로써 기존의 방법보다 비슷하거나 더 나은 영상복원 방법을 제시한다.

본 논문에서는 II 장에 관련 연구를 소개하고, 영상복원에 대한 기본적인 수학적 표현을 III 장에서 제시한다. IV 장은 본 논문에서 제안한 새로운 영상 복원 방법을 소개하고, 그 실험 결과와 결론을 각각 V 장과 VI 장에서 각각 서술한다.

영상 복원을 위한 블라인드 디컨볼루션은 잘 알려진 문제로 이미 많은 연구가 진행되어 왔다. 비교적 초기 방법으로 TV(total variation)를 최소화한 Chan의 연구가 있다[2].

Almedia 등은 에지 탐지 (edge detection) 방법을 사용하여 열화 영상을 복원하였는데, 이 방법은 주로 부정확한 초점에 의한 열화 영상에만 적용할 수 있다[3]. 열화 함수를 찾기 위한 방법으로 영상 에지 분포에 대한 확률적 사전 지식을 적용하는 방법이 제안되었다[4].

이런 방법의 문제점은 가정에 사용되었던 확률적인 사전 지식이 일반적인 영상에 잘 적용되지 않았다. 이를 개선하기 위해 에지 분포를 가우시안 혼합 모델(Gaussian mixture model)로 표현하기도 했다[5].

전술한 바와 같이 흐려진 영상을 복원하는 작업은 부적절하게 정립된 문제 (ill-posed problem)이기 때문에 다양한 방법이 시도되었다. 조성현 등[6]은 영상 추정과 열화 함수 추정에 영상의 미분 값을 예측에 사용하여 빠른 복원방법을 제안하였는데, 이 방법은 어도비의 포토샵 차기 버전에 도입될 예정으로 알려져 있다.

한편 최근 들어 눈에 띄는 논문으로 Krishnan 등[7]과 Wang 등[8]을 꼽을 수 있다. 블라인드 디컨볼루션을 위해 regularization 항이 사용하는데, 비용 함수를 최소화 시키는 복원 영상이 반드시 원 영상에 근접하는 최적의 영상이 아니었다. 이에 Krishnan의 연구는 제목에 언급된 정규화 된 (normalized) sparsity measure를 사용하여 기존의 방법보다 나은 성능을 보여준다. 한편 Wang의 논문은 블라인드 디컨볼루션을 위한 적응 필터 (adaptive filter)를 사용했다. 이 필터는 초기 열화 함수 추정에 영상의 잡음을 줄여 강건한 열화 함수를 찾는데 도움을 준다.

본 논문은 새로운 비용함수와 기준 영상을 제안하고, 영상 복원 결과의 우수성을 증명하기 위해 최근 두 논문[7-8]의 결과와 비교하였다.

영상 복원은 열화 영상에서 원 영상을 추출하는 작업으로 열화과정에 대한 모델은 식(1)과 같이 표현된다.

여기서 g(x, y)는 열화 영상, f(x, y)는 원 영상, h는 열화 함수, 그리고 n(x, y)는 잡음이다. 영상 복원의 목표는 원 영상의 추정치 를 구하는 것이다. 일반적으로 열화 함수 h가 선형적으로 동작한다고 가정하여 아래와 같이 식 (2)로 표현되기도 한다. 이를 주파수 영역에서 표현하면 식 (3)과 같다.

식 (2) 또는 (3)에서 살펴본 바와 같이 열화 과정에 대한 정보, 즉 h(x, y) 또는 H(u, v)에 대한 정보가 있으면 역 필터링 (inverse filter), 위너 필터링 (Wiener filtering), 또는 제한 최소 제곱 필터링 (constrained least squares filtering)에 의해 원 영상의 추정치 를 쉽게 구할 수 있다[1].

본 논문에서 언급하는 영상 복원의 문제는 g(x, y) 또는 G(u, v)가 주어졌을 때 f(x, y) 또는 F(u, v)를 구하는 작업이다. 따라서 식 (2)에서 잡음 항이 없다하더라도 g(x, y)만을 이용하여 h(x, y)와 f(x, y)를 구해야 하는 부적절하게 정립된 문제 (ill-posed problem)가 된다.

한편 식 (2)에서 설명한 h(x, y)는 영상 열화에 사용한 열화 함수로 이를 PSF(point spread function)이라고도 하며, 본 논문에서는 커널(kernel)이라는 표현으로 사용한다. 영상 복원 알고리듬의 중요한 목표 중 하나는 복원에 사용되는 PSF를 적절하게 추정하는 일이다. 만일 PSF에 대한 구체적인 지식이 없는 경우, 블라인드 디컨볼루션 알고리듬을 사용한다.

블라인드 디컨볼루션을 적용하여 동시에 식 (2)의 원 영상 f(x, y)와 커널 h(x, y)를 구할 수 없다. 따라서 블라인드 커널 추정을 실시한 후, 이 커널을 이용하여 원 영상을 얻게 된다. 이 절에서는 관련 연구에서 설명한 바와 같이 블라인드 디컨볼루션 알고리듬 중 가장 최근 논문[7]에서 사용한 방법을 소개하고자 한다. 블라인드 커널 추정은 아래의 식과 같은 비용함수를 최소화함으로써 얻어진다.

여기서 f는 미지의 원 영상이며, h는 미지의 커널함수이며 모두 2차원 행렬이다. 여기서 ║f║₁과 ║f║₂는 각각 f의 l₁, l₂ norm이다. 식 (4) 는 세 개의 항으로 구성되어 있다. 첫째 항은 식 (1)을 최소화하는 우도(likelihood)이며 둘째 항은 복원할 때 scale-invariant sparsity를 위한 f에 대한 l₁/l₂ regularizer 항이다. 마지막 항은 커널의 잡음을 줄이기 위한 h에 대한 l₁ regularizer이다.

식 (4)의 값을 최소화하는 f와 h를 구하기 위해서 각각의 값을 갱신하는 반복된 과정을 수행해야 한다. 이에 대한 자세한 내용은 다음 장에서 기술한다.

식 (4)를 만족하는 커널 h를 구한 후에는 영상 복원 문제가 더 이상 부적절하게 정립된 역 문제가 아니다. 왜냐하면 식 (2)에서 g, h가 존재하므로 이제는 를 쉽게 구할 수 있다. 논문[7]에서는 실제로 Richardson-Lucy 알고리듬을 사용하였다.

본 논문에서 블라인드 디컨볼루션을 이용하여 추정치 를 얻는다. 그러나 서론에서 언급했던 기준영상이라는 여분의 정보가 있다는 가정 하에 새로운 방법을 제안한다. 기준 영상 t(x, y)은 그림 1(c)와 같이 원 영상의 일부분의 정보만을 가진다.

새롭게 제안된 비용 함수는 Krishnan 등[7]의 식(4)에 새로운 항 한 개가 첨가되어 아래와 같다.

앞의 세 항은 식 (4)와 동일하여 f, h, g는 각각 원 영상, 열화 함수, 열화 영상을 각각 표현한다. λ, ψ는 최적화를 위해 영상에 따라 설정해야 하는 값들이다. 식 (5)의 네 번째 항 C_R은 기준 영상 r(x, y)의 자기상관함수로 복원된 f(x, y)의 잡음을 줄이는데 기여한다.

식 (5)를 적용함에 있어 최초 영상과 커널은 다운샘 플링을 통해 축소된 영상(f⁽¹⁾)과 커널(h⁽¹⁾)을 사용한다. 갱신이 이루어질 때마다 선형 보간법 (bilinear interpolation)에 의해 영상과 커널의 크기를 증가시킨다. 즉 f⁽¹⁾→h⁽¹⁾→f⁽²⁾→…→f⁽ⁿ⁾→h⁽ⁿ⁾로 갱신되어 최종 f⁽ⁿ⁾과 h⁽ⁿ⁾은 영상과 커널 추정치 와 ĥ가 된다.

4.3.1. 영상 f 갱신

식 (5)으로부터 영상을 갱신하는 식은 아래와 같다.

식 (6)을 풀기 위한 방법으로 iterative shrinkage thresholding 알고리듬 [9]를 사용하였다. 이와 같이 영상 f 갱신이 종료되면 이 결과를 커널 h 를 갱신하는데 사용한다.

4.3.2. 커널 추정치 h 갱신

영상 갱신과 동일하게 식 (5)으로부터 커널을 갱신에 사용되는 항은 아래의 식으로 표현된다.

식(7)을 풀기 위한 방법으로 iterative re-weighted least squares 알고리듬 [10]을 사용하였다.

앞에서 영상과 커널을 갱신함으로써 궁극적으로는 원 영상을 열화시키는데 사용했던 커널 추정치를 얻었다. 이 과정을 통해 이제는 잘 알려진 위너 필터[1]를 사용하여 시간을 단축시킬 수 있었다.

간략하게 표현하기 위해 H(u, v)를 H로 표시하였으며, S_n과 S_f는 각각 g(x, y)- r(x, y), r(x, y)의 전력 스펙트럼(power spectrum)이다. 여기서 f(x, y)에 대한 근사치로 r(x, y)를 사용했다.

앞에서 설명한 과정이 아래의 표 1과 같다.

본 장에서는 제안된 기준 영상을 활용한 영상 복원 방법의 성능을 검증하기 위해 도로에서 얻은 영상, 그림 1과 그림 2를 이용하여 실험하였다. 그림 1의 테스트 영상은 1280×720이며 그림 2의 테스트 영상은 250×175의 크기를 가졌다. 성능 비교를 위해 최근 연구된 알고리듬 [7,8]을 동일한 PC에서 matlab을 사용하여 그 결과를 관찰하였다.

그림 1과 그림 2의 (a)~(f)를 살펴보면 (a)는 원 영상, (b)열화 영상, (c)기준 영상이다. 기준 영상은 영상 내에서 관심의 대상이 되는 물체가 존재하지 않았을 때 원 영상 수준으로 선명하게 얻은 영상이다.

성능 비교를 위해, Krishnan 등[7]와 Wang 등[8]의 결과가 각각 (d)와 (e)에 보였다. 본 논문의 결과는 (f)에 주어졌다. 결과를 살펴보면 제안 방법의 신호대잡음비(SNR)은 기존의 방법과 유사하거나 조금 나은 정도이나 연산 시간은 2배 이상 단축되었음을 표 2에서 확인할 수 있다.

본 논문에서는 블라인드 디컨볼루션을 이용하여 열화 영상으로부터 원 영상에 대한 추정치를 구하는 방법을 제안했다. 이 방법을 최근의 연구[7,8]와 비교해 본 결과, SNR 측면에서는 큰 차이가 없었으나 영상 복원 연산 시간이 2 배 이상 줄었음을 확인할 수 있었다. 이와 같이 연산 시간 단축은 기준 영상(reference image)의 활용에 기인한다. 기준 영상의 autocorrelation 값을 최적화에 사용하는 비용 함수로 사용하고, 커널 추정치를 구한 후 위너 필터에 기준 영상에서 구한 S_n/S_f 항으로 사용했기 때문이다. 따라서 연산 측면에서 볼 때, 본 연구는 열화 열상에 블라인드 디컨볼루션을 적용한 디블러링 방법의 실시간 적용에 기여했다고 볼 수 있다.

향후 연구가 실시간 적용에 근접하는 알고리듬의 개발에 있다면, 효과적인 커널 추정치를 구할 수 있는 비용 함수를 개발하는 것이 필요하다. 한편 더 나은 원 영상의 추정치를 얻기 위해서라면 영상이나 커널 추정치 갱신에 있어 크기를 늘리는 정도를 세분화하면 좋은 결과가 있을 것이다. 그러나 이 방법은 궁극적으로 처리 속도가 늘어나는 단점을 발생시킬 수 있다.