This paper presents an orientation-based adaptive prediction method for effective lossless image compression. For a robust prediction, the proposed method estimates the directional information and the property near the current pixel in a support region-based fashion, not a pixel-based one which is sensitive to a small variation. We improve the prediction performance effectively by selection of the prediction pixel adaptively according to the similarity between support regions of the current pixel and the neighboring pixels. Comprehensive experiments demonstrate that the proposed scheme achieves excellent prediction performance measured in entropy of the prediction error compared to a number of conventional prediction methods such as MED, GAP, and EDP. Moreover the complexity of the proposed algorithm measured by average execution time is low compared to MED which is the simplest prediction method.
정지영상의 압축기법은 크게 압축과정에서 정보의 손실을 허용하여 압축률을 높이는데 중점을 둔 손실(lossy) 압축방식과 압축하기 전의 원영상을 정확히 복원할 수 있는 무손실(lossless) 압축방식으로 구분된다. 일반적으로 손실 압축방식은 영상의 효율적인 전송 및 저장을 위해 사용되는 한편, 의료영상 및 법률자료 등과 같이 정보의 신뢰성 또는 정확성이 보장되어야 하는 분야에서는 무손실 압축방식의 활용이 증대되고 있다. 또한 화질에 대한 기대치가 높은 영상편집 분야에서도 편집과정에서 손실이 누적되는 손실 압축방식보다 무손실 압축방식의 사용이 증가하고 있다[1-4]. 이러한 무손실 압축방식 중에서는 GIF (graphics interchange format), PNG (portable network graphics), JPEG-LS(JPEG-lossless) 등과 같은 포맷 및 압축기법이 널리 사용되고 있다[1,5].
일반적으로 정지영상의 무손실 압축은 두 단계의 과정을 거친다. 첫째는 영상을 복원이 가능한 범위 내에서 엔트로피(entropy)를 최소화하는 방향으로 재표현하는 것이고, 둘째는 재표현된 영상의 엔트로피에 가장 근접한 비트율을 갖도록 부호화(coding)하는 것이다. 특히, 첫 번째 단계의 관점에서 정지영상의 무손실 압축은 변환기반 부호화(transform-based coding) 방식과 예측기반 부호화(prediction-based coding) 방식으로 구분할 수 있다[6]. 대표적인 변환기반 부호화 방식인 JPEG2000 lossless mode는 방향성이 뚜렷한 영상에 대한 성능은 비교적 우수하지만, 일반적으로 JPEG-LS 및 CALIC (context-based, adaptive, lossless image coding) 등의 예측기반 부호화 방식에 비해 압축효율이 떨어지는 것으로 보고되고 있다[7-9]. 예측(prediction)기법은 효율적인 무손실 압축을 위하여 픽셀간 상관성을 제거하는 역할을 하는 것으로 해석할 수 있는데, 지역적 통계의 다양한 변화를 특징으로 하는 자연영상에서는 무손실 JPEG (lossless JPEG)에서 사용되는 것과 같은 고정적 예측방법보다 JPEG-LS에서 도입된 MED (median edge detector) 및 CALIC에서 도입된 GAP (gradient adaptive prediction)과 같이 픽셀간 의존성에 따라 예측하는 적응적 예측방법에 대한 연구가 활발하게 이루어지고 있다[1,8,9]. 그러나 MED와 GAP은 적응적 예측 방법임에도 그 방법의 단순함 등으로 인해 압축성능 향상에 한계가 있다. 이를 극복하기 위하여 JPEG-LS와 CALIC에서는 예측에러를 부호화하기 전에 주변 픽셀들의 상태를 컨텍스트 모델링(context modeling)하여 예측에러 보정(prediction error compensation) 또는 바이어스 제거(bias cancellation) 과정을 거친다[10-13].
또한 적응적 예측을 수행하기 위한 최적의 예측픽셀을 선택하기 위하여 최소제곱(least square) 기법을 적용한 방법이 제안되기도 하였다[14,15]. 그러나 이는 인상적인 예측성능의 개선에도 불구하고 행렬의 곱셈 및 역행렬의 계산 등으로 인한 계산량의 증가 때문에 그 응용분야가 제한될 수밖에 없다. 최근에는 디지털 카메라의 활용성이 증대됨에 따라 컬러변환 및 화질 등에서 한계가 있는 기존의 JPEG 위주의 압축방법 대신 CFA(color filter array) 데이터의 직접적인 압축방법이 제안되고 있는데, 이를 위한 예측기법 및 무손실 압축방법에 관한 연구가 활발하게 진행되고 있다. 각 컬러평면의 정보량은 일반영상보다 적지만 컬러평면 간 상관성이 높기 때문에 이를 이용한 고성능의 방향성 기반 예측기법들이 활발하게 제안되고 있다[16-18].
본 논문에서는 효과적인 무손실 압축을 위하여 영상의 중요한 정보인 에지 및 방향성을 고려한 적응적 예측방법을 제안한다. 픽셀단위의 예측방법은 픽셀의 작은 변화에도 예측 방향성이 매우 민감하게 영향을 받아 영상의 올바른 방향성을 반영하지 못하여 부호화 효율이 떨어지는 문제점이 있다. 이를 해결하기 위하여 일정크기의 지원영역(support region)을 정의하고, 부호화 픽셀이 속한 영역의 특성, 즉 평탄한 영역 또는 방향성 영역인지를 판단한다. 또한 영역의 특성에 따라 비교적 정확한 방향성을 검출해내고, 이를 기반으로 예측방법을 달리 적용함으로써 부호화 효율을 향상시킬 수 있는 방법을 제안한다. 본 논문에서 정의하는 지원영역은 기존의 MED와 GAP의 픽셀단위 예측과 달리 지원영역 단위로 방향성을 계산함으로써 사실상 예측을 위한 주변 픽셀의 범위를 확대시켜 예측의 정확도를 향상시키는 효과가 있다. 본 논문의 구성은 다음과 같다. II장에서는 기존의 무손실 압축을 위한 대표적인 적응적 예측방법에 대하여 소개하고, III장에서는 예측성능을 향상시키기 위하여 제안하는 방향성 기반 적응적 예측기법에 대하여 자세히 기술한다. IV장에서 다양한 영상에 대하여 제안한 방법의 성능평가 결과를 보이고, V장에서 결론을 맺는다.
기존의 무손실 압축을 위한 대표적인 예측방법으로 MED, GAP, EDP (edge-directed prediction)에 대하여 살펴보도록 한다. 각 예측방법은 그림 1의 주변 픽셀 순서를 사용하여 설명한다.
2.1. MED (median edge detector)
무손실 JPEG (lossless JPEG)의 낮은 압축성능 개선을 위해 LOCO-I (low complexity lossless compression of images) 알고리즘을 기반으로 하여 JPEG-LS 표준이 만들어졌는데, 이는 에지의 방향에 따라 예측픽셀을 선택하는 MED 예측기 및 컨텍스트 모델링(context modeling)에 의한 적응적 Golomb-Rice 부호기로 구성되어 있다[1,8]. MED 예측기는 현재 픽셀
즉,
2.2. GAP (gradient adaptive prediction)
무손실 압축표준을 위한 여러 제안기술 중 하나인 CALIC은 JPEG-LS와 유사한 부호화 구조, 즉 에지의 강도와 방향성에 따라 예측픽셀을 선택하는 GAP 예측기 및 컨텍스트 모델링에 의한 산술 부호기(arithmetic coding)로 구성되어 있다[9].
GAP은 MED보다 더 많은 정보를 이용하여 보다 정확한 예측을 수행하지만, 이를 위한 복잡한 계산으로 인해 JPEG-LS보다 좋은 압축성능에도 불구하고 복잡도가 높은 단점이 있다. GAP 예측을 위해서 먼저 식 (2)와 같이 현재 픽셀
즉, 가로방향의 기울기
GAP 예측방법은 식 (3)에서
2.3. EDP (edge-directed prediction)
GAP 및 MED와 같은 에지검출 기반 예측방법의 성능은 강인한 에지검출 및 방향추정에 의존하지만, 실제로는 많은 어려움이 있어 그 대안으로 최소제곱(least square) 기반 적응적 예측방법에 대한 많은 연구가 이루어져 왔다. 이는 명시적으로 에지를 검출하거나 방향을 추정하는 대신, 최소제곱 기법에 의한 최적 예측계수
이때 최적 예측계수는 그림 1에서와 같이
이때,
이는 기하학적으로
예측기반 부호화 방식에서 예측기는 엔트로피를 최소화하도록 영상을 재표현하여 부호화 성능을 향상시키기 위한 핵심적인 역할을 담당한다. 보통 자연영상은
설명의 편의를 위하여 주변 픽셀 순서를 그림 2와 같이 다시 표현하도록 한다. 부호화 픽셀
예측픽셀
이때
영상의 방향성을 더욱 효과적으로 반영하기 위하여 그림 2와 같이 부호화 픽셀
만일
본 논문에서 제안한 무손실 영상 압축을 위한 방향성 기반 적응적 예측방법의 성능을 평가하기 위해서 그림 3과 같은 512x512 및 768x512 크기의 grayscale 테스트 영상을 사용하였다.
제안하는 예측방법은 주변 픽셀의 복잡도 및 방향정보를 효과적으로 추정하여 적응적으로 예측픽셀을 선택하기 때문에 예측에러가 작다. 그림 4는 Lena영상에 대해서 MED, GAP 및 EDP와 제안한 방법에 의한 예측 에러를 나타낸다. 이때 효과적인 디스플레이를 위하여 예측에러가 없을 경우의 값을 128이 되도록 조정하여 나타내었다.
그림 4에서 볼 수 있는 바와 같이, 대부분의 영역에서 MED와 GAP의 경우보다 EDP와 OAP의 경우가 예측 에러가 작은 것을 알 수 있다.
GAP의 경우에는 특히 얼굴선, 우측 윗부분의 거울 테두리 및 우측 아랫부분의 거울에 비친 모습 등과 같이 약한 에지가 있는 곳에서 MED보다 예측에러가 작은 것을 볼 수 있다. 또한 OAP는 얼굴영역을 비롯하여 모자의 장식부분, 거울부분 등에서 EDP보다 작은 예측에러가 관찰된다. 특히, 모자의 장식부분에서 방향성이 분명한 에지 주위의 에러가 줄어들었고, 그 외에는 방향성이 분명하지 않아 마치 잡음과 같은 성분이 남은 것으로 관찰되어, 효과적인 예측이 이루어졌음을 알 수 있다.
이러한 결과는 표 1에서도 확인할 수 있는데, 표 1은 그림 3의 실험영상에 대해서 각 예측방법과 제안한 방법에 의한 예측에러의 1차 엔트로피를 픽셀당 비트수(bpp; bits per pixel)로 나타낸 것이다. 이때, EDP는 비교의 공정성을 위해
각 예측방법에 의한 예측에러의 엔트로피
표 1의 결과에서 보는 바와 같이, 엔트로피 측면에서 제안한 방법이 대부분의 영상에서 기존의 방식에 비해 우수함을 나타내는데, MED에 비해 평균 0.26bpp (5.6%), GAP에 비해 평균 0.19bpp (4.2%), EDP에 비해 평균 0.09bpp (2.0%)의 향상이 있는 것을 알 수 있다. 기존의 예측방식 중에서는 MED의 성능이 가장 떨어지고, EDP의 성능이 뛰어났다.
그러나 EDP의 경우에는
표 2는 각 예측방법의 복잡도를 비교하기 위하여 각 예측방법에 의한 상대적인 실행시간을 MED를 기준으로 나타낸 것이다. 이때 그림 3의 실험영상에 대해서 각 예측방법이 수행되는 시간을 측정하고, 이를 평균하여 나타내었다. 또한 EDP는 표 1의 경우와 마찬가지로
각 예측방법에 의한 실행시간의 비교
표 2에서 알 수 있는 바와 같이 복잡도 측면에서는 MED가 가장 효율적이나, 예측성능이 좋지 않다. 반면, GAP은 개발 당시에는 높은 복잡도로 인해 응용분야에 제약을 받았지만, 표 2에서와 같이 MED와의 차이가 크지 않아 다양한 분야에 적용할 수 있을 것으로 판단된다. 제안한 OAP는 MED 및 GAP에 비해 복잡도가 높지만 그 차이가 크지 않고, 우수한 예측성능을 고려하면 다양한 응용분야에 충분이 적용 가능한 것으로 판단된 다. 또한 EDP는 행렬연산 및 역행렬을 구하는데 많은 계산량이 요구되어 실제 응용분야에 적용하기에는 무리가 있지만, 최적 예측계수를 구하는 방법론을 제시하였기 때문에 고속 알고리즘 등의 다양한 후속 연구를 통해 실제 적용 가능한 예측방법을 개발할 수 있을 것으로 기대한다.
본 논문에서는 효과적인 무손실 영상압축을 위한 방향성 기반 적응적 예측방법을 제안하였다. 제안하는 예측기법은 작은 변화에 민감한 픽셀단위가 아닌 지원영역 단위로 방향성을 효과적으로 추정하고, 부호화 픽셀과 주변 픽셀에 대한 지원영역 사이의 유사도를 계산하여 얻은 영역의 특성에 따라 적응적으로 예측픽셀을 선택함으로써 예측에러의 엔트로피를 효과적으로 낮추었다.
기존의 MED, GAP 등과 같은 에지검출 기반 예측방법 및 EDP와 같은 최소제곱 기반 예측방법과 비교하여 제안한 OAP 예측방법은 예측에러에 대한 엔트로피의 측면에서 우수한 성능을 보였고, 복잡도 측면에서도 가장 간단한 MED와 비교해도 큰 차이가 없음을 다양한 실험을 통해 보였다. 이러한 결과로부터 모바일 및 실시간 응용을 비롯해서 무손실 영상압축이 사용되는 다양한 응용분야에 제안한 방법이 효과적으로 적용될 수 있을 것으로 판단된다. 향후 예측에러를 효과적으로 부호화할 수 있는 예측에러 보정 및 엔트로피 부호화기와 결합하여 압축성능을 더욱 향상시키는 연구를 수행할 것이다.