In this paper, we suggest three-dimensional information extraction map system using integral imaging technique. Integral imaging can record multiple elemental images with different perspectives using a 2D image acquisition device with lenslet array. Using these images, integral imaging can obtain 3D information and display 3D image. In this paper, the position difference between elemental images can be obtained using summation of absolute difference (SAD), and then 3D information can be extracted. Therefore, this technique can find the height information of 3D objects.
3차원 영상처리에 대한 많은 연구들이 활발히 진행되고 있다. 특히, 집적 영상은 2차원 영상장치와 수동 광원을 사용하여 3차원 영상을 획득하고 디스플레이할 수 있는 기술이다 [1,4-12,14]. 이 기술은 스테레오 방식[2,3]과 달리 완전시차 (상하좌우시차)를 제공하며 3차원 영상을 관측하기 위한 특수 안경을 요구하지 않는다. 무안경식에는 홀로그래피 기술도 [13] 있는데, 이 기술은 기록광원으로 레이저와 같은 능동광원이 요구된다. 따라서, 야외에서 3차원 물체를 촬영하는데 용이하지 않다. 반면에, 집적 영상은 광원으로 일반적인 백색광원을 사용하기 때문에 야외에서 3차원 물체를 촬영하는 것이 가능하다. 집적 영상에서는 3차원 정보를 기록하기 위해 렌즈 배열을 사용한다. 이 렌즈 배열을 통해 기록되는 서로 다른 원근감을 가지는 다수의 2차원 영상을 요소 영상이라 한다. 이 요소 영상들을 동일한 렌즈배열을 사용하여 디스플레이하게 되면 3차원 영상이 재생된다. 또한, 컴퓨터 재생 기법 [4]을 사용하여 3차원정보를 추출할 수 있다. 하지만 집적 영상에도 문제점은 있다. 해상도가 낮고, 시야각이 좁으며, 깊이감이 얕다. 이러한 문제점들을 해결하기 위해 많은 연구들이 보고 되고 있다 [5-11]. 집적 영상에서 3차원 정보를 추출하기 위해서는 각 요소 영상들의 동일 픽셀의 위치 값을 계산해야 한다. 이 위치 값의 차이를 사용하여 기하광학적으로 깊이 정보를 추정하게 되면 3차원 정보를 얻을 수 있기 때문이다. 이 위치 값을 구하는 방법에는 여러가지가 있는데 [14,15], 본 논문에서는 영상의 절대 차이의 합 (Summation of Absolute Difference: SAD) 기술 [14]을 사용한다. 따라서, 이 SAD 기술과 집적 영상을 사용하면 3차원 물체의 높이 정보를 구할 수 있다.
Ⅱ. 집적 영상 기술과 SAD를 이용한 깊이 정보 추출
집적 영상 기술은 1908년 G. Lippmann [1]에 의해 처음 제안되었으며, 수동 광원과 렌즈 배열을 사용하여 3차원 정보를 획득하고 디스플레이할 수 있는 기술이다. 집적 영상은 두 개의 처리과정을 통해 3차원 영상을 획득하고 디스플레이 할 수 있는데, 그림 1에 그 개념이 설명되어 있다. 그림 1(a)에서 알 수 있듯이, 3차원 물체에서 나오는 광선들은 렌즈 배열을 통해 2차원 영상획득 장치에 기록된다. 이렇게 기록된 영상들은 서로 다른 원근감을 가지는데 이 정보를 사용하여 동일한 렌즈배열을 통과시켜 디스플레이하면 그림 1(b)에 나타나 있는 것처럼 3차원 영상을 재생할 수 있다.
집적 영상에서 고해상도의 3차원 영상을 재생하기 위해서는 렌즈 배열 방식이 아닌 Synthetic Aperture Integral Imaging (SAII) [8] 기술이 사용된다. 이 기술은 그림 2에 나타나 있는 것처럼 영상획득장치 배열이나 단일 영상획득장치를 이동하여 요소 영상을 획득하는 방법이다. 따라서, 각 요소 영상의 해상도는 영상획득 장치의 해상도와 동일하다. 또한, 영상획득장치의 이동거리를 렌즈의 직경보다 작게 할 수 있기 때문에 보다 정밀한 깊이 정보를 추출할 수 있다. 본 논문에서는 SAII 방식을 사용하여 영상을 획득하고 깊이 정보를 추출하였다.
집적 영상에서 3차원 영상의 재생은 컴퓨터를 사용하여 깊이 방향에 따라 슬라이스 영상으로 재생할 수 있다 [4]. 컴퓨터 재생은 그림 3과 같이 가상의 핀홀 배열을 사용하여 요소 영상을 재생 깊이면에 투과한 다음 중첩해서 구한다. 다음 식은 집적 영상에서 컴퓨터를 사용하여 3차원 영상을 재생하는 방법을 설명하고 있다.
여기서
각각의 요소 영상별로 최소의 SAD 값을 사용하여 매칭 영상의 위치를 구한 후, 그 차이 값의 평균을 취하게 되면
이와 같이 요소 영상으로부터 물체의 각 부분의 깊이 정보를 추출하게 되면 3차원 지도 시스템을 구현할 수 있다.
본 논문에서 제안하는 3차원 지도 시스템 기술을 검증하기 위해 광학적 실험을 수행하였다. 영상획득 장치로 Nikon D3200 DSLR 카메라를 사용하였고 카메라 렌즈의 초점 거리는 55mm이다. 카메라의 해상도는 3008×2000이다. 사용된 물체는 그림 4에 나타나 있는 것처럼 장난감 자동차이고 높이는 근사적으로 30mm이다. 물체의 윗부분은 카메라에서 근사적으로 580mm 떨어져 있고 바닥부분은 카메라에서 근사적으로 610mm 떨어져 있다.
요소 영상을 획득하기 위해 카메라를 10mm씩 이동시켜 그림 5와 같이 10×10 요소 영상을 획득하였다.
이렇게 획득한 요소 영상들을 그림 6에 나타나 있는 매칭 영상들 (자동차의 윗부분과 바닥부분)로 SAD값을 구하면 그림 7과 같은 그래프를 얻을 수 있다. 여기서 SAD의 최소값을 찾아 각 영상의 위치를 설정하고 요소 영상들의 위치 차이 값을 구하면
깊이 정보 추출
따라서, 자동차 윗부분과 자동차 바닥부분의 깊이 정보의 차이는 612.7501 - 582.7523 = 29.9978가 됨을 알 수 있다. 이것은 실제 3차원 물체의 높이 값과 유사하다.
실제 3차원 물체의 높이를 시각화하기 위해 그림 8에 나타나 있는 것처럼 컴퓨터 재생 기법을 사용하여 깊이 방향에 따른 슬라이스 영상을 재생하였다. 그림에서 알 수 있듯이, 물체의 깊이가 정확히 일치할 때 초점이 맞은 영상 즉, 깨끗한 영상을 얻을 수 있다.
본 논문에서는 집적 영상을 이용하여 3차원 정보를 추출하고 이를 이용하여 지도 시스템을 구성할 수 있다는 것을 설명하였다. 고해상도의 영상을 획득하기 위해 SAII 방식을 사용하였고 매칭 영상들의 위치 값을 구하기 위해 SAD 기술을 사용하였다. 항공기와 같은 이동수단에 카메라 배열과 같은 SAII 방식의 장치를 추가하고 SAD 기술로 매칭 영상들을 구한다면 3차원 지도를 제작할 수 있으리라 사료된다. 다만, SAD 기술은 영상간의 크기와 회전에 취약하기 때문에 향후 보다 정밀한 깊이 정보를 구하기 위해서 통계적인 기법을 적용할 것이다.
