집적 영상 기술을 이용한 3차원 지도 시스템

Three-Dimensional Map System Using Integral Imaging Technique

  • cc icon
  • ABSTRACT

    본 논문에서는 집적 영상 기술을 사용하여 3차원 정보를 추출하는 지도 시스템을 제안한다. 집적 영상 기술은 렌즈 배열을 가지는 2차원 영상 획득장치를 사용하여 다수의 서로 다른 원근감을 가지는 요소 영상을 기록하고 이를 이용하여 3차원 정보를 획득하고 디스플레이하는 기술이다. 본 논문에서는 각 요소 영상간의 위치 차이를 절대 차이의합 (Summation of Absolute Difference: SAD)를 사용하여 구하고 이를 이용하여 3차원 정보를 추출한다. 따라서, 3차원 물체의 높이 정보를 구할 수 있다.


    In this paper, we suggest three-dimensional information extraction map system using integral imaging technique. Integral imaging can record multiple elemental images with different perspectives using a 2D image acquisition device with lenslet array. Using these images, integral imaging can obtain 3D information and display 3D image. In this paper, the position difference between elemental images can be obtained using summation of absolute difference (SAD), and then 3D information can be extracted. Therefore, this technique can find the height information of 3D objects.

  • KEYWORD

    3차원 집적 영상 , 요소 영상 , 절대 차이의 합 , 3차원 지도 시스템

  • Ⅰ. 서 론

    3차원 영상처리에 대한 많은 연구들이 활발히 진행되고 있다. 특히, 집적 영상은 2차원 영상장치와 수동 광원을 사용하여 3차원 영상을 획득하고 디스플레이할 수 있는 기술이다 [1,4-12,14]. 이 기술은 스테레오 방식[2,3]과 달리 완전시차 (상하좌우시차)를 제공하며 3차원 영상을 관측하기 위한 특수 안경을 요구하지 않는다. 무안경식에는 홀로그래피 기술도 [13] 있는데, 이 기술은 기록광원으로 레이저와 같은 능동광원이 요구된다. 따라서, 야외에서 3차원 물체를 촬영하는데 용이하지 않다. 반면에, 집적 영상은 광원으로 일반적인 백색광원을 사용하기 때문에 야외에서 3차원 물체를 촬영하는 것이 가능하다. 집적 영상에서는 3차원 정보를 기록하기 위해 렌즈 배열을 사용한다. 이 렌즈 배열을 통해 기록되는 서로 다른 원근감을 가지는 다수의 2차원 영상을 요소 영상이라 한다. 이 요소 영상들을 동일한 렌즈배열을 사용하여 디스플레이하게 되면 3차원 영상이 재생된다. 또한, 컴퓨터 재생 기법 [4]을 사용하여 3차원정보를 추출할 수 있다. 하지만 집적 영상에도 문제점은 있다. 해상도가 낮고, 시야각이 좁으며, 깊이감이 얕다. 이러한 문제점들을 해결하기 위해 많은 연구들이 보고 되고 있다 [5-11]. 집적 영상에서 3차원 정보를 추출하기 위해서는 각 요소 영상들의 동일 픽셀의 위치 값을 계산해야 한다. 이 위치 값의 차이를 사용하여 기하광학적으로 깊이 정보를 추정하게 되면 3차원 정보를 얻을 수 있기 때문이다. 이 위치 값을 구하는 방법에는 여러가지가 있는데 [14,15], 본 논문에서는 영상의 절대 차이의 합 (Summation of Absolute Difference: SAD) 기술 [14]을 사용한다. 따라서, 이 SAD 기술과 집적 영상을 사용하면 3차원 물체의 높이 정보를 구할 수 있다.

    Ⅱ. 집적 영상 기술과 SAD를 이용한 깊이 정보 추출

    집적 영상 기술은 1908년 G. Lippmann [1]에 의해 처음 제안되었으며, 수동 광원과 렌즈 배열을 사용하여 3차원 정보를 획득하고 디스플레이할 수 있는 기술이다. 집적 영상은 두 개의 처리과정을 통해 3차원 영상을 획득하고 디스플레이 할 수 있는데, 그림 1에 그 개념이 설명되어 있다. 그림 1(a)에서 알 수 있듯이, 3차원 물체에서 나오는 광선들은 렌즈 배열을 통해 2차원 영상획득 장치에 기록된다. 이렇게 기록된 영상들은 서로 다른 원근감을 가지는데 이 정보를 사용하여 동일한 렌즈배열을 통과시켜 디스플레이하면 그림 1(b)에 나타나 있는 것처럼 3차원 영상을 재생할 수 있다.

    집적 영상에서 고해상도의 3차원 영상을 재생하기 위해서는 렌즈 배열 방식이 아닌 Synthetic Aperture Integral Imaging (SAII) [8] 기술이 사용된다. 이 기술은 그림 2에 나타나 있는 것처럼 영상획득장치 배열이나 단일 영상획득장치를 이동하여 요소 영상을 획득하는 방법이다. 따라서, 각 요소 영상의 해상도는 영상획득 장치의 해상도와 동일하다. 또한, 영상획득장치의 이동거리를 렌즈의 직경보다 작게 할 수 있기 때문에 보다 정밀한 깊이 정보를 추출할 수 있다. 본 논문에서는 SAII 방식을 사용하여 영상을 획득하고 깊이 정보를 추출하였다.

    집적 영상에서 3차원 영상의 재생은 컴퓨터를 사용하여 깊이 방향에 따라 슬라이스 영상으로 재생할 수 있다 [4]. 컴퓨터 재생은 그림 3과 같이 가상의 핀홀 배열을 사용하여 요소 영상을 재생 깊이면에 투과한 다음 중첩해서 구한다. 다음 식은 집적 영상에서 컴퓨터를 사용하여 3차원 영상을 재생하는 방법을 설명하고 있다.

    image
    image

    여기서 Ikl은 kkl행의 요소 영상, Δx, Δy는 요소 영상이 중첩될 때, 이동하는 거리, O(x,y)는 중첩되는 회수를 나타내는 행렬, Nx, Ny는 요소영상의 픽셀 수, p는 렌즈의 크기, f는 렌즈의 초점 거리, cx, cy는 영상획득장치의 크기이며, z는 재생되는 깊이이다. 이처럼, 집적 영상에서 3차원 물체의 깊이를 구하기 위해서는 Δx, Δy의 값을 알아야 하는데, 본 논문에서는 SAD를 [14] 사용하여 그 값을 구한다. SAD는 구하고자 하는 M×N의 크기를 갖는 부분 매칭 영상 T(m,n)을 전체 영상 I(x,y)을 통해 구하고 최소값을 취하여 동일한 픽셀의 위치를 구한다. SAD의 정의 식은 다음과 같다.

    image

    각각의 요소 영상별로 최소의 SAD 값을 사용하여 매칭 영상의 위치를 구한 후, 그 차이 값의 평균을 취하게 되면 Δx, Δy의 값을 구할 수 있다. 이렇게 구해진 Δx, Δy를 식 (2)에 대입하면 다음과 같이 깊이를 구하는 식을 완성할 수 있다.

    image

    이와 같이 요소 영상으로부터 물체의 각 부분의 깊이 정보를 추출하게 되면 3차원 지도 시스템을 구현할 수 있다.

    Ⅲ. 실험결과

    본 논문에서 제안하는 3차원 지도 시스템 기술을 검증하기 위해 광학적 실험을 수행하였다. 영상획득 장치로 Nikon D3200 DSLR 카메라를 사용하였고 카메라 렌즈의 초점 거리는 55mm이다. 카메라의 해상도는 3008×2000이다. 사용된 물체는 그림 4에 나타나 있는 것처럼 장난감 자동차이고 높이는 근사적으로 30mm이다. 물체의 윗부분은 카메라에서 근사적으로 580mm 떨어져 있고 바닥부분은 카메라에서 근사적으로 610mm 떨어져 있다.

    요소 영상을 획득하기 위해 카메라를 10mm씩 이동시켜 그림 5와 같이 10×10 요소 영상을 획득하였다.

    이렇게 획득한 요소 영상들을 그림 6에 나타나 있는 매칭 영상들 (자동차의 윗부분과 바닥부분)로 SAD값을 구하면 그림 7과 같은 그래프를 얻을 수 있다. 여기서 SAD의 최소값을 찾아 각 영상의 위치를 설정하고 요소 영상들의 위치 차이 값을 구하면 Δx, Δy를 구할 수 있다. 이를 식 (4)에 적용하여 깊이 정보를 구하면 표 1과 같다.

    따라서, 자동차 윗부분과 자동차 바닥부분의 깊이 정보의 차이는 612.7501 - 582.7523 = 29.9978가 됨을 알 수 있다. 이것은 실제 3차원 물체의 높이 값과 유사하다.

    실제 3차원 물체의 높이를 시각화하기 위해 그림 8에 나타나 있는 것처럼 컴퓨터 재생 기법을 사용하여 깊이 방향에 따른 슬라이스 영상을 재생하였다. 그림에서 알 수 있듯이, 물체의 깊이가 정확히 일치할 때 초점이 맞은 영상 즉, 깨끗한 영상을 얻을 수 있다.

    Ⅳ. 결 론

    본 논문에서는 집적 영상을 이용하여 3차원 정보를 추출하고 이를 이용하여 지도 시스템을 구성할 수 있다는 것을 설명하였다. 고해상도의 영상을 획득하기 위해 SAII 방식을 사용하였고 매칭 영상들의 위치 값을 구하기 위해 SAD 기술을 사용하였다. 항공기와 같은 이동수단에 카메라 배열과 같은 SAII 방식의 장치를 추가하고 SAD 기술로 매칭 영상들을 구한다면 3차원 지도를 제작할 수 있으리라 사료된다. 다만, SAD 기술은 영상간의 크기와 회전에 취약하기 때문에 향후 보다 정밀한 깊이 정보를 구하기 위해서 통계적인 기법을 적용할 것이다.

  • 1. Lippmann G. 1908 "La Photographie Integrale," [Comptes-Rendus Academie des Sciences] Vol.146 P.446-451 google
  • 2. Wheatstone C. 1838 "On some remarkable, and hitherto unobserved, phenomena of binocular vision," [Phil. Trans. R. Soc.] Vol.128 P.371-394 google doi
  • 3. Lypton L. 1982 Foundation of Stereoscopic Cinema google
  • 4. Hong S.-H., Jang J.-S., Javidi B. 2004 "Three-dimensional volumetric object reconstruction using computational integral imaging," [Opt. Exp.] Vol.12 P.483-491 google doi
  • 5. Javidi J.-S., Jang B. 2002 "Improved viewing resolution of three-dimensional integral imaging by use of nonstationary micro-optics," [Opt. Lett.] Vol.27 P.324-326 google doi
  • 6. Javidi J.-S., Jang B. 2003 "Improvement of viewing angle in integral imaging by use of moving lenslet arrays with low fill factor," [Appl. Opt.] Vol.42 P.1996-2002 google doi
  • 7. Javidi J.-S., Jang B. 2003 "Large depth-of-focus timemultiplexed three-dimensional integral imaging by use of lenslets with nonuniform focal lengths and aperture sizes," [Opt. Lett.] Vol.28 P.1924-1926 google doi
  • 8. Jang J.-S., Javidi B. 2002 "Three-dimensional synthetic aperture integral imaging," [Opt. Lett.] Vol.27 P.1144-1146 google doi
  • 9. Okano F., Arai J., Mitani K., Okui M. 2006 "Real-time integral imaging based on extremely high resolution video system," [Proc. IEEE] Vol.94 P.490-501 google doi
  • 10. Arai J., Okano F., Hoshino H., Yuyama I. 1998 "Gradient index lens array method based on real time integral photography for three dimensional images," [Appl. Opt.] Vol.37 P.2034-2045 google doi
  • 11. Hoshino H., Okano F., Isono H., Yuyama I. 1998 "Analysis of resolution limitation of integral photography," [J. Opt. Soc. Amer.A] Vol.15 P.2059-2065 google doi
  • 12. Cho M., Daneshpanah M., Moon I., Javidi B. 2011 "Three-dimensional optical sensing and visualization using integral imaging," [Proc. IEEE] Vol.99 P.556-575 google doi
  • 13. Benton S. A., Bove V. M. 2008 Holographic Imaging google
  • 14. Cho M., Javidi B. 2008 "Three-dimensional tracking of occluded objects using integral imaging," [Opt. Lett.] Vol.33 P.2737-2739 google doi
  • 15. Alazawi E., Aggoun A., Abbod M., Fatah O. A. June 5-7, 2013 "Adaptive depth map estimation from 3D integral image," [2013 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB)] P.1-6 google
  • [그림 1.] 집적 영상 개념도 (a) 영상 획득 (b) 영상 디스플레이
    집적 영상 개념도 (a) 영상 획득 (b) 영상 디스플레이
  • [그림 2.] 합성 조리개 집적 영상
    합성 조리개 집적 영상
  • [] 
  • [] 
  • [그림 3.] 집적 영상에서의 컴퓨터 재생
    집적 영상에서의 컴퓨터 재생
  • [] 
  • [] 
  • [그림 4.] 광학 실험에 사용된 3차원 물체
    광학 실험에 사용된 3차원 물체
  • [그림 5.] 요소 영상
    요소 영상
  • [그림 6.] SAD 계산을 위한 매칭 영상들 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분
    SAD 계산을 위한 매칭 영상들 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분
  • [그림 7.] SAD 그래프 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분
    SAD 그래프 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분
  • [표 1.] 깊이 정보 추출
    깊이 정보 추출
  • [그림 8.] 재생된 3차원 영상 (a) z=580mm (b) z=590mm (c) z=600mm (d) z=610mm
    재생된 3차원 영상 (a) z=580mm (b) z=590mm (c) z=600mm (d) z=610mm