본 논문에서는 병렬렌즈배열 기반의 집적영상에서 공간필터링된 3차원 영상 복원법을 제안한다. 병렬렌즈배열은 두 매의 렌즈배열을 병렬로 배열하는 획득 시스템 이다. 종래의 집적영상에서 주기적인 함수들의 컨벌루션 특성을 이용하는 공간필터링 방법의 문제점으로 인식하고자 하는 물체의 위치가 제한적이라는 단점과 이로 인해 획득 시스템에서 깊이해상력이 상대적으로 낮은 영역에 물체가 위치하여야 하는 단점이 있다. 깊이인식방법을 이론적으로 분석한 결과 깊이인식가능 영역과 요소영상에 획득된 3차원 물체의 깊이 정보는 획득시스템에 사용되는 요소렌즈의 개수와 요소렌즈의 초점거리에 따라 결정됨을 알 수 있다. 따라서 깊이인식영역과 깊이해상력을 개선 할 수 있는 방법으로 획득 시스템에 두 매의 렌즈배열을 병렬로 배치하는 시스템을 제안한다. 제안하는 방법에 대한 이론적 분석을 하였으며 실험을 수행하였고 그 결과를 보고한다.
In this paper, we propose a novel reconstruction method of spatially filtered 3D images in integral imaging based on parallel lens array. The parallel lens array is composed of two lens arrays, which are positioned side by side through longitudinal direction. Conventional spatial filtering method by using convolution property between periodic functions has drawback that is the limitation of the position of target object. this caused the result that the target object should be located on the low depth resolution region. The available spatial filtering region of the spatial filtering method is depending on the focal length and the number of elemental lens in the integral imaging pickup system. In this regard, we propose the parallel lens array system to enhance the available spatial filtering region and depth resolution. The experiment result indicate that the proposed method outperforms the conventional method.
집적영상(Integral Imaging)은 3차원 영상구현에 있어서 효과적인 방법 중 하나로 여겨지며 다양한 장점으로 인하여 3차원 영상 구현 분야 뿐만 아니라 집적영상의 특성을 이용하여 물체인식, 깊이추출, 물체추적 등의 분야에도 응용되고 있다[1-17]. 예를 들면 집적영상에서 얻어지는 요소영상은 3차원 물체의 다양한 시점영상 배열로 구성되기 때문에 시점영상간의 디스패리티(disparity)를 이용하여 3차원 깊이 정보를 추출하는 연구가 있었다[7-9]. 또한 다양한 시점 영상을 특정 면으로 확대 축소를 수행함으로서 깊이에 따른 평면영상들을 얻을 수 있어서 3차원 물체 인식을 수행하는 연구가 있었다[10].
이처럼 집적영상을 기반으로 한 다양한 3차원 영상구현 이론들이 발표되어 왔지만 그 중 획득된 요소영상배열을 복잡한 광학계를 통하여 재생하는 어려움을 해결하기 위한 수단으로 기하광학의 원리를 이용한 컴퓨터영상처리기술이 연구된 바 있으며[5], 이 알고리즘은 다양한 연구 분야에서 응용되고 있다[7-13].
최근에 집적영상 기반으로 새로운 형태의 깊이인식이론이 발표되었다[18,19], 이 이론에 따르면 집적영상의 획득 시스템을 통해 획득된 2차원 요소영상배열은 3차원 물체의 공간 정보를 저장하고 있으며, 저장된 공간정보의 특성은 물체의 깊이에 따라 고유한 주기를 갖는다는 것이다. 이 이론에서 3차원 공간의 깊이 정보가 렌즈배열을 통해 2차원 공간주기 정보로 변환되는 과정을 파동광학으로 해석하였으며, 획득된 요소영상 배열로부터 원하는 깊이의 정보를 획득하기 위하여 주기함수들 사이의 컨벌루션 특성 (Convolution Property between Periodic Functions; CPPF)을 분석 하였다. 요소영상배열은 깊이에 대응하는 주기함수들의 집합이므로 이 집합에서 특정 주기함수를 추출하기 위하여 단위세기응답(Intensity Impulse response)을 갖는
그러나 집적영상 획득 시스템의 물리적인 한계로 인하여 3차원 공간위에서 물체가 위치할 수 있는 범위에 제한이 있으며, 이로 인해 깊이 해상도가 저하되는 단점이 발생한다.
본 논문에서는 종래의 집적영상기반 CPPF가 갖는 물리적 한계를 개선하기 위한 방법으로 두 매의 렌즈배열을 병렬로 배열하는 획득 시스템을 제안한다. 제안하는 시스템을 사용할 경우 요소영상배열은 종래의 CPPF와 동일한 해상도를 갖으면서도 깊이 해상력이 증가 될 수 있으며, 물체가 위치할 수 있는 범위 또한 증가시킬 수 있다. 또한, 제안하는 방법의 유용성을 보이기 위하여 종래의 방법과 제안하는 방법에 대한 비교실험을 수행하였다.
집적영상 (Integral Imaging) 에서 물체의 3차원 정보는 요소렌즈(elemental lens)가 연속적으로 배열된 렌즈배열(lens array)을 통하여 결상되며 카메라나 CCD(charge coupled device)등의 장비를 이용하여 2차원 형태로 저장된다. 저장된 2차원 영상을 요소영상배열(elemental image array)이라 하고 각 요소렌즈에 대응되는 영상을 요소영상(elemental image)이라 하며 획득 과정은 그림 2와 같이 표현 할 수 있다. 그림 1은 공간상의 점 물체, 렌즈배열, 요소영상의 기하 광학적 관계를 2차원 좌표계로 나타낸 것이다.
이때 변수들의 대응관계는 다음과 같이 표현된다.
그림 1과 식 (1)에서 좌표의 원점은 렌즈배열의 제일 아래에 위치한 요소렌즈의 가장자리이다.
식 (2)에서
전통적인 2차원 결상에서 영상의 강도(image intensity)는
그러므로 집적 영상에서 렌즈배열에 의해 획득, 저장된 요소영상배열에 대한 1차원 표현 은 다음과 같다.
물체들이
요소영상배열
수식 (6)에서
그러나 종래의 집적영상 획득 시스템은 광학계 변수들의 물리적 한계로 인하여 인식하고자 하는 물체의 위치를 제한하며 그림 2는 그 관계를 보여준다.
그림 1의 기하학적 관계로부터 집적영상 획득시스템으로부터 3차원 물체 정보가 획득 가능한 영역 조건을 유도할 수 있으며 다음과 같이 수식 (7)로 표현 할 수 있다.
식 (7)로부터 확인 할 수 있듯이, 3차원 정보 획득 가능영역은 렌즈배열을 구성하는 요소렌즈의 총 개수(
따라서 본 논문에서는 렌즈배열 두 매가 병렬로 배열된 형태의 집적영상 획득 시스템을 제안한다. 식 (7)을 살펴보면 3차원 정보 획득 가능영역은 요소렌즈의 물리적 특성 중 초점거리에 반비례함을 확인할 수 있으며, 그 결과로 3차원 정보 획득 가능영역은 렌즈배열쪽으로 증가되고 깊이 해상도가 더 높은 영역을 활용 할 수 있게 된다. 이러한 관점에서 병렬 렌즈배열 시스템은 3차원 정보 획득 가능영역의 증가와 깊이 해상도를 증가시키는 가장 효율적인 방법이다. 그림 3은 병렬 렌즈배열시스템의 기하학적 구조를 보여주며, 다음과 같이 식 (8)로 표현할 수 있다.
식 (8)에서
2 ≤
종래의 시스템과 제안하는 병렬 렌즈배열 시스템의 깊이 해상도는 두 경우 동일하게 식 (10)으로 주어진다.
식 (10)에서
식 (10)으로부터 알 수 있듯이 집적영상 기반의 깊이정보 추출법인 CPPF 방법의 깊이해상도는 획득 장치의 해상도와 초점거리에 비례한다. 그림 4는 종래의 획득 시스템과 제안하는 병렬 렌즈배열 시스템에 대한 CPPF의 깊이 해상력을 계산한 그래프이다. 계산에서 종래의 CPPF의 경우 요소렌즈의 초점거리는
제안하는 병렬 렌즈배열 시스템을 이용한 CPPF 방법의 검증 및 실행가능성을 확인하기 위하여 종래의 시스템을 이용한 CPPF 결과와 비교실험을 수행하였다.
그림 5는 실험에 사용된 3차원 물체로써 알파벳 ‘H’, ‘N’, ‘U’가 사용되었으며, 그림 5(a)에서 확인 할 수 있듯이 물체를 정면에서 관찰 했을때 물체들이 서로 약간 겹쳐지도록 배열하였다. 또한 제안하는 방법과 종래의 방법에 사용된 획득 시스템으로 부터 물체의 위치는 두 경우 모두에 있어서 동일하게 위치 시켰으며, ‘H'’ ‘N’, ‘U’는 각각 획득 시스템으로부터 100 mm, 150 mm, 200mm 떨어진 곳에 놓여있다. 종래의 방법에서 요소영상 획득에 사용된 렌즈배열로 9x9 요소렌즈가 사용되었으며 각 요소렌즈의 초점거리는 30 mm, 직경은 10 mm 이다. 제안하는 병렬 렌즈배열 방법에 사용된 렌즈배열은 실험의 편의성을 위하여 종래의 방법에 사용된 렌즈배열 두 매를 병렬로 배열하여 사용하였다.
그림 6은 종래의 획득 시스템과 제안하는 병렬 렌즈배열 시스템을 통해 획득된 요소영상 배열을 보여준다. 그림 6의 요소영상 배열들을 이용하여 종래의 방법과 제안하는 방법에 대한 각각의 경우에 대하여 CPPF를 통한 깊이 대응 영상을 추출 실험을 하였으며 그 결과는 그림 7과 8에서 보여주고 있다.
먼저 종래의 방법을 통해 추출된 영상을 살펴보면, 그림 5에 표시된 물체 ‘H’로부터 예상가능 한 결과와 비교해 볼 때 그림 6 (a)를 공간 필터링한 결과 영상 그림 7은 많은 노이즈로 인하여 인식하기 어려운 결과물이 추출된 것을 확인 할 수 있다.
이러한 결과의 이유는 식 (7)에서 논의한바와 같이 종래의 획득시스템에 대한 최소물체 위치는 렌즈배열로부터 240 mm 이지만 물체 ‘H’는 높은 깊이 해상력 영역을 이용하기 위하여 100 mm에서 획득되었기 때문이다. 물체의 위치는 높은 해상력 영역에 놓여있으나 그림 2에서 논의한 바와 같이 시스템의 물리적 한계로 인하여 인식하고자하는 물체에 대한 3차원 정보를 충분히 획득할 수 없다.
제안하는 병렬 렌즈배열 시스템으로 획득된 요소영상 그림 6(b)를 이용해 공간필터링 된 결과영상을 살펴보면, 그림 8에서 확인할 수 있듯이 물체에 대한 인식이 가능한 수준으로 특정 깊이의 영상정보 획득이 가능함을 확인 할 수 있다.
그림 9는 종래의 방법과 제안하는 방법 각각에 대한 거리에 따른 공간 필터링 결과영상을 보여준다. 공간필터링 범위는 렌즈 배열로부터 100 mm에서 200 mm이며, 거리에 따라 연속적으로 추출되는 깊이 대응 영상 중 물체의 위치에 대응하는 깊이에 대응하는 영상만 모아놓은 것이다.
결론적으로 본 논문에서는 집적 영상 기술을 이용한 공간 필터링 방법인 CPPF의 성능을 향상시키기 위하여 새로운 형태의 획득시스템인 병렬 렌즈배열 획득 시스템을 제안하였으며 이론적 분석을 통하여 제안하는 방법에 대한 특성을 분석하였다. 또한 제안하는 방법의 유용성을 확인하기 위하여 종래의 방법과 비교 실험을 수행하였고 실험결과 종래의 방법에서 인식하고자 하는 물체의 위치에 제한이 발생하는 문제에 대하여 제안하는 방법을 통해 물체의 위치 범위를 향상시킬 수 있었으며 결과적으로 깊이 해상력을 향상시킬 수 있음을 확인하였다.
