In this paper, we propose three-dimensional (3D) visualization and recognition techniques of micro-objects under photon-starved conditions using photon counting integral imaging microscopy. To capture high resolution 2D images with different perspectives in the proposed method, we use Synthetic Aperture Integral Imaging (SAII). Poisson distribution which is mathematical model of photon counting imaging system is used to extract photons from the images. To estimate 3D images with 2D photon counting images, the statistical estimation is used. Therefore, 3D images can be obtained and visualized without any damage under photon-starved conditions. In addition, 3D object recognition can be implemented using nonlinear correlation filters. To prove the usefulness of our technique, we implemented the optical experiment.
최근 3차원 영상 기술에 대한 많은 연구가 보고되고 있다. 이러한 3차원 영상 기술들 중에서 집적 영상(Integral Imaging) [1]은 3차원 영상 획득 및 디스플레이 기술 중 하나인데, 이 방법은 무안경식이고 3차원 물체의 완전 시차와 연속적인 시점을 제공한다. 또한, 레이저를 사용하지 않기 때문에 야외의 3차원 장면을 획득하는 것이 가능하다. 이와 같은 집적 영상의 장점을 활용하여 3차원 TV, 3차원 패턴 인식, 3차원 시각효과에 대한 연구가 활발히 진행되고 있다[2-7]. 하지만, 이기술은 저해상도의 3차원 영상 해상도를 가지고 좁은 시야각을 가지고 얕은 깊이감을 가진다. 이러한 단점들을 해결하기 위한 연구도 활발히 진행되고 있다[3-6].
집적 영상 기술은 크게 픽업과정과 복원 과정으로 나눌 수 있다. 픽업과정에서 3차원 물체의 다양한 각도에서 관측한 영상들을 기록한다. 이 영상을 요소 영상이라 부른다. 이 요소 영상은 렌즈 배열이나 카메라 배열 등을 이용하여 획득한다[2]. 픽업과정과는 다르게 집적영상의 복원 과정은 광학적 방법이나 컴퓨터적 방법이 가능하다. 광학적 방법에서는 렌즈 배열을 통하여 실제 3차원 영상을 공간에 재생할 수 있으며 디스플레이 장치에 응용된다[3,6,7]. 컴퓨터적 집적 영상 복원 방법은 렌즈 배열을 컴퓨터적 모델화를 통하여 3차원 공간 영상을 컴퓨터내에 복원한다. 이러한 3차원 복원 정보를 활용하여 3차원 시각화, 인식, 추적 등에 활용이 가능하다 [2,4,5].
한편, 현미경은 작은 물체나 미세한 정보를 획득하기 위한 광학적 영상 획득 장치이다[8]. 영상을 획득하기 위해서는 높은 출력의 광원이 필요한데 이는 생물학적 구조를 가지는 작은 세포들을 손상시킬 수 있다. 이러한 이유 때문에 저출력 광원의 사용이 필요하다. 하지만, 저출력의 광원을 사용하게 되면, 물체의 손상을 막을 수는 있지만 정확한 영상을 획득하기는 힘들다. 이러한 저출력 광원의 환경 즉 광자가 희박한 조건에서 영상을 획득하기 위해서는 광자 계수 영상 기법 (Photon counting imaging)이 활발히 연구되어 지고 있다[9-12]. 광자 계수 영상 기법은 광자가 희박한 조건에서 소량의 광자를 추출하는 기법인데 이는 수학적 통계 모델로 구현이 가능하다[13]. 따라서, 본 논문에서는 저출력 광원을 사용하는 환경에서 3차원 마이크로 물체의 영상을 획득하기 위해 광자 계수 집적 영상 현미경 기술을 제안하고 마이크로 물체에 대한 시각화 실험을 수행한다. 또한 복원된 영상을 이용하여 마이크로 물체 인식 실험을 수행한다.
광자 계수 영상 기법은 광자가 희박한 조건에서 영상을 획득할 경우에 사용될 수 있다. 물리적인 광자 계수 검출기는 빛의 세기를 증폭하여 광자 수로 표현하는 장치인데 비용적인 측면에서 활용에 어려움이 있다. 따라서 그림 1과 같이 광자 계수 검출기를 수학적 통계 모델로 구현하는 방법이 제안되었다[13]. 광자 계수 영상 기법은 포아송 분포를 따르는데, 이는 광자가 드물게 발생하기 때문이다. 본 논문에서는 계산의 편의를 위해 1차원 정보만을 다룬다. 광자 계수를 생성하는 식은 다음과 같다[9].
여기서
여기서
하지만 이렇게 생성된 광자 계수 영상은 2차원 영상이고 광자 수가 희박하기 때문에 물체를 인식하는데 어려움이 있다. 따라서 본 논문에서는 광자 계수 영상기법에 현미경과 집적 영상을 융합한 광자 계수 집적 영상 현미경을 제안한다. 또한, 고해상도의 서로 다른 원근감을 갖는 2차원 영상 (요소 영상)을 획득하기 위해 그림 2와 같이 합성 조리개 집적 영상 기술을 사용한다.
집적 영상 기술을 사용하게 되면 다수의 요소 영상을 얻을 수 있는데 이 영상들은 물체의 다른 시점에서 획득한 것들이기 때문에 서로 다른 정보를 가지게 된다. 이러한 영상들과 통계적 추정방법인 최대우도추정(Maximum Likelihood Estimation: MLE)를 사용하게 되면 3차원 영상을 추정할 수 있다[9]. MLE를 수행하기 위해서는 우도(likelihood) 함수를 생성하여야 한다. 본 논문에서는 각 요소 영상을 식 (1)과 (2)를 사용하여 광자 계수 영상으로 변환하기 때문에 각 요소 영상은 포아송 분포를 따르게 되고 서로 통계적으로 독립이라고 가정한다. 따라서, 다수의 요소 영상으로부터 likelihood 함수를 생성하면 다음과 같다[10].
식 (3)을 통하여 MLE를 적용하는 것은 계산이 복잡하기 때문에 다음 식과 같이 log likelihood 함수를 사용하게 된다[10].
식 (4)를
식 (3)에서 식 (6)을 통하여 추정된 영상은 광자 계수 영상을 광자 수로 나눈 영상임을 알 수 있다.
이와 같이 추정된 영상들이 집적 영상에서는
여기서 △
식 (7)을 사용하여 3차원 영상을 획득할 수 있는데, 광자의 수가 매우 희박한 경우에는 시각화가 어렵기 때문에 물체를 인식하기가 쉽지 않다. 따라서, 비선형 상관 필터를 사용하여 물체를 인식하는 것이 보다 효율적이다. 본 논문에서는 비선형 상관 필터로
여기서 IFT는 푸리에 역변환이고
여기서
본 논문에서는 광자 계수 집적 영상 현미경 기술을 검증하기 위해 광학적 실험을 수행하였다. 현미경은 20배율을 가지는 일반 현미경 렌즈를 사용하였고 50mm 초점 거리를 가지는 카메라를 사용하였다. 카메라 배열은 4(H)×3(V)를 사용하였고 카메라간의 간격은
그림 3과 같은 요소 영상 12개를 SAII 기술을 이용하여 카메라를 이동하면서 획득하였다. 이들 기록된 12개의 영상에 대해서 식 (3)에서 식 (7)을 사용하여 3차원 시각화하면 그림 4와 같은 실험 결과를 얻을 수 있다. 그림 4(a)는 일반적인 고출력 광원을 사용할 때 224 mm 깊이에서 복원된 3차원 영상이다. 이와는 달리 그림 4(b)는 본 논문의 광자 계수 집적 영상 현미경을 사용하였을 때의 복원 영상이다. 224 mm 깊이에서 재생되었으며 광자수는 20,000개이다. 실험 결과로부터 저전력 광원에서 3차원 영상이 잘 복원됨을 실험적으로 확인하였다.
다음 실험으로 본 논문에서 제안하는 기술이 깊이 방향으로 3차원 물체를 인식할 수 있음을 위한 인식 실험을 수행하였다. 이를 위해서 다양한 저전력 광원에 대해서 3차원 영상을 복원하였다. 실험에서는 광자수를 20,000개, 30,000개, 40,000개 그리고 100,000개의 네 종류를 반복 실험하였다. 복원된 영상들에 대해서 식 (8)과 (9)를 사용하여 PSR을 구하였다. 계산된 PSR의 결과를 그림 5에 나타내었다. 이 실험에서 사용한 최적의
본 논문에서는 광자 수가 희박한 환경에서 3차원 광자 계수 집적 영상 현미경을 사용하여 3차원 마이크로 물체의 영상을 획득하고 시각화하는 방법에 대해 제안하였다. 또한, 보다 정확한 인식을 위하여 비선형 상관필터를 사용하였다. 제안되는 기술은 야간이나 광원에 취약한 물체의 영상을 획득하는데 응용될 수 있을 것이다. 하지만, 광자의 수가 매우 희박한 경우에는 3차원 시각화를 하는데 어려움이 있었다. 향후에는 보다 정밀한 고급 통계 추론방법인 베이지안 추론(Bayesian estimation)을 적용한 연구를 진행할 것이다.
