This paper presents a method to extract objects in radiographic images where all the allowable combinations of segmented regions are compared to a target object using Fourier descriptor. In the object extraction for usual images, a main problem is occlusion. In radiographic images, there is an advantage that the shape of an object is not occluded by other objects. It is because radiographic images represent the amount of radiation penetrated through objects. Considering the property of no occlusion in radiographic images, the shape based descriptors can be very effective to find objects. After all, the proposed object extraction method consists of three steps of segmenting regions, finding all the combinations of the segmented regions, and matching the combinations to the shape of the target object. In finding the combinations, we reduce a lot of computations to remove unnecessary combinations before matching. In matching, we employ Fourier descriptor so that the proposed method is rotation and shift invariant. Additionally, shape normalization is adopted to be scale invariant. By experiments, we verify that the proposed method works well in extracting objects.
2001년 9월 11일 미국 세계무역센터 건물에서 발생한 항공기 테러사건 이후 전 세계적으로 안보의 중요성이 강조되기 시작했다. 테러에 사용될 수 있는 살상 무기 등의 반입을 사전에 차단하기 위해 각 국 주요 공항에서는 전신 검색기가 설치되어 운영되기 시작하였으며 특히 미국은 2012년 7월부터 자국으로 입항하는 모든 선박에 대해 적재한 컨테이너의 내장 화물에 대한 이미지 검색을 의무화 하는 ‘911 사태 재발 방지 법안’을 발표하여 항만에서도 검색기 장비의 도입이 시작되는 등 검색기 장비가 도입되는 시설의 증가가 점차 늘고 있다(현재 2014년 7월로 연기).
기존의 검색기 영상에 대한 판독은 검사관의 시각에만 의존하고 있다. 이는 판독 과정에서의 검사관의 개인적 주관에 의한 판정 오류를 비롯한 장시간 반복적인 업무로 인한 집중력 저하 및 인지력 약화로 인한 오류가능성이 충분하여 이를 보완하기 위해 비전 기술을 통한 자동 탐지 기술의 적용이 요구되어 오고 있다. 하지만 검색기 영상은 광학 영상과 그 특성이 매우 달라 광학 영상을 대상으로 진행되어 온 기존의 물체인식 알고리즘을 검색기 영상에 그대로 적용하기엔 많은 문제가 발생할 수 있다. 따라서 검색기 영상의 특성을 반영한 알고리즘 개발이 필요하다.
본 논문은 사전에 등록 된 모델 정보를 통해 검색기 영상 내 의심물체로 추정되는 영역을 화면에 표시함으로서 검사관의 주의를 이끌어 보다 더 세밀한 관찰을 통해 판정 오류를 최소화 하는데 그 목적이 있다. 특히 본 논문에서 제안하는 알고리즘이 적용될 검색기 시스템은 그림1에 나타난 컨테이너 검색기의 경우처럼 고정된 거리에 놓인 대상 물체를 촬영하기 때문에 영상 내 물체 영역의 크기 정보를 예측 가능하므로 이 점을 이용하여 보다 더 빠른 검색이 가능하다.
검색기 영상은 물체 표면에 반사되는 빛에 의해 촬영되는 광학 영상과 달리 물체의 고유 성분 및 두께 등의 영향에 의해 투과되는 방사선의 차이에 의해 색상이 정해진다. 검색기는 장비에 따라 방출되는 방사선의 세기가 달라지므로 같은 성분으로 이뤄진 물체라 하여도 투과되는 방사선량이 달라질 수 있어 서로 다른 검색기에서 같은 물체를 촬영하였을 때 다른 색상으로 구성된 서로 다른 영상이 촬영될 수 있다. 또한 다른 물체로 인해 겹쳐진 영역(occlusion)은 겹치지 않은 영역에 비해 투과된 방사선량이 적어져 그림 2(b)와 같이 본래의 색보다 어둡게 촬영되며 주변의 겹치지 않은 영역과 그 색이 달라진다. 이처럼 검색기 영상에서의 색상 정보의 신뢰성은 광학 영상에 비하여 매우 낮다. 하지만 그림 2(b)에서처럼 주변의 물체로 인해 대상 물체의 일부가 가려진 경우에도 물체의 윤곽 정보는 확인이 가능하다. 따라서 적절한 기준을 통해 윤곽 정보를 추출한다면 윤곽선 기반의 모양 기술자를 통한 물체 인식이 가능하다[1]. 하지만 객체의 영역을 적절히 추출하지 못하는 경우 이러한 방법은 검색에 실패하게 되는 문제가 있어 그 한계가 있다.
이러한 문제를 해결하기 위해 국부 특징을 이용한 방법이 연구되었다. 검색기 영상에서의 색상 정보는 방사선 투과 정도를 통해 물체의 구성성분을 역추적 하여 본래의 색을 가상으로 표현한 결과이다[2]. 따라서 이러한 색상 정보에서의 국부 특징을 이용한 물체 인식 방법은 다양한 환경에서 촬영한 모델 영상의 학습을 통해 이루어진다[3]. 다수 샘플의 학습은 검색 성능의 안정성을 높일 수 있지만, 물체를 검색하기 위해서는 반드시 찾고자 하는 물체의 검색기에서 촬영된 영상 정보가 필요한 제약이 있게 된다.
본 논문에서는 다른 물체로 인해 가려진 경우에도 물체 영역의 윤곽 정보를 획득 가능한 검색기 영상의 특성을 활용하여 색상정보를 통해 영역을 분할한 후 분할 된 각각의 영역을 임의 조합하며 윤곽선 기반의 모양 기술자인 푸리에 기술자를 이용한 모델 정보와의 정합을 통해 영상 내 대상 물체의 전체 영역을 찾는 방법에 대해 제안한다. 제안된 방법은 일반 광학 영상으로 촬영된 모델 정보를 통해서도 검색이 가능하며, [1]의 문제점을 보완 가능하다.
본 논문에서 제안하는 방법은 크게 영역 분할, 분할 된 영역들의 조합, 조합된 영역들을 푸리에 기술자를 통해 모델과 정합하는 세 과정으로 진행된다. 이 과정에 있어 모델의 크기 정보를 반영한 지역 윈도우를 적용해 분할된 영역을 조합하는 과정에서의 연산을 최소화한다(그림3).
분수령 알고리즘은 지형학에서 유래된 알고리즘으로서 대표적인 영역 분할 알고리즘이다[5]. 떨어지는 물은 저지대로부터 채워져 나가며, 서로 다른 저지대는 그 둘을 구분 짓는 경계(watershed line)의 높이만큼 수위가 높아졌을 때야 비로써 서로 하나로 이어지는 원리를 이용하여 영상 내 영역을 분할한다. 일반적으로 영역의 경계 부근은 밝기 값의 변화가 매우 크다. 따라서 분수령 알고리즘을 영상의 영역분할에 적용하기 위해서는 밝기 변화가 큰 화소를 분수령으로 판단하고 담수지역을 확장한다. 영상의 밝기 변화(gradient)를 고도로 간주하고 담수지역을 확장해 가면서 확장영역이 만나는 지점을 분할 지점으로 한다[4].
모폴로지 필터링은 분수령 알고리즘을 적용하기 전사전처리로 널리 사용된다[6]. 그림 4는 입력영상에 대한 영역분할 사례를 보여준다.
그림 4(c)의 경사영상(gradient image)은 식(1)에 정의된 모폴로지 기울기(morphological gradient)로부터 얻어진다.
여기서
검색기 영상의 특성상 폐색(occlusion) 현상이 발생하지 않기 때문에 앞서 기술한 분수령 알고리즘을 이용해 영역을 분할하면 찾고자 하는 물체는 내부 구성물이나 주변에 겹쳐 촬영된 다른 물체로 인해 하나 이상의 영역들의 합으로 나타나게 된다. 본 논문에서는 분할된 영역들의 가능한 모든 조합에 대한 푸리에 기술자 계산을 하여 모델 정보와 정합을 수행하게 된다. 이때 정합하여야 할 영역 조합의 개수가 매우 많고 이에 대한 푸리에 변환이 반복적으로 수행되므로 매우 많은 시간이 소요되기 때문에 계산해야 할 후보를 줄이는 과정이 필요하며, 이는 본 논문의 제안점 하나이다.
영역분할이 수행되고 나면, 일반적으로 하나의 물체는 하나 이상의 영역들이 서로 이어진 형태로 나타나게 된다. 따라서 조합 결과가 그림 5(a)와 같이 서로 떨어져 있는 형태로 조합이 되는 경우 하나의 물체로 추정하기 어렵다. 또한 본 논문에서 사용하는 모양기술자인 푸리에 기술자는 윤곽선 기반의 모양 기술자로서 그림 5(b)와 같이 내부에 홀(hole)이 존재하는 경우 홀이 채워진 경우와 윤곽 정보에는 차이가 없기 때문에 중복 연산에 해당된다. 따라서 이와 같은 경우에 해당하는 조합인 경우에는 이후 과정으로 진행하지 않도록 사전에 제거함으로서 불필요한 연산을 최소화 할 수 있다.
본 알고리즘이 적용될 검색기는 고정된 촬영 장비에서 고정된 거리의 물체를 촬영하는 시스템이다. 따라서 모델 정보를 기준으로 촬영될 물체의 크기를 영상 내에서 예상 가능하기 때문에 일정 크기 이상 또는 이하의 조합 영역을 제외하는 것이 가능하다. 그림 6과 같이 모델의 크기 정보를 반영한 지역 윈도우를 영상에 적용하여 쉬프트 하는 과정에서 윈도우 내에 완전히 포함되는 영역들만을 조합 후보에 두게 된다면 조합에 사용되는 영역 중, 단일 영역 또는 조합 과정에서 발생하는 조합 영역이 모델의 크기보다 지나치게 큰 경우를 사전에 차단할 수 있게 되어 불필요한 연산을 최소화 할 수 있다.
표 1은 그림 6(a)에 지역 윈도우를 적용하는 과정에 서 윈도우의 크기에 따른 연산에 걸리는 시간을 나타낸다. 그림 6(a)는 400×400크기의 영상으로서 400크기의 윈도우를 적용한 경우 윈도우를 적용하지 않은 경우를 의미한다. 그림 6(a)에서 하트 모양을 찾는 경우 윈도우 크기는 300으로 충분한 상황이다. 이때 윈도우 크기를 350으로 설정한다면 수행시간은 78초로 300인 경우에 비해 2배 이상 소요되게 된다.
[표 1.] 윈도우 크기별 조합된 영역 수와 계산에 걸린 시간
윈도우 크기별 조합된 영역 수와 계산에 걸린 시간
푸리에 기술자(Fourier Descriptor)는 윤곽선 정보를 푸리에 주파수에 의하여 모양을 표현하는 방식으로서 노이즈에 강인한 특성이 있으며 모양의 평행이동과 회전에 불변인 특성으로 인해 많은 분야에서 사용되는 방식이다. 영역의 윤곽(contour)을 따라 탐색하는 경우 이때의 정보는 영역 전체를 모두 탐색 완료 시점을 기준으로 주기적인 결과를 갖으며 이러한 주기적인 시퀀스는 Fourier Series를 통해 근사할 수 있음에 착안되었다[7].
영역의 윤곽
이러한 복소수 신호는 식(3)의 1차원 푸리에 변환을 통해 계수를 구할 수 있다. 식(3)는 푸리에 변환식이며 식(4)는 그 역변환 식이다.
식(3)에서의
물체의 정보가
물체가
크기에 따라 계수 전체의 크기가 커짐을 확인할 수 있다. 이러한 성질로 인해 푸리에 기술자를 이용한 모양 정합에 있어서는 크기에 따른 정규화 과정이 필요하다. 기존 연구에서 가장 많이 사용되는 정규화 기법은 윤곽 형태의 가장 일반적인 성분을 나타내는
본 논문에서는 개발한 시스템의 성능 평가를 위해 검색기 영상의 특성을 반영한 가상 영상과 공항 검색대에서 촬영된 실제 검색기 영상을 사용하였다. 특히 검색기 시설이 준비되지 않아 실제 촬영에 제한이 있기 때문에 가상 영상을 다양한 조건을 추가하여 실험을 하였다.
앞서 설명했듯이 검색기 영상은 물체의 윤각선이 모두 표현되기 때문에 다양한 모양의 선들로 이루어진 영상으로 재현하였다(그림7).
인공 영상으로의 실험은 그림 7와 같이 사전에 영역이 분할되어 있는 상태에서의 영역의 조합을 통해 원하는 모양에 대한 검색 여부를 확인하였다. 그림 7는 총 15개 영역을 가지고 있으며 전체의 2/3크기의 지역 윈도우를 적용하였으며 이 과정에서 윈도우 크기를 초과하는 3개의 영역(배경 포함)이 조합에서 제외되었다. 그 결과 총 조합의 경우의 수는 80개로 윈도우를 적용하지 않았을 때의 경우의 수인 215−1보다 매우 적은 후보에 대한 계산을 수행할 수 있다.
그림 8은 검색에 사용된 모델 영상(타겟 윤곽선)이다. 그림 7에서 검색될 수 있는 조합 영역 중 일부를 선택하여 회전과 크기 변화를 준 결과이다. 각 모델에 따른 검색 결과는 그림 9, 그림 10과 같다.
실험 결과 검색하고자 하는 모형을 정확히 찾을 수 있음을 확인하였다. 다만 실험에 사용된 가상 영상에서 발생되는 조합 영역들 중 다수의 영역들이 서로 비슷한 모양을 취하고 있어 1순위 조합영역과 2순위 조합영역의 정합 오차가 크지 않은 경우가 발생하였다. 이러한 현상은 물체 검색에 있어 검색 여부에 대한 기준 설정에 문제를 발생시킬 수 있다.
그러나 매우 유사한 모양이 검출되고 거의 동일 영역에 해당하므로 이 영역에 대한 알람을 검색기 검사원에게 띄워줌으로써, 주의를 요하는 물체에 대한 최종 판단은 검사원이 수행함으로써 본 연구 결과는 충분히 그 의미가 있다고 판단된다.
그림 11은 본 논문에서 사용된 검색기 영상과 검색하고자 하는 모델의 영상이다. 사용된 검색기 영상은 그림 11(a)에서 볼 수 있듯이 가방 안에 권총과 함께 다른 물건들이 함께 촬영되었다. 모델영상인 (b)는 일반 광학영상으로서 (a)에 촬영된 권총과 다른 모델의 사진이다.
그림 12은 검색기 영상 (a)에 분수령 알고리즘을 적용하는 과정을 나타낸다. 모폴로지 기울기를 계산하기위해 Erosion과 Dilation 과정을 수행하여 이 두 결과의 차이를 통해 (c)와 같은 기울기 영상을 계산 가능하다. 이렇게 계산된 기울기 영상에서 문턱치 이상의 기울기지점을 마커(분수령)로 지정하고 극부 최소 지점들로부터 점차 영역을 확장해가며 지정된 마커를 기준으로 영역을 분할해 간다. 이후 3장에서 제안한 방법을 통해 지정된 마커 지점의 본래 색상 정보를 통해 마커 영역이 속할 영역을 정하여 최종적으로 영역을 분할할 수 있으며 총 23개의 영역이 추출되었다.
영역을 분할한 후 영상 내 지역 윈도우를 통해 모델의 크기정보에 비해 지나치게 큰 조합의 경우와 불필요한 연산을 제거한다. 실험에 사용된 검색기 영상의 크기는 450×450이며 영상 내 권총은 300×300크기의 윈도우에 포함될 수 있다. 그림 13은 적용된 지역 윈도우의 크기에 따른 검색 수행 시간을 나타낸다. 최적의 윈도우 크기인 300일 때 수행시간은 5초 이하로 실시간 검색기 가능한 정도이나 윈도우 크기가 400이상으로 증가할 시 수분의 시간이 소요되기 시작한다. 특히 윈도우를 적용하지 않는다면 1300초 이상의 시간이 소요되어 실시간 검색이 불가능 하다.
지역 윈도우를 적용하여 유효한 조합 영역 후보군을 계산한 후 푸리에 기술자를 통해 모델과 정합을 수행한다. 300크기의 지역 윈도우를 적용한 결과 총 55개의 후보군이 선별 되었으며 이에 대한 검색 결과는 그림 14와 같다. 검색 결과는 그림 14(b)와 같이 정확한 검색이 되었으며 2순위 검색 결과 또한 1순위 영역과 매우 유사하다. 특히 3순위 영역과의 오차가 크게 나는 결과를 보여 인공 영상에서 발견되었던 문제점이 실제 검색기 영상에서의 적용에서는 나타나지 않음을 확인할 수 있다. 이는 앞서 실험인 인공 영상과 달리 단순한 직선이 아닌 다양한 형태의 선으로 영역들이 이루어져 있기 때문이라 판단된다. 찾아진 검색 결과는 그림 15와 같이 출력하여 사용자가 보다 저 주의 깊게 감시할 수 있는 여건을 마련한다.
본 논문에서는 색상 정보를 기반으로 영역을 분할한 후 분할된 영역들을 임의 조합하여 물체의 전체 영역을 찾는 방법에 대해 제안하였다. 영역 분할은 분수령 알고리즘을 통해 수행되었으며 분할된 영역을 조합하는 과정에서의 과도한 연산을 제어하기 위해 물체의 크기 정보를 반영한 지역 윈도우를 적용하여 효과적인 속도 향상을 보였다. 조합된 영역들은 윤곽선 기반의 모양 기술자인 푸리에 기술자를 이용하여 모델과 유사한 영역을 검색한다. 이론을 검증하기 위해 인공 영상과 실제 검색기 영상에서 실험이 수행되었으며 올바른 검색 결과를 얻을 수 있었다.
제안된 방법은 기존의 윤곽선 기반의 모양기술자를 적용하기 위해 물체의 영역을 추출 하는 과정에서의 적절한 기준을 제시하지 못하였을 때 발생할 수 있는 문제점들을 해결할 수 있으며 다양한 환경의 검색기에 모두에 동일한 알고리즘을 적용 가능한 장점이 있다.
