The existing ship repair tool management system based on hand writing has many problems such as frequent loss of tool and overdue. To solve this problem, same systems have adopted the bar-code system. However, the systems can’t cope with a problem to substitute spurious tool for genuine one on bar-code damage. Therefore, additional validation steps are necessary in order to manage expensive ship repair tool.
In this paper, we propose an image comparison method for ship repair tool management. To be more concrete, we propose a normalization method and determination conditions for image comparison to use characteristics of mobile device. The normalization method makes use of the characteristics of mobile device that provides functions of real time recording, overlapping and cropping images. The proposed method applies three conditions(sum of inner angles, size of angle, position of corner coordinates) into the comparison module. The implemented system shows good performance on change direction, lighting, size and etc. The accuracy is more than 95%.
최근 선박수리가 주목받음에 따라 하청업체 및 주요 선박수리 관련 정보들을 처리하기 위한 통합 관리 시스템이 제시되고 있다. 특히 선박수리 장비 관리를 위해 값비싼 RFID 보다 저렴하면서도 훼손에 강한 바코드를 이용한 시스템이 제시되었다[1, 4]. 그러나 바코드를 이용할 경우 수리 장비에 대한 단순정보만이 입력 가능한 단점을 가지며, 빈번한 수리 장비의 대여 및 반납이 발생하는 수리장비 업체의 경우 장비의 파손 및 바꿔치기 등의 문제가 발생 할 수 있으며, 부착된 바코드 또한 손쉽게 복제 할 수 있다. 이에 따라 대여 업체의 경우 고가 장비의 재구매 및 수리에 따른 많은 비용이 발생하게 된다. 따라서 바코드 이외의 부가적인 방법으로 장비를 비교할 수 있는 방법이 필요하다.
이를 위해 논문에서는 이미지 비교기법을 제안하고자 한다. 특히 제안한 방법은 모바일 디바이스의 특징을 이용하는 정규화 방법을 고안하며, 선박수리 장비의 특징을 고려한 이미지 비교 판단조건을 제안한다.
모바일 디바이스는 장소와 시간에 구애 받지 않으며 디바이스를 통하여 실시간으로 이미지를 획득할 수 있고 오버랩과 Crop 기능을 활용하여 자체적으로 이미지를 획득 및 정규화 할 수 있는 특징을 가지고 있다.
그러나 이미지 비교를 위하여 사용된 고해상도 이미지를 서버로 전송하는 과정에서 기존의 XML 방식은 처리속도와 데이터양의 제한으로 적합하지 않았고 서버와 모바일 디바이스의 OS 차이로 인한 이미지 훼손 문제가 발생 하였다.
이를 해결하기 위하여 이미지 데이터를 Base64 코드화 시킨 후 모바일 디바이스와 데이터베이스를 직접 연결하는 기법을 이용하여 처리속도를 향상 시켰다.
한편, 선박 수리장비는 모양은 같으나 크기나 색상이 다른 특징을 가지고 있다. 따라서 유사 이미지들을 판별하기 위하여 대상이미지에서 추출된 사각형의 내각의 합, 각 내각의 크기, 모서리의 좌표점을 기준으로 이미지를 비교할 수 있는 판단 조건을 고안하였다.
구현결과 정규화 방법을 이용하여 유사한 선박 수리장비를 분별할 수 있었고, 다양한 각도에서 촬영 시 발생할 수 있는 이미지 차이를 최소화 할 수 있었다.
또한 이미지 판단조건을 적용함으로써 동일한 크기와 각도에서 촬영 된 이미지 일지라도 발생 할 수 있는 조도 변화와 색상 차이 등에 대처할 수 있었다.
이 논문의 구성은 다음과 같다. 2장에서 특징 추출 알고리즘에 대한 관련 연구와 문제점들을 살펴보고, 서버와 모바일 디바이스 간에 데이터 전송에 대해 살펴본다. 3장에서 SURF 알고리즘을 이용하여 최적의 특징점을 추출하기 위한 이미지 정규화 방법과 추출된 특징을 이용한 이미지 비교를 위한 판단 조건에 대하여 설명한다. 추가로 각 이미지들의 전송 방법에 대해서 설명한다. 4장에서는 제안하는 기법의 구현결과를 살펴보고 끝으로 5장에서는 결론을 맺는다.
관련연구 [2], [3]에서는 이미지 정규화 기법을 제시하고 있다. [2]에서는 에지 기반 세그먼트 영상을 생성하면서 번호판영역을 검출하고 이를 토대로 가우시안 스무딩과 메디안 필터링을 수행하여 가능한 많은 잡음을 제거하여 정규화 하였다.
[3]에서는 차량의 거리에 따라 변하는 번호판의 크기로 인한 한계를 극복하고자 에지기반 영역확장 기법을 사용한 번호판 검출기법을 제안하고 있다.
입력 영상에서 획득한 에지영상을 기반으로 기하학적 특성을 갖는 에지 영역들을 검출하여 검색영역을 설정한다. 이후 검색영역의 에지들을 기반으로 번호판의 기하학적 특성을 만족하는 영역들을 번호판 후보로 정한다. 이를 이용하여 크기에 상관없이 번호판을 검출할 수 있는 기법을 제안하였다.
본 논문에서 제안하는 이미지 비교 방식 또한 스마트폰의 특징을 이용하여 선정규화 후 이미지를 비교하는 방식을 사용하여 매칭률을 향상 시킬 수 있도록 한다.
선박 수리뿐만 아니라 바코드를 이용한 물류 관리시스템은 이전부터 유용하게 쓰여 왔다. 일반적인 유통용 바코드는 훼손으로 인한 큰 문제를 야기 시키지 않으나, 다수의 반출 반입 과정이 되풀이 되는 관리용 바코드의 경우 훼손에 따른 큰 손·망실이 우려된다. 특히 선박 수리 장비의 경우 제작 후 유통뿐만이 아니라 지속적인 반입 및 반출로 장비 훼손에 따른 재 구매 또는 장비 수리에 많은 비용이 소모된다. 따라서 이를 방지하고자 바코드 외에 별도의 이미지 처리를 바탕으로 하는 시스템을 제안하고 있다[4].
이미지를 처리하기 위한 우선 단계로서 경사도를 기반으로 특징점을 검출한 후 특징점 주변정보를 지니는 특징기술자를 추출하여 원 이미지의 특징기술자와 매칭시켜 객체를 식별하여야 한다. 이 같은 방법을 이용한 특징 추출 알고리즘으로는 SIFT, SURF 알고리즘이 존재하며, 이미지의 픽셀 값을 이용한 방법으로 Template Matching 방법이 존재한다[5-7].
SIFT 알고리즘[5] 은 DoG(Difference of Gaussian)를 이용한 특징점 추출 알고리즘으로 영상의 크기조절, 조명, 평행이동, 회전에 강점을 가지는 알고리즘이다. 그러나 계산 량이 많아 속도가 느린 단점을 가지고 있다.
SURF 알고리즘[6]은 LoG(Laplacian of Gaussian)를 이용한 특징점 추출 알고리즘으로서 기존 SIFT의 단점인 느린 속도를 보완하고자 나왔으며, SIFT와 마찬가지로 크기조절, 조명, 평행이동, 회전에 강점을 가진다.
Template Matching[7] 은 좌측 상단부터 한 픽셀씩 이동하여 비교하는 알고리즘으로, 원본 이미지 내에 존재하는 특정 영역을 찾기에는 용이하나, 크기 변경, 조명 및 회전에 취약하다.
[8]에서는 GPS의 오차 문제를 보완하기 위해 SURF 알고리즘을 이용한 영상 매칭을 이용하고 있으며, 영상 매칭 시 일어날 수 있는 다양한 요인들과 매칭 오류율을 감소시킬 수 있는 방법에 대하여 설명하고 있다. 그러나 정규화 방법에 대한 언급은 제시되어 있지 않았으며, 제안된 방법들은 오류율을 감소시키는 데에는 효과적이나, 매칭 성공률 상승에는 다소 미흡하였다.
본 장에서는 앞서 언급한 모바일 디바이스의 특징을 이용한 정규화 방법과 과정에 대해서 설명한다. 그리고 추출된 특징기술자를 기반으로 하여 유사이미지를 판단할 수 있는 세 가지 판단 조건을 제시한다.
모바일 디바이스는 고해상도의 이미지를 촬영 가능하고 또한 기존의 이미지를 배경으로 오버랩하여 기울기와 크기 차이를 최소화할 수 있다. 이러한 모바일 디바이스의 특징을 이용하여 오버랩기법과 촬영된 이미지의 배경조건을 제거하는 Crop 기법을 적용하여 이미지 비교 시 발생할 수 있는 오차율을 감소시킨다. 정규화 단계는 그림 1과 같다.
그림 1에서 서버의 이미지는 모바일 디바이스에서 촬영된 바코드를 통하여 해당되는 이미지를 모바일 디바이스로 전달하여 오버랩 된다. 이 후 1, 2차 정규화 과정을 거친 촬영 이미지를 PC로 전송되게 된다.
1차 정규화에서는 그림 2와 같이 모바일 디바이스의 오버랩 기법을 통하여 이미지 촬영 시 영향(크기, 좌우대칭, 기울기 등)을 최소화한다.
촬영된 이미지에서 특징점이 추출될 수 있는 범위는 그림 3 좌측 이미지의 사선 영역과 같다. 그러나 대상보다 주위 배경에서 많은 특징점이 추출되어 잘못된 정보를 획득하게 되어 정확도가 감소하게 된다. 이를 최소화 하고자 이 논문에서는 모바일 디바이스의 Crop 기법을 이용하여 대상외의 배경조건을 제거하는 2차 정규화를 수행하여 정확도를 높인다.
본 시스템에서는 이미지 비교를 위하여 원본 이미지를 모바일 디바이스에 오버랩한 후 이미지를 촬영하여 정규화된 이미지를 획득한 후 서버로 이미지를 전송하는 방식을 취하고 있다. 그러나 JAVA를 기반으로 하는 모바일 디바이스와 C#을 기반으로 하는 이미지 비교모듈의 자료형의 차이에 의하여 이미지 데이터가 훼손되고, 이를 해결하기 위하여 그림 4의 방법을 적용하였다.
세부과정은 다음과 같다.
1. C#으로 제작된 매칭 모듈을 이용하여 원본 이미지를 바이트 코드화 하고 Base64 형식의 코드로 Encoding하여 DB에 저장한다. 2. Base64 코드를 DB에서 검색하여 바이트 코드로 Decoding된 이미지를 모바일 디바이스에 오버랩한다. 안드로이드와 DB를 연동하기 위해서는 XML을 이용한 Parsing 방법과 JTDS를 이용한 직접 연결 방법이 있다. Parsing 방법의 데이터 크기 문제와 속도 문제로 본 시스템에서는 JTDS를 이용한 방법을 사용하였다. 3. 오버랩된 이미지에 맞추어 이미지를 촬영하고 이를 Base64 코드로 Encoding 하여 DB에 저장한다. 4. DB에 저장된 Base64 코드를 매칭 모듈에서 Decoding하여 원본 이미지와 촬영된 이미지를 비교하여 비교결과를 DB 에 업데이트 한다. 5. 모바일 디바이스에서 비교결과를 확인하고 DB에 저장된 데이터를 삭제 한다.
선박수리 장비를 효과적으로 관리하기 위해서는 여러 가지 변화(조명, 훼손 등) 에 대처할 수 있어야 한다. 따라서 대표적인 특징 추출 알고리즘인 SURF, SIFT, Template Matching을 비교하였다.
이미지 비교에 적합한 알고리즘을 선정하기 위하여 동일 조건(이미지 크기 : 640 * 480, 이미지 용량 : 50 ~ 100kb)의 20개 이미지를 이용하였다.
대상 이미지들을 각각 조도변화, 훼손 및 회전의 3가지 변화를 주어 처리속도와 정확도에 대한 검증을 거쳐 위의 결과를 얻었다. 정확도와 속도면에서 SURF 알고리즘이 본 시스템에 적합하다고 판단하였다.
SURF 알고리즘에서 이미지 비교를 위해 추출된 특징점만을 이용한 단순 비교만으로는 정확도의 한계가 있다.
따라서 이 논문에서는 특징점을 포함하는 경계 사각형(그림 6)의 형태를 이용하여 정확도 향상을 도모하고자 한다. 이를 위해 3가지 판단조건을 제안한다.
본 논문에서는 이미지를 판단하는 조건으로서 세 가지를 정의한다.
첫 번째 조건은 SURF 알고리즘의 연산결과 반환되는 경계 사각형의 4개의 좌표 점으로 구해지는 내각의 합이 360 ± 10° 가 되어야한다는 조건이다.
두 번째 조건은 위에서 구한 각각의 내각이 90 ± 10° 가 되어야한다는 조건이다.
세 번째 조건은 SURF 알고리즘 연살결과로 반환되는 4개의 좌표점이 해당 범위에 위치하여야 한다는 조건이다.
그림 7에서 보듯이 SURF 알고리즘 연산결과 반환되는 4개의 좌표점을 각각 원점이라고 하였을 때 해당 좌표가 주어진 범위(-25 < X < 25, -25 < Y < 25) 내에 존재할 때 유사이미지로 판단한다.
모바일 앱은 우선 바코드를 인식하고 텍스트화하여 DB에 해당 바코드를 지니는 원본 이미지가 존재하는지 검색하게 된다. 이미지가 존재한다면 오버랩하여 원본 이미지와 유사한 이미지를 획득할 수 있도록 하며, 촬영이후 Crop하며 정규화된 이미지를 그림 8과 같이 Base64 코드로 변경하여 DB에 전송한다.
데이터베이스와 직접연결을 위하여 모바일 디바이스 버전(Android SDK 4.0 ICS)에 맞추어 JTDS-1.2.8버전의 라이브러리를 사용하였다.
DB에 실시간 접근하여 모바일 디바이스에서 검색 및 촬영된 이미지가 있는지 탐색한다. 만약 바코드 값에 대응하는 이미지가 존재한다면 해당 이미지에 대응되는 바코드를 통하여 원본이미지를 자동 호출하며 두 이미지를 비교하여 결과를 DB에 업데이트 하여준다. 구현화면은 그림 9와 같다.
매칭률을 향상시키기 위해서는 원본 이미지와 가장 흡사한 이미지를 획득하여야 한다. 특히 수리 장비 관리 현장에서 이미지 촬영 시 그림 10의 B,C,D 와 같은 경우가 발생하기 쉬우며, 이를 방지하고 모바일 디바이스의 오버랩과 Crop 기법을 이용하여 A와 가장 유사한 크기와 각도에서 촬영된 이미지를 획득함으로써 이미지를 정규화하였고 그 결과 매칭률을 향상된다.
정규화 과정 없이 동일한 대상을 촬영하고 이미지를 비교하였을 시 매칭률은 5% 내외로 아주 저조하였다. 특히 기울기와 크기차이가 심할 경우 이미지 비교를 수행 할 수 없었다. 반면 오버랩과 Crop 기법을 이용하여 촬영 이미지를 정규화하고 이미지 비교를 실시한 결과 매칭률이 향상 되었다.
해당 매칭률은 이미지 판단 조건을 적용하기 전 대상 이미지에 생성되는 사각형의 형태 유무로 판단하였으며 매칭률은 표 1과 같다.
이미지 정규화 후 매칭률
이 절에서는 제안한 이미지 비교 판단조건을 적용하였을 시 매칭률을 알아보고자 한다. 실험에 사용된 이미지는 표 2와 같다.
테스트 데이터
첫 번째 제약조건인 사각형 내각의 합이 360 ± 10°일 경우에 대한 매칭률은 표 3과 같다.
첫 번째 조건 적용 시 매칭률
그림 11은 첫 번째 조건 적용 실패 사례로서 다른 이미지임에도 첫 번째 제약조건을 만족하여 유사한 이미지라고 판단하였으나, 두 번째 제약조건에 위배되어 유사 이미지라고 보기 어렵다.
두 번째 제약조건인 사각형 각각의 내각이 90 ± 10°일 경우에 대한 매칭률은 표 4와 같다.
두 번째 조건 적용 시 매칭률
그림 12는 두 번째 조건 적용 실패 사례로서 다른 이미지 임에도 두 번째 제약조건을 만족하여 유사한 이미지라고 판단하였다. 그러나 실험결과 첫 번째 조건을 만족하지 않아 유사 이미지라고 보기 어렵다.
세 번째 제약조건인 반환되는 각 모서리 4개의 좌표점이 해당 범위에 위치할 경우의 매칭률은 표 5와 같다.
세 번째 조건 적용 시 매칭률
그림 13은 세 번째 조건 적용 실패 사례로서 다른 이미지 임에도 세 번째 조건을 만족한다. 그러나 사각형의 형태가 온전하지 않아 유사한 이미지로 보기 어렵다.
첫 번째 조건과 두 번째 조건을 결합하여 테스트한 결과는 표 6과 같다.
[표 6.] 첫 번째, 두 번째 조건 동시 적용 시 매칭률
첫 번째, 두 번째 조건 동시 적용 시 매칭률
첫 번째, 두 번째 조건을 결합한 결과 온전한 사각형일 경우 유사 이미지라고 판단하였으며, 매칭률이 향상되었다. 그러나 동일 이미지를 비교하였을 시 대상이미지와 사각형의 위치가 일치하는 것을 기준으로 하였을 때 첫 번째, 두 번째 조건을 만족하더라도 유사 이미지라고 판단하기 어렵다. 따라서 사각형의 위치를 고려한 세 번째 조건과 결합 적용한 매칭률은 표 7과 같다.
세 가지 조건 모두 적용 시 매칭률
따라서 세 가지 제약조건을 모두 적용한 결과 최상의 매칭률을 보였으며 회전, 조도변화 및 외형 변화에도 높은 매칭률을 보였다.
본 논문에서는 선박수리 장비 관리를 위한 이미지 비교기법을 제안하였다. 기존의 수기 형식을 벗어나 간편하게 사용이 가능한 바코드 시스템이 있으나, 훼손에 대한 대응이 미흡한 단점을 가지고 있었다. 이를 보완하고자 이미지를 이용한 비교 시스템을 제안하였다.
제안된 기법은 모바일 디바이스의 휴대성과 오버랩 및 Crop 기법을 적용 할 수 있는 특징을 이용하여 이미지를 정규화 하여 촬영 시 발생할 수 있는 이미지 차이를 최소화 하였다. 또한 세 가지 이미지 판단 조건(대상 이미지에서 추출된 사각형의 내각의 합, 각 내각의 크기, 모서리의 좌표점)을 적용하여 이미지 매칭률을 95%까지 향상 시킬 수 있었다.
본 논문에서는 모바일 디바이스만을 이용하여 이미지를 획득하고 비교하였으나 향후 디지털 카메라, 웹캠 등 여러 장비를 이용한 이미지 비교 기법에 적용할 수 있을 것으로 사료된다.
