해가 거듭될수록 항공, 해양을 통해 운반되는 화물들의 양이 증가하고 있다. 2010년 1월 ~ 8월의 부산항 컨테이너 처리실적은 9,421,132TEU로 전년 동기대비 약 23.0% 증가를 기록했다. 자세히는 수입화물 처리실적은 2,569,713TEU로 전년 동기대비 23.5%, 수출화물 처리실적은 2,581,087TEU로 전년 동기대비 21.9%, 환적화물 처리실적은 4,221,915TEU로 전년 동기대비 22.6%, 연안화물 처리실적은 48,416TEU로 전년 동기대비 150.1% 증가했다. 또한 중국 상하이항의 컨테이너 물동량은 매년 264.1만TEU에 달하며 매년 20.7%씩 증가하고 있다. 국제항만운송협회가 밝힌 자료에 따르면 로테르담 항만에서 처리된 물동량은 매년 15%이상씩 증가하고 있다고 한다[1]. 이처럼 매년 각 항만에서 처리하는 컨테이너의 수는 급격하게 증가 하고 있다. 더욱이 해양화물은 비용이 항공화물보다 저렴해 지금도 많은 화물들이 해양으로 운송되고 있고 앞으로 더욱 많이 증가할 예정이다. 때문에 컨테이너를 처리하는 각 항만들은 증가하는 물류 량에 맞춰 신속하고 정확한 처리가 요구되고 있다.

컨테이너의 측면, 후면, 상부에는 컨테이너의 정보를 담고 있는 BIC-code가 마킹되어 있다. BIC-code란 컨테이너를 이용한 해상운송의 기술적 관리를 위해 컨테이너의 강도, 고유 식별번호, 오너 코드 등 컨테이너의 정보를 담고 있는 코드(code)를 말한다. BIC-code는 1972년 국제표준화 기구 ISO(International Organization for Standardization)에서 국제 컨테이너 운송을 위해 BIC-code의 배정 및 오너 코드 등록 관리를 BIC에 위임하였고, 그 후 BIC에서는 해양 운송에 대한 관리를 담당하고 있다[2].

현재 일부 항만에서 컨테이너 BIC-code 인식에 사용하는 방법은 바-코드(bar-code) 시스템, RFID 방식, 영상처리를 사용하고 있다. 바-코드 시스템은 컨테이너에 바-코드 장비를 부착하여 사용하는 것으로 훼손이나 손실 시에는 컨테이너 BIC-code 인식을 자동으로 인식할 수 없다. 또한 컨테이너 code가 변경될 때마다 바-코드도 같이 변경해야하는 문제를 가지고 있다. 이런 문제들 때문에 요즘은 바-코드, RFID 시스템이 아닌 영상처리를 이용한 방법을 적용하려는 추세에 있다[3].

컨테이너 BIC-code인식에 대한 기존 연구 방법은 밝기 변화를 이용한 방법과, 엣지 기반의 방법이 있다 [4,5]. 밝기 변화를 이용한 방법은 영상의 밝기를 이용하여 BIC-code 영역 부분을 추출하는 방법으로 code 인식 부분에 대해서는 정확하다는 장점이 있으나. 날씨 변화 같은 외부요인에 취약하다는 단점이 있다[6]. 엣지기반의 방법은 BIC-code 부분의 수직, 수평 엣지 정보를 허프만 변환을 이용하여 컨테이너 BIC-code 부분을 추출하는 방법이 있다[7]. 또한 BIC-code 인식에 대하여는 신경회로망을 이용하여 인식하는 방법의 연구도 있었다[8].

BIC-code는 4 자리의 알파벳으로 이루어진 오너 코드, 6 자리의 아라비아 숫자로 이루어진 시리얼 넘버, 1자리의 아라비아 숫자인 체크 번호로 구성되어 있다.하지만 BIC-code는 문자의 폰트, 크기, 나열 구조에 대한 규칙이 지정되어 있지 않고, 컨테이너가 지나가는 항만에서는 실내가 아닌 외부에서 많은 작업이 이루어지기 때문에 기후 요소, 조명 조건, 카메라 위치, 컨테이너의 색과 같은 다양한 요인으로 인해 고정된 임계값을 사용할 수 없다.

따라서 본 논문에서는 다중 이진화를 통해 컨테이너의 글자 영역을 추출 후 인식하는 방법을 사용하였다[9]. 제안한 방법은 이진화를 통한 영상의 글자 영역을 추출하는 과정과 추출된 영상을 인식하는 단계로 구성한다. 제안한 방법에서 이진화(thresholding)는 여러 가지 방법이 있으나[10-12]. 제안한 방법인 다중 이진화가 외부 요인을 많이 받는 실시간 컨테이너 처리에 보다 효과적으로 추출 할 수 있기 때문에 제안한 방법을 선택하였다. 여기서 이진화는 .영상의 평균값과 표준편차를 이용해 임계값을 사용자의 설정 횟수만큼 이진화를 수행한다. 이진화된 영상을 바탕으로 BIC-code 영역이 아닌 잡음을 제거하고 BIC-code가 세로, 가로로 나열되어 있는지를 판단하고 BIC-code 영역만 추출하게 된다. 영역만 추출된 영상에서 체크 번호의 특징인 사각형을 제거하고 11개의 BIC-code 개별 문자를 추출한다.

문자를 인식하는 방법은 템플릿 매칭 방법을 사용하였다. 템플릿 매칭 방법은 문자 인식에 가장 많이 사용되는 방법으로 유사도가 가장 높은 영역으로 선택하는 방법이다[13-15].

최종적으로는 각 임계값마다 템플릿 매칭을 통한 문자 인식의 매칭 점수를 저장하고 모든 과정이 끝난 후 매칭 점수를 비교해 가장 높은 값을 가지는 임계값의 결과를 출력한다.

본 논문에서는 컨테이너 BIC-code의 영역 추출과 개별 문자의 분리, 최종적인 인식단계에 이르기까지 그림 1과 같은 전체적인 알고리즘을 제안한다.

해양 물류 운송수단인 컨테이너 화물을 처리하는 각 항만들은 검색기의 위치, payload를 측정하는 장소들의 구조가 모두 다르다. 따라서 컨테이너 BIC-code를 인식하기 위한 카메라의 설치 위치는 다를 수밖에 없다. 카메라가 설치된 위치에 따라 얻을 수 있는 BIC-code의 영상은 기울어짐 같은 왜곡이 발생할 수 있다. 이를 해결하기 위해 호모그래피 변환을 사용한다. 호모그래피 변환을 통해 기울어진 영상을 정사각형 또는 직사각형의 영상으로 보정함으로써 BIC-code의 분리, 인식에 미치는 정확도를 향상시킬 수 있다.

호모그래피 변환을 통해 보정된 영상은 미리 설정한 횟수만큼 이진화를 진행한다. 대부분의 항만에서 컨테이너의 검색은 실외에서 진행된다. 실외는 시간에 따라 변하는 밝기, 계절, 비나 눈 같은 외부요인이 많이 작용하기 때문에 고정된 임계값을 사용하기가 힘들다. 따라서 BIC-code를 인식할 시기에 가장 좋은 결과를 얻을 수 있는 임계값을 찾기 위해 다중 이진화를 실시한다.

이진화된 영상은 BIC-code 영역이 아닌 잡음을 제거하는 과정을 거친 후, 형태학적 필터(morphological filter) 중 하나인 닫힘(close) 연산을 통해 BIC-code의 나열 구조를 파악한 후, 원본 영상에서 BIC-code만 따로 추출한 뒤, Otsu 이진화를 실시한다.

BIC-code는 4 자리의 알파벳으로 이루어진 오너 코드, 6 자리의 아라비아 숫자로 이루어진 시리얼 넘버, 1자리의 아라비아 숫자인 체크 번호 총 11자리로 구성되어있다. BIC-code를 정확하게 분리하고 인식하기 위해서는 Otsu로 이진화한 후의 영상이 11개의 code를 모두 가지고 있어야 한다. 11개의 BIC-code가 모두 검출됐다면 각 code를 개별 분리하고 데이터베이스에 가지고 있는 자료들과 템플릿 매칭을 이용한 문자인식과정을 거쳐 최종적인 결과를 나타내도록 하였다.

기울어진 영상을 똑바로 세워진 영상으로 변환하는데 가장 중요한 것은 정확한 호모그래피를 추정하는 것이다. 호모그래피란 3X3 행렬로 두 평면 위의 점들 사이의 대응관계를 행렬로 표시한 것이다. 기준 영상과 출력 영상의 대응 관계는 식 (1)로 표현할 수 있다.

여기서 X와 X′은 기준 영상과 출력 영상의 점이고 H는 X와 X′의 관계를 나타낸 호모그래피 행렬이다. 호모그래피의 행렬은 식 (2)로 나타낼 수 있다[16].

호모그래피를 구하기 위해서는 최소한 4점의 쌍이 필요하다. 즉, 기준 영상의 4점과 그에 대응하여 위치할 출력 영상의 4점이 필요하다.

본 논문에서는 기준 영상에서의 4점의 좌표는 항만의 관리자가 직접 입력되어 들어온 영상을 보며 기울어진 좌표를 마우스로 클릭하여 설정할 수 있도록 하였다. 이렇게 구해진 4점의 좌표 중 좌측 상단의 좌표를 기준으로 가로와 세로의 길이를 측정하여 직사각형의 형태로 출력 영상의 4점을 설정한다. 이렇게 설정된 좌표를 이용해 호모그래피를 추정한다. 이를 바탕으로 전체 입력 영상에 대해 호모그래피 변환을 실행하여 기울어진 영상을 똑바로 세워진 영상으로 변환하는 작업을 진행한다. 호모그래피를 구하는 과정은 BIC-code를 촬영하는 카메라의 위치가 고정되어 있다는 가정 하에 한번만 수행하며 호모그래피 자료는 저장한다. 저장된 호모그래피는 입력영상이 들어올 때 다시 불러들여 호모그래피 변환을 하는 데 사용한다.

앞에서도 언급했듯이 컨테이너를 처리하는 대부분의 항만은 컨테이너의 취급을 실외에서 하고 있다. 시간이 지남에 따라 빛의 밝기가 변하고 눈, 비 같은 외부적인 요인은 물론 컨테이너의 색, 촬영하는 카메라의 종류에 따라 입력되는 영상의 품질이 다르게 된다. 또한 BIC-code는 크기, 두께, 폰트, 색 등이 규정되어 있지않다. 또한 외부 환경에 직접 노출되어 있고, 특히 바다를 건너기 때문에 염분으로 인해 BIC-code가 유실되고, 변형되기 쉬운 조건에 노출되어 있으며 컨테이너 표면이 굴곡짐에 따라 명암차와 왜곡이 발생하게 된다. 따라서 이진화 과정을 고정된 임계값으로 수행하는 것은 적합하지 않은 방법이다.

본 논문에서는 다양한 BIC-code 영상에 대해 가장좋은 인식결과를 찾을 수 있는 임계값을 찾기 위해 다중 이중화를 적용하였다.

식 (3)과 같이 이진화를 수행할 임계값 th(n)을 다음과 같이 정의하였다.

식 (4)의 th_min는 초기 이진화의 임계값을 구하기 위한 과정의 값으로 gray영상의 평균과, 표준편차를 더한 값으로서 BIC-code 영역이 컨테이너 배경색보다 밝다는 점에서 착안되었다. 식(5)는 th(n)이 th_min부터 최대 밝기값이 255까지를 균등 분할한 값으로 정해짐을 나타낸다. NUM은 사용자가 설정한 최대 이진화 횟수이며, 본 논문에서는 5회 이진화하였다. 즉, n=0,1,…,4이다.

이진화된 영상은 BIC-code 뿐 아니라 인식 과정에 필요없는 영역들도 포함되어 있다. 정확한 BIC-code 인식을 위해서는 불필요한 영역을 제거하는 처리과정이 필요하다. 이 영역을 제거하기 위해서 BIC-code가 가지고 있는 특징을 이용한다. BIC-code가 가지는 특징은 표 1과 같다. 표 1에서 기술한 바와 같이 BIC-code는 차량용 번호판과는 다르게 크기, 두께, 폰트, 색 등이 규정 되어 있지 않다. 하지만 모든 BIC-code의 세로길이는 가로길이보다 길다. 그리고 인터넷과 논문에서 제공하는 컨테이너 사진과 부산신항에서 직접 찍어 온 컨테이너 사진 527장을 분석한 결과 표 1의 특징 2~4번을 만족한다는 것을 파악했다. 이와 같은 특징을 이용하여 BIC-code외의 잡음 영역을 제거한다.

잡음 영역이 제거된 영상은 닫힘연산을 통해 BICode의 나열구조를 파악하고 최종적으로 BIC-code 영역부분만 추출한다. BIC-code의 나열구조는 세로, 가로 크게 두 가지로 분류할 수 있으며, 가로의 경우는 한 행에 모든 BIC-code가 들어가 있는 경우와, 두 행에 걸쳐 BIC-code가 나열되어 있는 경우가 있다. 닫힘연산에 사용되는 가로, 세로의 element는 식 (6)을 사용해 결정하였다.

element.x와 element.y는 레이블링된 영역들의 평균 길이이며 가로 길이인 element.x는 8 화소를 더한 값을 사용하였다. BIC-code가 가로로 나열되어 있는 경우 오너 코드와 시리얼 넘버의 간격이 존재하기 때문에 각 요소들의 평균 길이로 닫힘연산을 수행하면 하나의 BIC-code로 인식하지 못하는 결과를 나타내었다. 이 문제를 해결하기 위해 식 (6)을 통해 BIC-code를 추출할 수 있는 효율적인 element를 획득하였다.

BIC-code 영역이 추출된 영상은 Otsu 알고리즘을 이용하여 이진화를 다시 수행한다. Otsu 알고리즘을 이용하여 이진화를 다시 수행하는 이유는 전체 영상에 대한 이진화보다는 코드만 포함된 영역에서의 이진화가 코드와 코드 주변 영역을 분리하는데 효과적이기 때문이다.

Otsu 알고리즘으로 이진화를 수행한 영상은 다시 한번 표 1의 BIC-code 특징을 이용하여 잡음제거 과정을 거친다. 이 과정에서는 식 (7)의 조건을 추가한다.

식 (7)은 BIC-code의 체크 번호를 판단하는 조건이다. 여기서 N_f와 N_b는 레이블링된 영역에서의 전경과, 내부의 검은 픽셀이다. 체크 번호는 BIC-code의 마지막 문자이며 네모 안에 숫자가 위치하고 있다. BIC-code 인식과정에서 네모영역의 존재는 문자인식의 정확성에 영향을 미칠 수 있으므로 잡음으로 간주하여 제거한다. 사각형 같은 경우는 네 변의 위치에서만 값을가지고 있고, 내부는 비어있다. 이 특징을 이용하여 식 (7)과 같은 식을 유도하여 체크 번호의 사각형 부분을 삭제하였다.

마지막 잡음제거 과정을 거친 영상은 레이블링하여 전경 영역의 개수를 파악한다. BIC-code 인식에는 11개 의 문자가 필요하며 최종 단계의 영상에서 11개의 문자를 개별 분리하여 40*80 크기로 정규화한다. 이때 11개의 문자가 없다면 다음 임계값으로 넘어가 제안한 방법의 알고리즘을 다시 수행한다.

개별 분리된 문자들의 인식에는 템플릿 매칭을 사용하였다. 템플릿 매칭은 검출도구로써 영상처리에서 많이 사용하는 기법이며 유사도가 가장 높은 영역으로 선택하는 방법이다. BIC-code의 경우에는 문자가 필기체가 아닌 인쇄체이므로 템플릿 매칭으로도 충분히 정확한 인식이 가능하다. 또한 이 방법은 대상의 특징 성분 검출이 용이하도록 존재할 필요가 없기 때문에 조명 변화나 배경의 영향을 덜 받게 되고 복잡한 환경에서도 객체검출이 가능하다는 장점이 있지만 크기 변화, 회전각도, 기울어짐에 민감한 단점이 있다[17]. 하지만 컨테이너의 진입 각도가 정해져 있으므로 사전에 호모그래피 변환을 추출하고 이를 이용하여 BIC-code를 정면에 서 바라 본 화면으로 수정할 수 있고, 개별 분리된 각 문자들의 정규화를 적용함으로써 템플릿 매칭의 단점을 극복할 수 있다.

템플릿 매칭의 측정도구는 다음 식을 사용하였다.

11개의 개별 문자에 대해 식 (10)의 R_coeffnormed을 계산하고 이 값들을 모두 더해 해당 임계값(th(n))에서의 매칭 점수로 저장한다. 최종적으로 다중 이진화를 통해 각 임계값에 해당하는 총 매칭 점수 중 가장 높은 점수를 가지는 임계값에 대한 BIC-code 인식 결과를 출력한다.

컨테이너 BIC-code 영역 추출 및 인식 알고리즘 실험을 위해 부산신항에서 527장의 영상을 직접 촬영하여 획득하였다.

그림 2는 컨테이너 BIC-code 영상이 입력되면 사용자가 마우스로 좌표를 클릭하여 4점을 선택하는 영상이다. 좌측 상단의 좌표를 기준으로 직사각형의 가로, 세로길이를 판단하게 되며 이를 기준으로 호모그래피를 추정한다. 이렇게 구해진 호모그래피 행렬을 통해 입력영상 전체에 호모그래피 변환을 수행하면 그림 3과 같이 기울어진 영상을 보정하여 똑바로 세워진 영상을 얻을 수 있다. 이는 실제 현장에서 컨테이너의 진입 각도가 거의 고정되어 있으므로 개발 시스템의 첫 수행 시 한번만 수행하면 된다.

그림 4는 입력된 BIC-code의 영상을 식 (3), (4), (5)를 이용하여 이진화한 영상들이다. 대부분의 컨테이너 사진은 임계값이 커질수록 BIC-code 외의 잡음들이 줄어드는 모습을 확인할 수 있었다. 또한 BIC-code의 형태가 날렵한 모습을 띄어 각각의 문자들 간의 구분이 더욱 확실하였다. 이런 이유로 최종 인식결과는 모두 높은 임계값에서 출력되었다.

그림 5는 원본영상과 제안한 방법으로 BIC-code 영역만 추출해낸 영상을 나타낸다. 이 영상을 Otsu 알고리즘을 사용한 이진화를 수행하고 그림 6과 같이 체크번호를 제거한 최종 BIC-code를 획득한다.

그림 6은 개략적인 BIC-code의 주변영역을 추출한 영상이고 그림 7은 그림 6의 영상을 각각의 글자만 추출하여 40*80 크기의 영상으로 저장한 영상이다. 문자인식의 정확성을 위해 상, 하, 좌, 우에 5 화소의 여백을 두고 저장한다. 템플릿 매칭은 조명 변화나 배경의 영향을 덜 받게 되고 복잡한 환경에서도 객체검출이 가능하다는 장점이 있지만 크기 변화, 회전 각도, 기울어짐에 민감한 단점이 있다. 이런 단점을 보완하기 위해 호모그래피 변환을 수행하여 기울어진 영상을 수정하였고, 모두 같은 크기의 영상으로 저장해서 효과적인 템플릿 매칭을 수행할 수 있도록 했다.

제안한 알고리즘은 다중 이진화를 사용하여 최대 5번 이진화를 하였다. 11개의 BIC-code를 모두 분리한 임계값에 대하여 템플릿 매칭을 수행하였고 매칭 점수의 총합을 저장하였다. 각 임계값에 저장된 최대 매칭점수를 구하여 BIC-code를 인식하고 출력한 결과는 그림 8과 같다.

제안한 알고리즘은 부산신항에서 직접 촬영한 컨테이너 영상 527장 중, 육안으로도 판단하기 어려울 만큼 열화된 BIC-code를 가진 사진 14장을 제외한 총 513장에 대하여 실험하였다. 513장 중 490장을 정확히 추출하고 인식하여 95.5%의 성공률 및 인식률을 보였다. 또한 제안한 알고리즘의 수행시간은 표 2에서 보는 것과 같다. 제안한 알고리즘을 수행한 시스템의 사양은 CPU : Intel i5-3570, RAM : 8G, VGA : Geforce GTX 260이다. 이와 같은 시스템에서 테스트한 513장의 영상의 수행속도는 최소 0.59초에서 최대 2.05초, 평균 수행속도는 1.37초가 소요되었다. 이처럼 제안한 전체적인 알고리즘의 수행속도는 컨테이너가 항만에 진입하기 위해 게이트에서 대기하는 시간보다 짧은 시간에 이루어지므로 실시간으로 연산을 수행할 수 있음을 보여준다.

제안한 방법은 항만에서 컨테이너의 선적 및 야적과 같은 물류처리를 신속하고 빠르게 처리하기 위해 컨테이너 고유 식별부호인 BIC-code를 자동으로 추출하고 인식하도록 구현하였다. 다중 이진화를 사용함으로써 대부분의 물류처리를 실외에서 진행하는 항만의 가변적인 상황에 대응할 수 있었다. 디지털 카메라로 획득한 영상은 다중 이진화를 기반으로 각 임계값에 대한 이진화 영상을 통해 잡음 제거, 닫힘연산을 통한 BIC- code 위치 및 나열구조 파악, Otsu 알고리즘, 개별 문자추출, 문자인식을 과정을 통해 결과를 도출하였다. 특히 위치가 고정된 카메라를 사용한 것이 아니라 부산신항의 게이트를 빠르게 지나가는 컨테이너의 사진을 여러 각도로 찍은 영상을 사용하였고, 회전되어 기울어진 영상, 컨테이너의 외부의 굴곡진 부분에 의해 왜곡된 영상들이 BIC-code를 인식하기 위한 알고리즘을 거쳐 정상적으로 추출되고 인식하는 모습을 보였다. 따라서 추후에 컨테이너가 고정된 위치에 들어왔을 때 카메라를 통해 고정된 각도와 배율을 가진 영상을 통해 더욱 정확한 결과를 낼 수 있는 여지가 충분하다.

컨테이너 대부분은 실외에서 보관되고 특히 해상운반을 주로 하기 때문에 습기와 부식에 취약하다. 이런 이유로 컨테이너 외부에 부착되거나 인쇄되어있는 BIC-code의 손상이 매우 많다. 향후에는 이와 같은 이유로 손상되어 인식할 수 없는 BIC-code를 인식할 수 있는 방법을 연구할 필요성이 있다.