획득한 영상 데이터를 처리함으로써 제조 및 생산 공정을 자동화하는 기술은 영상처리 발전에 따라 여러 산업에 확대되어 왔다. 전자부품 생산라인, 이물질 분리, X-ray 투과영상을 이용한 PCB검사기법, 영상기반 차량 검지기술 등 정교한 분석과 실시간 처리가 필요한 작업에 영상처리를 이용하여 검사작업을 대신하고 있다. 그리고 이런 검사작업을 자동화에 연동하는 방법에 대한 연구가 진행되고 있다. 그러나 아직 타이어 산업에서는 타이어의 성형 소재인 트레드의 전폭과 숄폭 측정 작업을 작업자들이 줄자로 재는 방식을 사용하고 있다. 자로 재는 방식은 측정 길이가 작업자들마다 다르고 정확한 수치를 얻지 못하기 때문에 정확성이 떨어진다. 또한 수동제어 조작시간 동안 불량제품은 그대로 생산되어 작업의 효율성이 떨어지게 된다.

따라서 트레드가 지나가는 컨베어 라인에 카메라와 레이저를 설치, 카메라에 나오는 레이저 영상을 분석하여 길이를 측정하는 방식이 필요하게 되었고 압출라인의 PLC(Programable Logic Controller)를 통해 통신으로 묶어 관리하고 상위 시스템과의 연동으로 데이터베이스화하며 컨베어 속도 제어를 통해 트레드 압출라인의 자동화가 필요하게 되었다. 따라서 본 논문에서는 비전기반 물체 폭 측정을 위해 광절단법을 이용한 카메라와 레이저사이 평면 사이의 교정방법을 연구하였고 교정방법을 이용한 트레드 길이의 측정 시스템에 대해 소개한다.

본 논문에서의 물체측정 대상은 타이어 성형 소재인 트레드를 말하며 타이어가 바닥에 접하는 접지면을 의미한다. 트레드의 측정 폭은 숄폭과 전폭으로 나뉜다. 그림1에서 사이드월(Side Wall)은 타이어의 옆부분을 지칭하며 숄폭이 돌출부분, 전폭이 바깥부분을 의미한다. 이 두 개의 폭은 타이어 제품생산에서 제어기준이 된다. 따라서 두 개의 폭을 모두 측정하기 위해 카메라가 전폭을 포함할 수 있는 거리에서 트레드에 레이저를 비추어 측정이 이루어진다.

전체 시스템은 물체를 측정하기 위한 트레드 검출과정과 카메라와 레이저평면 사이의 변환관계를 규명하는 교정과정으로 이루어져 있다. 다음 그림 2에서 각 과정에 대한 순서도를 나타내었다.

카메라와 레이저를 이용하여 레이저가 조사된 물체면의 실제 좌표를 계산하는데 널리 쓰이는 방법이 광절단법(Light Sectioning Method)이다[1].

그림 3에 나타난 바와 같이, 측정물의 표면에 레이저를 비추고 다른 각도에 설치된 카메라가 레이저 빛을 촬영한 후, 레이저 빛의 패턴을 분석함으로써 물체의 모양 및 규격을 계산해 낼 수 있다. 측정물의 실제 크기 및 좌표를 얻기 위해서는 카메라에 촬영된 레이저 빛과 측정물에 비춰진 레이저 빛 사이의 관계를 규명하여야 한다. 이는 미리 약속된 측정물을 설치하고 이에 대해 광절단법을 적용함으로서 가능하다. 측정물의 모든 정보를 이미 알고 있으므로 측정물에 비춰진 빛과 카메라에 찍힌 영상에 나타난 빛 사이의 대응점을 찾아내고 대응점간의 관계를 변환 행렬로 나타내게 된다. 이 때의 변환 행렬은 호모그래피에 해당되므로 호모그래피를 구하는 방법을 따르면 된다. 이를 위해서는 테스트패턴인 지그를 사용하게 된다.

촬영된 영상에는 카메라 렌즈에 의한 왜곡을 내포하고 있다. 그림4와 같이 왜곡이 발생하면 영상 내의 화소의 위치에 따라 측정 거리 측면에서 그 측정치가 상당한 차이를 보인다. 카메라 왜곡이 발생하는 경우는 투영왜곡과 배럴 왜곡 두 가지 종류가 있는데 이 중에서 투영왜곡은 호모그래피 H를 구함으로써 해결될 수 있다. 하지만 배럴왜곡은 다른 왜곡모델을 적용해야 한다.

그림5에서 물체측정위치에 지그를 두고 찍었을 때 배럴왜곡이 발생하는 것을 확인할 수 있다. 이때 지그가 일정한 간격으로 제작된 사전 지식을 이용하여 왜곡을 문제를 해결할 수 있다.

배럴 왜곡은 그림4(a)와 같은 왜곡으로 가장자리 부분이 바깥쪽으로 휘어지는 현상을 의미한다. 그림6의 지그가 일정한 간격으로 제작되었는데 그림5에서 확인할 수 있듯이 지그의 꼭대기 좌표가 바깥쪽으로 치우치고 있다. 이때 왜곡된 좌표를 보정하여 다음의 식을 구한다.

x*는 보정된 좌표를 나타내고 지그의 꼭대기와 골짜기 좌표는 23개이므로 n이 21개의 결과를 얻을 수 있다. 이때 21개의 연립방정식을 SVD를 적용하여 구한다. 좌표의 보정은 왜곡파라미터의 추출단계에서 이루어진다.

테스트패턴 지그는 일종의 자의 역할을 하는 것으로서 측정해야하는 물체(트레드)와 수평이 되도록 위치해야한다. 지그를 대상으로 얻은 입력영상에 대해 이진화를 통해 주변의 희미한 빛들을 제거하고 그 후 허프변환(hough transform)을 통해 선을 추출하고 얻어진 선들의 기울기와 y축의 값을 이용하여 그림7처럼 각 라인의 데이터를 확보, 라인끼리 연결하여 교점을 구한다[2]. 연결된 교점은 지그 영상마다 조금씩의 차이가 생길 수가 있는데 그 이유는 영상을 촬영할 때 마다 내부 환경의 조명이나 빛에 민감하게 반응하여 오차가 발생할 수 있기 때문이다. 따라서 여러 영상을 변환하여 꼭대기와 골짜기의 좌표가 가장 일치하는 데이터를 확보한다. 개발된 시스템에서는 총 23개의 좌표 데이터를 얻었으며 이 좌표를 이용하여 카메라와 레이저사이의 변환관계인 호모그래피 행렬 H를 구하게 된다.

평면상의 하나의 점 p₀를 동차좌표로 표현하면 다음과 같다.

그리고 p₀와 다른 평면 p_r사이의 호모그래피 H는 다음과 같이 쓸 수 있다.

여기서 식(4) 의 H는 3×3 정방행렬로서 8개의 자유도를 가진 행렬이다. 따라서 H를 구하기 위해서는 최소한 4개의 대응점이 필요한데 지그에서 구한 교점좌표의 계수가 23개이므로 이 대응점을 이용한 연립방정식을 수립하고 그 해를 구함으로써 H를 구할 수 있다. 두 평면과 H를 이용한 변환관계의 식을 정리해보면 다음식과 같다.

식(5)를 정리하면 두 개의 식으로 표현이 되고 연립방정식으로 나타낼 수 있다. 연립방정식의 해를 구할 때 전형적인 방법인 SVD(singular value decomposition)를 사용하여 H를 구한다. 식(6)와 같이 해를 구하기 위해 GH =0의 형태로 나타내고 G행렬에는 실제 측정한 지그의 좌표값과 그에 대응하는 영상의 좌표값을 대입한다.

배럴 왜곡은 촬영된 영상에서 확인할 수 있었는데 이에 대한 왜곡 계수를 추출하고 보정해야 정확한 측정이 이루어질 수 있다. 이를 위하여 아래의 렌즈 왜곡 모델을 적용한다[3,4].

식(7)에서 x_corrected, y_corrected는 렌즈 왜곡이 보정된 좌표를 나타내고 x,y 는 보정되기 전의 좌표로서 입력영상의 좌표를 나타낸다. 지그에서 얻어진 좌표를 이용하여 렌즈 왜곡 계수 k₁와 k₂를 추출하였다.

그림 8은 좌표의 변환과정을 나타내었다. (a)는 입력영상으로 왜곡된 좌표(u,v)를, (b)는 렌즈 왜곡계수를 이용하여 보정한 새로운 좌표 (x₁,x₂), (c)는 호모그래피 H를 이용하여 얻은 지그좌표인 (X₁,X₂)를 나타낸다. 결국 교정단계는 지그를 이용하여 렌즈 왜곡 계수의 추출과 호모그래피의 추출을 처리하는 단계이다.

그림 9는 컨베어 라인에서 나오는 트레드에 레이저를 비춘 영상이다.

공장의 조명이나 빛의 영향에 따라서 입력영상의 밝기 분포가 변하는데 트레드의 윤곽선의 모양 또한 다양하기 때문에 카메라영상의 사각지대에서 숄폭의 끝점이 희미한 경우가 발생한다. 따라서 문턱값를 측정시마다 변화시키는 적응식 임계값을 사용하여야 한다. 입력영상의 밝기 분포에서 최소 문턱값(thr_min)과 최대 문턱값(thr_max)을 결정한다. 결정하는 방법은 입력영상의 밝기분포의 평균값 𝜇과 표준편차 𝜎를 계산하고 이에 기반하여 선택하게 된다. 평균과 표준편차의 정규분포에서 최소 thr_min은 1.5𝜎부터 최대 thr_max는 3𝜎까지로 정하고 영상단계 C_i (C_i, i=1,2,⋯,N) 별로 나누어 그림10과 같이 가장 큰 영역을 트레드 영역으로 가정하여 트레드를 추출한다. 이때 N의 개수에 비례하여 계산량이 증가하므로 실시간처리를 위해서는 적절한 N개의 선택이 요구된다.

임계값에 따라서 큰 영역을 판단하는 과정에서 오류 검출도 동시에 이루어지는데 그 방법은 다음과 같다. 밝기 값이 255인 수가 전폭의 시작 좌표와 끝 좌표 차이로 크기 값을 판단하여 레이저가 없는 상태로 판단되거나 사각지대의 희미한 연결이 나타나 끊어지는 부분이 생기게 되면 y축 방향의 평균 밝기 값이 0인 경우가 발생하여 오류로 판단한다. 이외에 전반적인 오류 검출을 통해 정확한 트레드 검출을 진행한다.

그림11은 문턱값에 따른 이진화의 결과를 보여준다. (a)는 문턱값을 255로 결정하여 이미지를 얻었는데 좌우 사각지대가 끊어진 것을 확인할 수 있다. 이 경우 숄더를 찾지 못해 오류로 판단한다. (b)에서 문턱값 150으로 수정하였을 경우, 마찬가지의 결과를 보인다. 또 다시 문턱값을 낮춰서 97로 검출 했을 경우 한쪽만 연결되어있는 것을 확인할 수 있다. 이때 좌우 대칭인 영상을 얻지 못하여 검출오류로 판단된다. 다시 변화된 문턱값 62로 검출했을 때 양쪽이 모두 연결된 것을 확인할 수 있다. 연결되었다는 것의 기준은 좌우 사각지대의 숄더 부분이 이진화 하였을 때 하나의 선으로 이어지는 것을 의미 한다. 만약 62보다 낮은 값을 갖게 될 경우 트레드의 두께가 두꺼워지기 때문에 정확한 숄더 좌표 추출이 어렵게 된다.

따라서 개발된 시스템에서는 문턱값을 결정하는데 트레드가 좌우 대칭이라는 특징을 이용한다. 문턱값을 큰 값부터 작은 값으로 변화시키면서, 트레드를 추출하고 좌우 대칭 특성을 만족하는지를 확인하고 만족하는 첫 번째 문턱값을 최적의 문턱값으로 결정한다. 좌우 대칭 특성을 만족하는 첫 번째 문턱값으로 결정하는 이유는 가능한 추출된 영역이 y방향으로 가늘게 나타나도록 하여야 추후 크기의 계산과정에서 유리하기 때문인다.

입력영상의 단계별 문턱값을 적용하여 얻어진 이진 영상에 대해 가장 큰 영역이 트레드에 해당하므로, 가장 큰 영역만 남기고 다른 영역은 모두 제거한다. 이후 입력영상에 대해 세선화 알고리즘(Thinning algorithm)을 적용한다.

그림12은 세선화 알고리즘을 사용한 결과 영상을 보여준다. 즉 영역의 뼈대만을 추출하는 것으로 y축 방향의 밝기값의 평균으로 무게중심을 구하는 방법을 사용하여 하나의 선으로서 트레드를 검출한다.

구해진 뼈대의 좌표를 이용하여 트레드 끝좌표와 숄더좌표를 추출할 수 있다. 이 뼈대 영상을 간략한 모델로 나타내면 그림 13와 같다. 뼈대의 좌우 끝좌표가 트레드의 끝에 해당하므로 영상에서의 전폭은 쉽게 추출된다. 숄더는 숄폭의 기준이 되는 좌표로 그림13과 같이 트레드를 간략히 모형화하였을 때 명확하다. 뼈대의 좌우 끝좌표에서 출발하여 가운데 쪽으로 가면서 뼈대 좌표의 기울기를 구했을 때 기울기가 급격하게 변화하는 첫 번째 위치가 숄더에 해당된다. 이 과정을 좌측과 우측에서 수행함으로써 우측 및 좌측 숄더 위치를 구할 수 있고 그 결과 숄폭의 계산이 가능하다.

뼈대 좌표를 이용하여 얻어진 트레드의 양쪽 끝좌표와 좌측과 우측 숄더의 좌표는 영상에서의 좌표이므로 이를 지그 좌표계로 변환하기 위하여 호모그래피를 이용하여 변환을 수행하면 된다. 또한 앞에서 언급한 바와 같이 렌즈 왜곡을 고려하여야 한다. 즉,

식(8)에서 는 영상평면에서의 좌표이고, D⁻¹( ⋅ )는 렌즈왜곡에 대한 교정함수, H⁻¹는 호모그래피의 역행렬, 는 지그좌표계에서의 좌표이다.

식(8)에서 에 트레드의 양쪽 끝좌표와 좌측과 우측 숄더의 좌표를 대입하여 계산하면 실제 지그좌표값을 얻을 수 있으므로 실제 전폭과 숄폭을 계산해 낼 수 있다.

컨베어에서 지나가는 트레드의 연속된 촬영은 앞서 언급하였듯이 동일한 영상이 얻어지는 것이 아니다. 조명과 빛의 영향이 큰 작업이므로 결과를 표시해줄 애플리케이션 구현을 위해 안정된 결과값의 출력이 요구되어 필터링 과정이 추가 되었다. 필터링 방법은 FIR 방식을 사용하였다[5]. FIR 필터 연산을 수식으로 나타내면 다음과 같다.

식(9)에서 X_i는 i번째 입력을 Y_i는 FIR필터의 출력 그리고 h_j(0 ≤ j < N)는 필터의 계수를 의미한다. 연속적인 입력영상 X_i가 지정된 사이즈 N 만큼의 곱셈과 덧셈으로 이루어져있고 결과 Y_i를 출력한다. 입력영상 X_i에 따라 필터 계수를 정하는데 입력영상의 평균과 표준편차를 이용한다. 다음 식(10)를 만족하는 경우 필터 계수는 1이 되고 아닌 경우는 0으로 처리한다. 그 이유는 트레드가 고무소재이기 때문에 좌우측 끝부분이 찢어짐 현상이나 사각지대의 검출 오류로 인한 부분을 방지하기 위해서이다.

이런 필터링 처리는 앞에서 얻어진 전폭과 숄폭에 대해 적용한다.

본 논문에서 제안한 시스템의 실험결과를 확인하기 위해서는 정밀하게 제작된 물체(시편)을 사용하여 길이를 측정하였다. 트레드의 경우, 같은 사이즈로 생산하더라도 고무 소재의 특성상 길이의 차이가 있다. 그렇기 때문에 정확한 측정을 위해 시편을 사용하였다. 시편을 측정하기 전에 지그를 이용하여 호모그래피 H와 k₁,k₂의 값을 추출하는데 지그는 시편과 가능한 수평이 되도록 유지하여야 한다. 오차가 생길 경우 교정 데이터를 반복적으로 수정하며 값을 추출하였다.

그림 14는 시편에 레이저를 비춘 영상으로 시편의 종류는 4종류가 있고 숄폭 및 전폭의 길이가 모두 다르게 제작되었다. 트레드 측정 프로그램에서 측정결과를 0.2초마다 저장하고 1분 동안 300장의 입력영상에 대해 측정한 평균값을 최종 측정 데이터로 정하였다. 이때 측정 결과가 ±0.5mm 이내일 경우 검출성공으로 판단하였다.

그림 15는 실험에 사용한 4종류의 시편을 보여주고 있다. 이들 시편에 대한 실험결과를 표1로 정리하였다. 표1에서 볼 수 있듯이 모든 시편이 0.5mm이내의 값을 검출했다. 그리고 실험실에서 트레드 영역의 검출을 확인해 보기 위해 사용했던 샘플들에 대해서도 길이를 측정해 보았다. 또한 트레드의 샘플에서도 정확한 결과를 나타내었지만 그림16에서 확인해 볼 수 있듯이 트레드 샘플이 고무 소재이기 때문에 절단된 트레드 상태에서는 가운데로 말리는 현상이 있었고, 일부분이 찢어져 있어서 레이저 라인에 따라 오차 범위를 넘어가는 경우가 있었다.

본 논문에서는 타이어 산업에서 영상처리를 이용한 트레드 폭 측정을 위해 광절단법을 이용한 카메라와 레이저평면의 교정방법을 제안하고 이를 적용한 시스템을 소개하였다.

레이저 평면과 카메라 평면사이의 변환함수를 추출하기 위해 제작된 테스트패턴의 사용으로 대응점간의 변환함수인 호모그래피를 추출하였고 지그의 특성을 이용하여 카메라 왜곡 파라미터를 추출하였다. 이러한 켈리브레이션 작업과 함께 트레드의 검출을 위해 적응적 임계값과 오류검출, 정확한 측정을 위한 필터링처리 등을 제안하였다. 그 결과 시편과 트레드의 숄폭 및 전폭의 측정오차가 0.5mm 이내의 목표치를 달성하였다. 트레드 폭 측정 시스템는 컨베이어의 속도조절와 연동하여 측정된 폭에 따라 컨베이어 속도를 조절함으로써 생산되는 트레드의 폭을 제어하는데 사용할 수 있다.