Rear view cameras which help to park or to drive backward has been distributed through after-market, but it is inconvenient because they do not provide views of left, right and front sides. Around view monitoring(AVM) systems which can monitor around vehicle at a glance have been developed and equipped by vehicle vendor but systematic studies on these systems is lack. While the AVM system which equipped on Infiniti cars of Nissan is adequate to monitor around vehicle at a glance, it has disadvantages that additional cabling because of using analog cables is required and image quality is lowered due to EMI/EMC intervention. The around view monitoring system implemented in this paper has advantages that there are no EMI/EMC problems because of using optical network and that cabling is simple because of using plug-and-play ways. Additionally, an advantage of MOST150 network is that camera nodes and display node can be easily installed in the form of plug-and-play.
주차나 후진 시에 도움을 주기 위한 후방 카메라는 after-market을 통하여 많이 보급되어 있으나 좌우 측방과 전방의 차량 경계를 확인할 수 없어 많은 불편함이 있다. 차량 주변 상황을 한눈에 감시할 수 있는 차량 주변감시 시스템은 대부분 아날로그 케이블링 방식을 사용하므로 부가적인 케이블링 작업이 요구되며, 아날로그 케이블을 사용하므로 화질 저하 및 전자파 간섭 문제가 있다. 한편, IT 기술의 발전으로 자동차의 전장제품의 비중이 급격히 증가하고 있으며, 모든 제어는 정형화된 자동차 네트워크(CAN, LIN, FLEXLAY)를 통하여 이루어지고 있다[1-3]. 자동차 네트워크를 이용함으로써 기존에 다대다 형태의 케이블이 제거되면서 간편한 형태로 디바이스 간의 연결이 가능해졌다.
자동차와 같은 수송 시스템의 광통신 네트워크화는 세계적인 기술 흐름이며, 선진국에서는 컨소시엄에 의하여 표준화를 진행하고 있다. 차량 주변 감시 시스템을 구축하기 위해 광통신 네트워크인 MOST150 네트워크를 사용할 경우에는 EMI/EMC 문제가 해결되며, 아날로그 케이블에 비해 배선이 간단하다는 장점이 있다. 또한, MOST150 네트워크에 노드를 추가하는 것은 plug-and-play로 자동추가가 가능하다는 장점이 있다[4,5]. 따라서, 본 논문에서는 자동차의 주차, 서행, 후진 시에 자동차의 전·후·좌·우 사방의 모습을 위에서 내려다보는 것처럼 한눈에 모니터링해 주는 MOST150네트워크 기반의 차량 주변 감시 시스템을 설계 및 구현하였다.
차량 주변 감시 시스템의 설계 및 구현에 관한 연구중 [6]은 차량 주변 영상을 Car PC 플랫폼에서 구현하는 방법에 대해 설명하였고, [7]은 주변 영상을 Bird's eye view로 제공하는 방법에 대해 기술하고 있다. [8]은 차량 주변 영상을 얻기 위해 카메라를 MOST 네트워크로 연결하고, 카메라에서 획득한 영상을 MOST 네트워크를 통해 master 노드에 전달하면 master노드에서 영상을 보정 및 정합하는 방법을 제시하고 있다. [9,10]은 원근감을 제거하기 위해 소프트웨어/하드웨어의 합동적인 구현 방법을 설명하였고, [11]은 비용 효율적인 Bird's Eye View를 구현하기 위해 FPGA나 ASIC에 기반한 방법을 제안하였으며, [12]에서는 SoC와 FPGA를 이용해서 Wraparound 뷰 시스템을 구성하는 방법에 대해 기술하였다.
일부 차량 주변 감시 영상을 제공하기 위한 H/W 플랫폼에 대한 연구가 존재하지만 차량 주변 감시 시스템의 EMI/EMC 문제 및 케이블 배선 문제에 대한 연구는 부족한 형편이다. 따라서, 본 연구에서는 EMI/EMC 문제 및 아날로그 케이블의 배선 문제를 해결하기 위해 광네트워크인 MOST150 네트워크를 기반으로 차량 주변 감시 시스템을 설계하고 구현하였다.
Ⅲ. MOST150 네트워크 기반 차량 주변 감시 시스템 설계
이장에서는 MOST150 네트워크의 기반 기술에 대해 살펴본 후 MOST150 네트워크 기반의 차량 주변 감시 시스템의 전체 구조와 각각의 모듈에 대해서 기술한다.
MOST150 네트워크는 스트리밍 서비스를 위한 동기 채널과 패킷 데이터를 위한 비동기 채널 및 이더넷 포트를 동시에 제공하는 유연한 네트워크로서 차량용 멀티미디어 네트워크라 할 수 있다. 또한 MOST150 네트워크는 광 네트워크 기반으로 Infotainment 장치를 최대 64개까지 단일 네트워크에 접속 가능하다. MOST150 네트워크 환경에서는 노드 추가 시 plug-and-play 형태로 동작이 가능하여 케이블링 작업이 간결하다는 장점을 가진다.
3.2. MOST150 네트워크 기반 차량 주변 감시 시스템의 전체 구조
MOST 네트워크를 이용한 차량 주변 감시 시스템은 그림 1과 같이 180도 이상의 화각을 가지는 초광각 카메라 4대, MOST네트워크로 카메라 영상을 전달하기 위한 4개의 Camera Inetrface Board(CIB), MOST 네트워크를 통해 카메라영상을 수신하여 사용자에게 디스플레이하기 위한 1개의 User Interface Board(UIB)로 구성된다. 4대의 카메라에서 영상 데이터를 입력받으면 영상 데이터는 MOST150 네트워크를 통해 UIB 보드로 전송되고 UIB 보드에서는 4개 영상의 왜곡을 보정하고 역원근 변환을 수행한 후 차량의 원본 영상을 조합하여 차량과 차량의 주변을 하늘에서 보는 것처럼 재구성한다.
카메라 인터페이스 보드의 시스템 블록도는 그림 2와 같으며, DSP는 카메라로부터 영상을 입력 받아 인코딩하고, FPGA는 인코딩된 데이터를 MediaLB 포트를 거쳐 MOST 네트워크에 전송하는 역할을 수행한다.
사용자 인터페이스 보드의 전체 시스템 블록도는 그림 3과 같으며, FPGA는 MOST 네트워크로부터 MediaLB 포트를 거쳐 영상을 전달받아 DSP에 전송하면 DSP는 영상정보를 디코딩하여 왜곡 보정하고, 역원근 변환을 수행한 후 4채널의 영상을 정합하여 하나의 이미지로 구성한 후, D/A변환을 수행한 후 LCD에 출력한다.
광각 카메라를 사용하여 영상을 획득하면 직선이 곡선처럼 보이는 왜곡 현상이 발생하는데, 이는 영상에서의 점 위치를 정상적인 위치에 맺히지 못하게 하고, 렌즈 중심에서 방사 방향으로 정상위치의 안쪽 또는 바깥쪽에 맺히는 현상이다. 본 논문에서는 왜곡을 보정하기 위해 구기반의 왜곡보정 방법을 사용하였다.
그림 4에서 F는 초점 거리, 구면에서 평면으로 투영된 임의의 점(xd, yd)는 왜곡된 영상의 좌표, 점(xu, yu)는 왜곡이 보정된 영상의 좌표라고 정의하고, 구의중심에서 왜곡되지 않은 점까지의 거리 L과 초점거리 F를 이용하여 점(xd, yd)와 점(xu, yu)의 관계는 수식(1)로 표현할 수 있으며, 이를 이용하여 영상을 보정하였다.
왜곡된 영상이 보정되어도 원근감은 보정되지 않으므로 본 논문에서는 역원근 변환 모델로 사용되는 호모그래피 변환을 통해 원근감을 해소하고 α-블렌딩 알고리즘을 이용하여 영상을 정합하였다. 본 논문에서는 호모그래피 변환 시 그림 5와 같이 그리드 패턴 단위로 호모그래피 변환을 수행하여 영상정합의 정확도를 높였다.
Ⅳ. MOST 네트워크 기반 차량 주변 감시 시스템의 구현 결과
본 연구에서는 그림 6과 같은 미니 전동차를 이용하여 실험환경을 구축하고, 4개의 CIB에 광각카메라를 연결하고, UIB에는 디스플레이를 연결하여 전동차에 장착하였다. 4개의 CIB와 UIB의 연결은 MOST150용 광 네트워크 케이블을 이용하여 링구조로 연결하였다.
그림 7은 4개의 CIB가 각각의 광각카메라로부터 영상을 입력 받아 UIB로 전달된 4개의 원본 영상을 출력한 모습이다. 원본 영상은 그림 7에서 보는 것처럼 방사왜곡을 가지는 형태이다.
그림 8의 왼쪽그림은 CIB로부터 UIB로 전달된 4개의 왜곡된 영상을 보정한 모습이고, 오른쪽 그림은 보정된 영상을 호모그래피 변환을 이용하여 역원근 변환을 수행한 후 α-블렌딩 알고리즘을 이용하여 영상을 정합한 모습이다.
차량 주변 감시 시스템을 구성하기 위해 차량의전·후·좌·우 4곳의 카메라로부터 메인 시스템까지 4개의 긴 케이블을 연결하는 것이 번거롭고 힘든 작업이며, 자동차의 특성상 전자파와 관련된 EMI/EMC 문제가 발생한다. 따라서 본 논문에서는 각 카메라를 하나의 노드로 구성하고 링구조의 네트워크로 연결하여 배선 길이를을 최소화하고 EMI/EMC 문제를 해결한 MOST150 네트워크 기반 차량 주변 감시 시스템을 구현하였다.
MOST150 네트워크는 현대자동차의 제너시스 차량에 장착되어 있으나 오디오 등의 일부에만 이용되고 있는 실정이고 동영상 전달로는 본격적으로 활용하지 않고 있어, MOST150 네트워크를 통한 차량 주변 감시 시스템의 상용화는 시간이 걸릴 것으로 예상하고 있다. 현재 개발된 시스템은 프로토타입 형태로 영상을 보정하고 정합하는 알고리즘을 DSP를 이용하여 구현하였으나, 상용화를 위하여는 FPGA를 이용하여 처리속도 와 영상을 품질을 높이는 것이 필요하다.
