Car rear-view camera system supplies services for safe driving and easy parking by showing the rear-view of the vehicle through a monitor when reversing the car. In this paper we researched implementation methods and technology of a Car Rear-view Camera System based on the Binary CDMA technology–new technology of wireless personal area network developed by Korea - that makes free installation without wired cables restriction and reduces installation costs. Through this research we manufactured a prototype system, and researched the implementation of camera input and monitor output modules, Binary CDMA wireless communication and application programs for wireless video transmitter and relay server.
최근 출시되는 차량에는 전방 카메라, 후방 카메라, 블랙박스형 카메라 등 자동차 카메라의 장착이 필수 옵션으로 채택되고 있다. 전방 카메라는 골목길에서 대로변 진입시 운전석에서 보이지 않는 좌우측 사각지대를 모니터로 확인후 안전하게 진입할 수 있게 하고, 후방카메라는 후진시 시야확보가 어려운 차량 후방부를 모니터에 영상으로 보여주어 인명보호 및 접촉사고를 사전에 예방할 수 있게 한다. 블랙박스형 카메라는 주행중 상시 녹화가 이루어져 차량 사고 당시의 상황을 확인할 수 있게 한다.
일본 시장조사기관 TSR에 따르면 세계 차량용 카메라 시장 규모는 그림 1과 같이 지난해 30억달러(약 3조 2400억원)에서 올해 42억달러(약 4조5000억원), 2016년 55억달러(약 5조9000억원)로 급성장할 전망이다[1]. 또한 미국 고속도로교통안전청(NHTSA)은 2018년 5월까지 모든 차량에 후방카메라 탑재를 의무화하는 법안을 발표하였다[2]. 그래서 차량용 카메라는 업계 블루오션으로 부상하고 있다.
Binary CDMA는 우리나라가 독자 개발한 새로운 무선통신 기술로 2009년 1월 국제표준(ISO)으로 최종 제정되었다. Binary CDMA는 개인용 무선통신 기술(WPAN: Wireless Personal Area Network)로 타 근거리 무선통신에 비해 고화질 영상의 무선 송수신과 장애물 통과가 우수하고, 최대 55Mbps의 초고속 데이터 전송과 탁월한 원거리 무선 송수신을 지원한다. 이로 인해 과거 근거리 무선통신 제품 개발을 위해 지불해 왔던 비싼 기술료를 절감할 수 있게 되었다. 개인용 근거리 무선통신 기술의 비교는 그림 2와 같다.
본 논문에서는 우리나라가 자체 개발한 개인용 근거리 무선통신 표준기술인 Binary CDMA를 기반으로 한 자동차 후방카메라 시스템의 구현방법 및 구현기술에 관해 연구하였다. 이를 위해 시스템 요구사항 분석을 통해 시스템의 기능을 정의하고, 시스템의 구조를 설계한 후, 자동차 무선 후방카메라 시스템의 구현방법 및 기술을 연구하고 시스템을 구현하였다.
국내는 물론 전 세계 자량용 카메라 산업의 높은 성장 잠재력에 비해 차량용 카메라 시스템은 아직은 유선을 기반으로 하고 있어 설치상의 제약과 설치비용이 요구되고 있는 실정이다. 극히 제한적인 무선 기반의 차량용 카메라 시스템도 WiFi 무선 LAN에 기반을 두고 있어 로얄티 등의 기술료가 발생하고 있다. 그러므로 우리나라가 독자 개발한 개인용 근거리 무선통신(WPAN) 신기술을 이용하여 설치가 자유롭고 설치비용과 기술료를 절감할 수 있는 차량용 무선 후방카메라 시스템 개발에 관한 연구는 기술적 측면은 물론 경제‧산업적 측면에서도 중요한 의미를 가진다.
설치 제약 없이 자유롭게 설치 가능한 Binary CDMA 무선 후방카메라 시스템의 구성과 기능 요구사항을 분석하였다. 그리고 이의 요구를 충족시킬 수 있는 국내 표준화 Binary CDMA 무선통신 기술을 소개하였다.
Binary CDMA는 국내 표준화 개인용 무선통신 기술로서 H.264 고화질 영상품질(QoS), 최대 55Mbps 초고속 데이터 전송, 장애물 통과의 우수성, 여러 동시 채널전송 지원, 기존 TDMA 장비와의 호환성, 기술료 절감 등 자동차 후방카메라 시스템의 다양한 기술적 요구사항을 충족시킬 수 있는 무선통신 기술이다.
1) Binary CDMA 기술 개요
Binary CDMA는 우리나라가 독자 개발한 CDMA 기술로 디지털 기기들을 무선으로 연결하여 음성, 영상, 데이터를 선 없이 자유롭게 주고받을 수 있는 개인용 무선통신 기술이다. 그림 3과와 같이 멀티 레벨 신호를 Binary 파형으로 바꾸어 일반적인 TDMA용 RF 모듈을 이용해서 멀티 채널 CDMA 신호를 전송할 수 있어 송수신 시스템의 구조를 획기적으로 단순화한다.
2) Binary CDMA 무선 통신
Binary CDMA 무선 통신은 그림 3과 같이 슈퍼프레임이 반복되며, 하나의 슈퍼프레임은 비콘구간, 경쟁구간, 할당구간으로 나뉜다.
비콘 구간에서는 마스터가 비콘 패킷을 통해 슬레이브들에게 피코넷의 상황 및 할당구간에서의 자원할당 상황을 알려주고, 경쟁구간에서는 슬레이브들이 마스터에게 자원할당 요청이나 피코넷 합류요청을 하게 된다. 할당구간에서는 슬레이브들은 비콘을 통해 할당받은 자원(코드, 타임슬롯)을 사용하여 통신을 하게 된다. Binary CDMA의 일반적 프레임 구조는 그림 5와 같다. 정의된 프레임의 종류는 모두 4가지로 비콘프레임, 명령프레임, 수신확인프레임, 데이터프레임이 있다[3].
자동차 후방카메라 시스템은 그림 6과 같이 자동차 후방카메라와 모니터(LCD, TV, 내비게이션), 통신을 위한 장치와 응용프로그램의 결합에 의해 후진 시 운전자의 안전 운전을 위한 시야확보와 주차의 편리는 물론이고 다양한 부가서비스를 제공한다.
무선영상전송기는 유선의 제약 없이 자유롭게 설치가능하며, 후방카메라의 영상을 인코딩하여 무선으로 전송한다. 무선영상중계기는 수신한 영상을 디코딩하여 차량모니터에 출력한다.
본 연구를 통해 개발하고자 하는 Binary CDMA 자동차 후방카메라 시스템의 구체적인 기능 요구사항은 다음과 같다.
Ⅲ. Binary CDMA 자동차후방카메라 시스템 설계
Binary CDMA 자동차후방카메라 시스템의 전체 시스템 구조와 통신보드와 RF의 하드웨어를 설계하였다. 카메라 영상의 H.264 인코딩과 모니터 출력의 디코딩을 수행하는 영상처리부를 설계하고, 영상전송기와 중계기 간의 Binary CDMA 무선 통신을 수행하는 네트워크통신부를 설계하였다.
Binary CDMA 자동차후방카메라 시스템의 구조는 그림 7과 같고, 클라이언트-서버 구조를 가진다. 클라이언트는 영상처리부의 코덱 라이브러리를 이용하여 카메라 영상을 인코딩한 후, 네트워크통신부의 TCP/IP 소켓 라이브러리를 이용하여 서버로 전송한다. 서버는 네트워크 통신으로 수신한 영상을 영상처리에 의해 디코딩 후, 모니터를 통해 출력한다. 멀티미디어 통신보드 및 RF 모듈은 동영상‧음성의 Binary CDMA 무선통신을 지원하고, 리눅스 커널은 카메라, 모니터 등 입출력장치의 디바이스 드라이버를 제공한다.
멀티미디어 통신보드와 RF 모듈은 후방카메라 영상의 Binary CDMA 무선통신을 지원한다. 무선영상전송기와 중계기는 하드웨어적으론 동일하고, 응용프로그램에 의해 영상전송기 혹은 영상중계기로 동작한다.
3.2.1. 멀티미디어 통신보드
멀티미디어 통신보드는 동영상‧음성의 Binary CDMA 무선통신을 지원하고, 기존 상용 자동차 후방카메라와 모니터의 연결을 위한 표준 영상‧오디오 인터페이스를 제공한다. 멀티미디어 통신보드는 그림 8과 같이 삼성의 S3C6410 멀티미디어 전용 CPU를 가지고, Binary CDMA SoC (KWPAN1200)와 RF IC를 가지는 대우전자부품의 RF 통합 모듈이 결합된다.
3.2.2. RF 통합 모듈
RF 통합 모듈의 KWPAN1200은 Binary CDMA MAC과 PHY 계층을 내장하고 있는 SoC IC 이다. 2.4G 대역의 RF IC를 외부에 장착한 모듈 형태의 제품으로 Binary CDMA 무선통신을 지원한다[3].
고화질 영상의 무선 송수신을 위해 차세대 동영상 압축 표준인 H.264를 이용하여 영상을 압축하고 전송을 한다. 무선 전송기와 중계기의 응용프로그램은 삼성 제공의 Multimedia Acceleration 드라이버를 이용하여 MFC(MultiFormatCodec) Encoding/Decoding 한다[4].
3.3.1. 자동차카메라 영상의 입？출력 이동 경로
자동차카메라 영상을 입‧출력 시 S3C6410 MFC CODEC 메모리의 이동 경로는 그림 10과 같다.
3.3.2. 자동차카메라 입력 모듈 및 절차
무선전송기의 카메라 입력은 그림 11과 같이 Camera 영상 데이터가 4-핑퐁 방식으로 카메라 Codec Buffer에 버퍼링을 거쳐 MFC Frame Buffer에 복사된다. 무선전송기는 카메라의 입력 영상을 Camera Frame Buffer에 저장하고, 이를 MFC Frame Buffer에 복사하여 H.264로 Encoding한 압축 영상을 Stream Buffer를 거쳐 중계기로 전송한다.
3.3.3. 자동차모니터 출력 모듈 및 절차
무선중계기의 모니터 출력 절차는 그림 12와 같다. Camera Codec Path를 통해 입력된 카메라 영상은 DMA에 의해 Camera Frame Buffer에 RGB 영상으로 저장된다. Post Processor는 Camera Frame Buffer의 소스 이미지를 LCD 출력을 위한 위치지정과 Scaling 등의 변환작업을 수행하여 LCD Window0 Frame Buffer에 저장한다. Window1 Frame Buffer의 배경 이미지와 Window0의 카메라 영상이 LCD Controller에 의해 Overlay되어 LCD로 출력된다.
Binary CDMA 네트워크 통신부는 무선 전송기와 중계기 간에 영상의 무선 통신을 한다. 무선전송기와 중계기에 TCP/IP의 탑재로 소켓에 의한 Binary CDMA 무선 기반의 인터넷 통신이 가능하다.
3.4.1. 네트워크 통신부의 구조
네트워크 통신부의 구조는 그림 13과 같다. RF 통합모듈은 무선 통신을 위한 Binary CDMA MAC과 PHY계층을 내장하고, 외부 장착 2.4GHz RF IC를 가진다. Network Driver는 네트워크 디바이스 제어를 위한 소프트웨어로 RF 통합 모듈과의 인터페이스 기능을 수행한다. 이의 상위에 TCP/IP 기반의 소켓 라이브러리를 장착하여 이를 이용한 응용프로그래밍이 가능하다.
3.4.2. Binary CDMA Frame 송신
Binary CDMA 프레임의 송신절차는 그림 14와 같고, 이의 반복으로 Binary CDMA MAC프레임을 전송한다.
① INT_EN Register의 TX_INT Enable ② TX_CFG Register의 TX_DMA_Count 초기화 ③ INT_STS Register의 TX_STS가 IDLE인지 확인 ④ TX DMA에 의해 TX Buffer로 Frame 복사 ⑤ RF를 통해 Frame 전송 ⑥ INT_STS의 TX_INT Set ⑦ CPU측으로 TX IRQ 송신 ⑧ ISR이 INT_STS 조회하여 TX 완료 INT이면 다음 프레임을 전송한다.
3.4.3. Binary CDMA Frame 수신
Binary CDMA 프레임의 수신절차는 그림 15와 같고, 이의 반복으로 Binary CDMA MAC프레임을 수신한다.
① INT_EN Register의 RX_INT Enable ② RX_CFG Register의 RX_DMA_Count 초기화 ③ RF를 통해 RX Buffer에 Frame 도착 ④ INT_STS Register의 RX_INT Set ⑤ CPU측으로 RX IRQ 송신 ⑥ ISR이 INT_STS 조회하여 어떤 Interrupt가 발생하였는지 확인 ⑦ RX DMA 처리를 위해 DPQ에 등록 ⑧ RX DMA에 의해 Frame을 읽는다.
Ⅳ. Binary CDMA 자동차후방카메라 시스템 구현
Binary CDMA 자동차 후방카메라 시스템의 무선 영상전송기와 중계기의 시제품을 제작하였고, 이의 설치 및 연결방법, 무선 영상전송기와 중계기의 H.264 인코딩과 디코딩 절차, 소켓을 이용한 패킷의 송수신 절차, 응용프로그램의 구현절차에 관해 연구하였다.
멀티미디어 통신보드는 Binary CDMA SoC(KWPAN 1200)와 RF IC를 가지는 대우전자부품의 RF 통합 모듈과 삼성의 S3C6410 멀티미디어 전용 CPU를 시스템 통합하여 제작한다.
4.1.1. 시스템 제작
Binary-CDMA 무선 영상전송기와 중계기는 그림 16과 같이 카메라 입력단자와 모니터 출력단자, 콘솔 혹은 네트워크 연결을 위한 포트, USB 단자, LED 상태표시등, 리셋버턴, 전원포트, 2.4GHz 안테나를 가진다.
4.1.2. 시스템 설치 및 연결
연결은 그림 17과 같이 무선전송기에 전원(5V/2A)과 카메라의 NTSC Out 또는 Video Out을 비디오 입력단자에 연결한다. 무선중계기는 전원(5V/2A)과 TV 또는 모니터의 컴포지트 In을 비디오 출력단자에 연결한다.
무선영상전송기는 자동차 후방카메라의 영상을 입력받아 H.264로 인코딩한 후, 압축동영상을 UDP 소켓을 이용해 무선망을 통해 무선영상중계기로 전송한다.
4.2.1. 자동차카메라 영상의 H.264 인코딩 절차
자동차카메라 영상의 H.264 인코딩은 삼성의 S3C 6410 MFC 코덱 라이브러리를 이용하고, 인코딩 절차는 그림 18과 같다.
패킷의 송신절차는 그림 19와 같다. 응용프로그램이 소켓 API로 메시지 전송을 요청하면, sys_sendto()가 실행되어 송신 msg를 소켓버퍼로 복사한 후, ip_build_xmit()가 IP 패킷의 MAC 헤드를 설정한다. Network Device Driver의 device_queue_xmit()는 skb 패킷을 NW Driver TX Queue에 저장하고, Device TX FIFO가 IDLE 상태이면 hard_start_xmit()에 의해 MAC 프레임 전송요청 되고, Device TX Queue를 거쳐 RF를 통해 무선망으로 MAC 프레임이 전송된다[5].
4.2.3. 무선영상전송기 응용프로그램
무선영상전송기는 자동차 후방카메라의 영상을 입력받아 H.264로 인코딩한 후, 압축 동영상을 UDP 소켓을 이용하여 무선망을 통해 무선영상중계기로 전송한다. 응용프로그램의 수행절차는 그림 20과 같다.
무선영상중계기는 UDP 소켓을 이용하여 무선망으로부터 압축 동영상을 수신하고, H.264로 디코딩하여 재생한 카메라영상을 자동차 모니터로 출력한다. 빠른 실시간 통신이 이루어지도록 멀티쓰레드 방식으로 구현하고, 동영상은 빠른 실시간 전송을 위해 UDP 소켓을 이용하였고, 서버의 주소가 고정적이므로 UDP 소켓의 성능향상을 위해 connect() 연결기법을 이용하였다.
4.3.1. 자동차카메라 영상의 H.264 디코딩 절차
자동차카메라 영상의 H.264 디코딩 절차는 그림 21과 같다.
4.3.2. Binary CDMA 패킷의 수신 절차
패킷의 수신절차는 그림 22와 같다. RF를 통해 MAC 프레임이 수신되어 Network Device의 RX Queue에 저장되면 NET_RX_INT가 발생하고, net_rx()가 Driver RX Queue로 MAC 프레임을 이동시킨다. net_if_rx()는 이를 skb 버퍼에 저장한 후 상위계층으로 패킷을 올리면 각 계층별 메시지 수신함수를 거쳐 응용프로그램의 메시지 수신함수로 전달된다[5].
4.3.3. 무선영상중계기 응용프로그램
무선영상중계기는 UDP 소켓을 이용하여 무선망으로부터 압축 동영상을 수신하고, 디코딩하여 재생한 카메라영상을 자동차 모니터로 출력한다. 응용프로그램의 수행절차는 그림 23과 같다.
자동차 후방카메라 시스템은 후진 시 시야확보가 어려운 차량 후방을 모니터 영상으로 보여주어 안전 운전과 주차 편리를 위한 다양한 서비스를 제공한다. 본 논문에서는 우리나라가 개발한 개인용 무선통신 기술 Binary CDMA를 이용하여 자유로운 설치와 설치비용 및 기술료를 절감할 수 있는 자동차 후방카메라 시스템의 구현방법 및 기술에 관해 연구하였다.
본 시스템은 자동차 후방카메라의 영상을 H.264로 인코딩한 후, 압축 동영상을 UDP 소켓을 이용하여 Binary CDMA 무선 전송하는 무선영상전송기와 무선망을 통해 수신한 압축 동영상을 디코딩하여 자동차 모니터로 출력하는 무선영상중계기로 구성되어 있다. 무선영상전송기와 중계기의 영상처리부는 삼성 제공 코덱 라이브러리를 이용하여 카메라 영상을 인코딩/디코딩하고, 차세대 동영상 압축 표준인 H.264를 이용한다. 무선영상전송기와 중계기는 TCP/IP의 탑재로 소켓 프로그래밍이 가능하고, 네트워크 통신부는 영상전송기와 중계기 간에 Binary CDMA 무선 통신을 수행한다.
본 연구를 통해 Binary CDMA 자동차 후방카메라 시스템의 무선영상 전송기와 중계기의 시제품을 제작하였다. 무선영상전송기의 카메라 입력, 카메라 영상의 인코딩, 응용프로그램의 핵심 구현에 관해 연구하였고, 무선영상중계기의 모니터 출력, 카메라 영상의 디코딩, 응용프로그램의 핵심 구현에 관해 연구하였다.
현재 VGA(640*480) 해상도를 기준으로 18~22 FPS 속도 성능을 나타내고 있다. 향후 수신 프레임의 RX 인터럽트 발생시 쓰레드 구동 지연에 대한 성능 개선을 위한 연구를 계속하여 D1(720*486) 해상도를 기준으로 25~30 FPS 성능 구현이 이루어지도록 할 것이다.
