Manipulating a car navigation system while driving can lead to car accident due to loss of concentration. This will be more serious for elders or beginner drivers. Recently, a new Road Traffic Law in Korea prohibits drivers from watching or operating any video displaying devices. So the car navigation system came hard to use. In order to solve the issue we design and implement a novel system where a remote person can control the car navigation system on behalf of the driver. In the proposed system, we suggest to utilize the driver’s smartphone for allowing sharing the Internet connection of the phone with the navigation system. The required smartphone application and the server will also be designed and implemented.
일반적으로, 차량 내에 설치된 내비게이션 단말기는 사용자에 의해 입력된 주소나 전화번호, 명칭 등의 목적지 정보를 이용하여 사용자의 위치로부터 목적지까지의 경로를 안내한다. 이러한 편리성에 의해 내비게이션 단말기는 이제 운전을 할 때 없어서는 안 될 필수품이 되었다.
그러나 많은 운전자들은 운전 중에 내비게이션 단말기를 조작하는 데 불편함을 토로한다. 내비게이션 단말기의 목적지 입력에 꽤 많은 시간이 소요되며, 터치가 번거롭기 때문이다.
물론, 최근에는 음성인식 기술이 도입된 내비게이션이 많이 출시되고 있지만 보급률이 저조할 뿐만 아니라, 음성인식을 사용하더라도 하나 이상의 검색 결과에 대해서는 검색 결과를 확인하고 그 중에서 선택하거나, 원하는 결과가 나오지 않았을 경우에는 검색어를 다시 입력하는 과정이 필요한 경우가 많다.
그리고 내비게이션 단말기의 사용에 미숙한 사용자들이거나, 반대로 기기 사용에는 익숙하지만 운전이 미숙한 초보 운전자 혹은 초행길을 운전하는 사람들에게는 운전 중 내비게이션 조작이 힘들고 시간도 많이 걸려서 교통사고가 발생되는 원인이 되기도 한다.
이에 따라 관계부처는 2014년 2월부터 도로교통법을 개정하여 운전 중 영상표시장치를 시청하거나 조작하면 범칙금 3~7만원과 벌점 15점을 부과하기로 했다. 따라서 차량을 정차시킨 상태에서 내비게이션을 조작하거나, 동승자에게 조작을 부탁해야 한다.
이러한 상황에서 원격지의 사람이 내비게이션을 대신 제어할 수 있다면 유용할 것이다. 특히, 길을 잘 아는 사람이 교통이 덜 막히는 우회 경로나 운전이 편한 길을 검색해 줄 수도 있을 것이다. 본 논문은 원격지에 있는 사람이 운전자를 대신하여 내비게이션을 제어할 수 있도록 하는 시스템을 설계하고 구현한다.
본 논문의 구성은 다음과 같다. 2장에서는 원격 제어기술에 대해 설명하고 기존의 원격 제어 시스템과 관련된 기술 및 연구 사례에 대해 소개한다. 3장에서는 본 논문의 자동차 내비게이션 원격 제어 시스템의 설계 내용을 설명하고 4장에서는 구현 결과에 대해 설명한다. 마지막으로 5장에서는 결론 및 향후 연구과제에 대해 다룬다.
원격 제어는 다른 장치를 이용하여 전자기기를 제어하는 기술이다. 간단한 예로, 리모컨을 이용해서 TV의 채널을 변경하거나 볼륨을 조절하는 것도 원격 제어 기술에 해당한다. PC에서 특정 소프트웨어의 문제가 발생되었을 때 이용하는 원격 진단 서비스도 포함된다. 그리고 최근에는 스마트폰을 이용하여 PC를 원격 제어할 수 있는 등 원격 제어 기술을 일상에서 쉽게 접할 수 있다. 이처럼 PC나 스마트폰, 그리고 기타 전자제품을 원격에서 제어하기 위한 많은 기술들이 있으며, 이를 이용한 제품들이 널리 사용되고 있다.
본 장에서는 PC나 스마트폰을 원격에서 제어하는 데 사용되는 기존의 기술 및 제품들과 본 논문에서 제안하는 시스템을 비교한다.
현재 사용되고 있는 원격 제어 기술 중 가장 널리 사용되고 있는 것이 PC와 PC간의 원격 제어이다. PC간의 원격 제어를 사용하여 원격 진단 서비스나 다른 PC의 자료를 열람하고 공유하는 등 여러 목적으로 사용되고 있다. Microsoft사에서 제공하는 Remote Desktop [1]이나 TeamViewer[2]는 PC간의 원격 제어를 위한 대표적인 프로그램이다.
그리고 최근에는 많은 사람들이 스마트폰을 사용하면서, 스마트폰을 이용하여 원격에서 PC를 제어할 수 있는 소프트웨어의 필요성이 증가되고 있다. 이를 위해 TeamViewer, ZOOK[3]와 같은 원격 제어 애플리케이션이 대표적으로 사용되고 있다.
또한 스마트폰의 화면을 대형 디스플레이를 통해 확인하거나, 스마트폰의 디스플레이나 터치패드에 문제가 생겼을 때 이를 진단하기 위해 PC를 이용하여 스마트폰을 제어하기도 하는데, 이는 주로 ASM(Android Screen Monitor)[4]과 Droid VNC Server[5]를 이용한 다. 하지만, ASM은 유선으로 연결된 컴퓨터에서만 스마트폰을 제어할 수 있으며, Droid VNC Server의 경우 는 무선의 이동통신망을 통하여 제어가 가능하지만 스마트폰의 루팅이 필요하다는 단점이 존재한다. 이러한 단점을 보완하고자 본 논문에서는 이동통신망을 이용하여 스마트폰을 원격 제어하기 위한 시스템을 제안한다. 따라서 로컬이 아니라 외부 망에서도 원격 접속을 할 수 있다는 장점을 갖는다. 또한 TeamViewer와 같은 프로그램은 제어대상과 제어수단이 되는 장치에 각각 별도의 프로그램을 설치해야 하지만, 본 논문에서 제안하는 시스템은 제어를 하는 기기에는 별도의 프로그램을 설치할 필요 없이 웹브라우저를 통해서 제어할 수 있도록 한다.
한편 스마트폰 간의 원격 제어에 관한 연구나 제품은 거의 없는 실정이다. 본 논문에서는 운전자의 스마트폰을 통하여 내비게이션을 제어하기 때문에 스마트폰 간 원격 제어 방안이 함께 제시된다. 표 1은 원격 제어에 있어서 제어대상과 제어수단에 따른 기존 솔루션들을 정리한 것이다.
[표 1.] PC와 스마트폰의 원격 제어 관련 기술·제품
PC와 스마트폰의 원격 제어 관련 기술·제품
PC나 스마트폰과 같은 통신 기기들은 인터넷에 연결해서 원격 제어를 수행한다. 그러나 대부분의 차량용 내비게이션처럼 인터넷에 연결되지 않는 기기도 원격에서 제어할 수 있도록 하기 위한 방안이 필요하다. 이와 관련한 연구 사례들은 다음과 같다.
원격 제어 잠금 시스템의 구현[10]에서는 NFC(Near Field Communication)와 UHF(Ultra High Frequency)통신의 결합설계 방법을 통해 사무실의 잠금장치를 원격으로 제어할 수 있도록 한다. 이는 인터넷에 연결 가능한 장치인 스마트폰을 활용하여 잠금장치를 원격에서 제어한다. 스마트폰은 잠금장치를 제어하는 UHF AP제어기와 통신을 하고, 스마트폰에는 NFC 모듈이 장착되어 근거리에서 잠금장치를 개폐한다.
임베디드 장치의 원격 제어 연구[11]에서는 Wi-Fi Module을 이용하여 원격으로 제어하는 방식을 채택하고 있다. 임베디드 장치가 직접 인터넷에 연결될 수 있도록 Wi-Fi 통신 모듈을 장치에 탑재하는 방식이다. 이 방식의 경우 무선 AP의 신호 범위 이내로 이동범위가 한정되고 로컬 네트워크가 아닌 원격지에서의 제어를 위해서는 공인 IP 주소 설정이나 포트 포워딩과 같은 복잡한 설정이 요구된다.
본 논문에서는 잠금장치의 원격 제어와 유사한 방식을 사용한다. 내비게이션에 블루투스 통신 모듈을 탑재시켜 스마트폰과 연결하고 스마트폰의 통신 기능을 활용하여 인터넷망을 통해 원격 제어를 가능하도록 하는 구조이다. 3장에서는 제안한 방안에 따른 내비게이션 원격 제어 시스템을 설계한다.
네트워크 연결을 통해 다른 장치로 화면 정보를 전송하는 방식에는 크게 두 가지가 있다. 첫 번째는 픽셀 정보 또는 그래픽 프리미티브를 사용하는 방법[12-17]이 고, 두 번째는 버튼, 입력필드 등의 다양한 위젯을 텍스트 형태로 표현하는 방법[18-22]이다. 첫 번째 방식의 이슈는 높은 대역폭과 응답성, 그리고 모바일 장치에 최적화된 화면 스케일을 제공하는 것이다. 본 논문은 이러한 이슈가 적은 두 번째 방식을 사용한다. 텍스트 기반의 화면 공유 방식에서도 부분적으로 비트맵 전송을 하도록 확장될 수 있으나 본 논문에서는 텍스트 메시지 교환에 초점을 둔다. 각 화면별로 전송되는 데이터를 상태 정보라고 부르며, 이는 현재의 대기 중인 화면에 대한 설명으로서, 버튼, 리스트, 입력 폼 등으로부터 발생 가능한 이벤트 정보를 포함하게 된다.
내비게이션 원격 제어 시스템은 구성요소 간에 어떤 연동방식과 프로토콜을 사용하는지에 따라 사용할 수 있는 단말기의 종류나 프로그램에 제약이 따르기도 하고 구현의 용이성이나 사용의 편의성이 달라 질 수 있다. 이에 따라 이번 절에서는 내비게이션 원격 제어 시스템의 설계 방법을 모색하고 이를 비교하여 설계에 가장 적합한 방안을 찾는다.
첫 번째 방안은 운전자의 스마트폰을 웹서버로 동작 시키고, 원격자는 웹브라우저를 통해 운전자의 스마트폰에 직접 접속하는 방식이다. 외부에 별도의 서버나 애플리케이션을 필요로 하지 않기 때문에 관리가 쉽다는 장점이 있다. 그러나 현재 국내 이동통신망에서는 외부에서 스마트폰에 직접 접근할 수 없도록(포트가 차단) 되어있기 때문에 스마트폰을 서버로 동작시키는 방법으로의 구현이 불가능하다는 단점을 확인하였다.
두 번째 방안은 운전자의 스마트폰과 원격자의 스마트폰에 원격 제어를 위한 애플리케이션을 설치하고, 외부에 서버를 따로 두는 방법이다. 서버 기반의 채팅 애플리케이션과 유사한 모델로 이동통신망을 통한 실시간 통신이 검증되어 있다는 장점이 있다. 하지만 원격 제어자도 별도의 애플리케이션을 설치해야 한다는 단점이 있다.
세 번째 방안은 운전자의 스마트폰에는 원격 제어를 위한 애플리케이션을 설치하고, 원격자는 웹브라우저를 이용하여 서버를 통해 통신하는 방식이다. 원격 제어자에게 별도의 애플리케이션 설치가 요구되지 않는 다는 장점이 있다. 이 방안에서는 서버가 사용자 인터페이스를 담당하는 웹서버 기능과 운전자 스마트폰을 제어하기 위한 소켓 통신 서버 기능을 동시에 구현해야 하고, 두 모듈간의 내부통신방안도 마련해야 하므로 구현 난이도는 높은 편이다. 또한 허용되지 않은 사용자의 접속을 차단하기 위한 보안기능의 구현이 필요하다.
위 세 가지 방안들 중에서 구현 가능성과 사용자의 편의성 등을 고려하여 세 번째 방안으로 설계하였다.
본 시스템은 그림 1에 나타낸 것과 같이 내비게이션, 운전자의 스마트폰, 중계 서버, 제어자의 스마트폰으로 구성된다. 내비게이션은 블루투스 모듈이 장착되어 있으며, 운전자의 스마트폰과 블루투스 통신을 한다. 서버는 JSP(Java Server Page)기술을 활용해서 제어자가 접속할 수 있도록 하는 관리페이지를 제공하는 부분과, 소켓통신을 이용하여 운전자 스마트폰과 통신하는 부분으로 나뉜다. 서버는 내비게이션 화면의 정보를 웹페이지로 구성하여 제공하기 때문에 제어자는 스마트폰 뿐만 아니라 웹브라우저가 설치되어있는 태블릿PC, 노트북 등을 이용할 수도 있다.
일반적으로 PC나 스마트폰의 원격 제어에서는 제어대상의 화면을 캡처하여 실시간으로 전송하는 방식을 취하고 있다. 그러나 이동통신망에서는 전송지연이나 대역폭의 부족으로 인해 원활한 실시간 제어가 어려울 수 있다. 내비게이션의 경우, 메뉴 선택, 목적지 검색 등 단순한 정보교환이 주를 이루기 때문에 본 논문에서는 텍스트 형태로 정보를 교환하도록 설계하였다. 물론 필요한 경우에는 지도 이미지나 내비게이션의 전체 화면을 캡처하여 전송하고, 제어자의 키보드 입력이나 마우스 클릭 또는 화면 터치 정보를 전송하여 제어하는 형태로 확장할 수 있을 것이다. 원격 제어 시 교환하는 메시지는 XML 포맷으로 정의하였고, 그림 2에 그 예를 나타내었다.
그림 2와 같이 요청 메시지는 MenuList에 한 화면의 메뉴 정보를 담는다. MenuList는 여러 개의 MenuItem으로 이루어져 있으며, 각 MenuItem에는 style, value, id가 포함된다. style은 타이틀, 리스트뷰, 버튼, 사용자 입력창과 같은 메뉴의 형식을 구분하는 것이며, value는 버튼의 이름이나 리스트뷰의 내용, 사용자입력창의 힌트 등을 포함한다. id는 메뉴 순서대로 숫자를 부여하며, 이 id값을 이용하여 이후 응답메시지에서 어떤 메뉴가 선택되었는지 식별할 수 있도록 한다.
그림 3은 요청 메시지에 대한 원격 제어자의 응답 메시지를 나타낸다. type에 따라 menu_selected와 search_requested로 나뉜다. 원격 제어자가 버튼 또는 리스트뷰를 선택하였을 경우, 해당 메뉴의 id값이 menu_selected 형태로 응답 메시지가 전송되며, 사용자입력창에 검색어를 입력했을 경우에는 search_ requested 형태로 응답 메시지가 전송된다.
어떤 내비게이션 제조사든지 그림 2과 같은 포맷으로 화면 정보를 전송하도록 한다면 본 시스템을 이용할 수 있다. 만약 본 시스템에서 제공하지 않는 형식이 사용된다면, 그 형식에 맞는 타입을 확장시켜 본 시스템에 적용할 수 있을 것이다.
내비게이션의 원격 제어를 위한 과정을 그림 4에 나타내었다. 먼저, 운전자는 스마트폰의 애플리케이션을 이용하여 원격 제어를 요청할 제어자를 선택한다. 제어자의 선택은 주소록(연락처)을 이용할 수 있으며 나중에 SMS를 이용하여 제어 요청 메시지를 보내게 된다. 이후 내비게이션과 운전자의 스마트폰은 블루투스 연결이 이루어지고, 운전자의 스마트폰은 다시 중계 서버와 TCP 소켓 통신을 연결한다.
중계 서버와의 TCP 통신 연결이 설정되면, 운전자의 스마트폰은 중계 서버로부터 웹 페이지 접속을 위한 URL을 수신한다. 이 URL은 제어자의 스마트폰이 접속해서 내비게이션의 화면 정보를 확인할 수 있고, 메뉴를 선택하거나 목적지 검색어를 입력하는 화면이 제공되는 웹 페이지의 주소이다. 또한 URL은 랜덤 코드를 포함한 형태로서 하나의 세션 내에서만 유효할 수 있다. 랜덤 코드를 통한 보안과 관련된 내용은 3.5절에서 자세히 설명한다.
이후, 운전자의 스마트폰은 내비게이션으로부터 현재 화면의 정보를 수신하고, 수신한 화면 정보는 중계 서버로 전송한다. 다음으로, 운전자의 스마트폰은 중계 서버로부터 수신 받은 웹 페이지의 URL을 SMS에 포함하여 제어자의 스마트폰으로 전송한다. 내비게이션의 화면 정보를 수신한 중계 서버는 웹 페이지에 내비게이션의 제어를 위한 화면을 리스트 뷰 또는 버튼 형태로 구성한다.
SMS 메시지로 제어 요청을 받은 제어자는 URL을 선택하여 웹 브라우저를 통해 중계 서버에 접속하며, 이 때 제어자는 중계 서버가 구성한 웹 화면을 볼 수 있다. 제어자는 웹 화면에서 메뉴를 선택하거나 검색어를 입력하여 내비게이션의 제어를 선택할 수 있다. 이 제어정보는 메뉴번호나 검색어 형태로 중계 서버로 전달되며 중계 서버는 다시 그 정보를 운전자의 스마트폰에 전송한다.
운전자의 스마트폰은 중계 서버로부터 수신한 제어정보를 블루투스 통신을 통해 내비게이션으로 전달한다. 내비게이션은 운전자의 스마트폰으로부터 수신한 제어정보에 따라 해당 단계의 동작을 수행한다. 수행이 완료되면, 내비게이션에서는 그에 따른 보조 메뉴가 실행되거나, 다음 단계의 설정을 요청하는 화면을 표시한다. 이러한 정보는 다시 블루투스 통신을 통해 운전자의 스마트폰으로 전송되며, 운전자의 스마트폰은 다시 수신 받은 새로운 화면 정보를 중계 서버로 전송한다. 마찬가지로 중계 서버는 화면 정보를 웹 페이지 형태로 구성하고 제어자 스마트폰의 웹 브라우저 상에서 새로고침 되도록 하여 전달된다. 이러한 과정은 경로 검색이 완료되어 사용자가 원격 제어 서비스를 종료시키기까지 반복되어 수행된다.
본 논문에서는 원격 제어 인증 및 보안을 위해 웹 페이지 접속을 위한 URL에 랜덤 코드를 포함한다. URL에 대한 예시는 다음과 같다.
http://eznavi.com/remote.jsp?code=0a48z9
운전자의 스마트폰과 중계 서버의 TCP 통신 연결이 설정되면, 운전자의 스마트폰은 중계 서버로부터 웹 페이지 접속을 위한 URL을 수신한다. 운전자의 스마트폰은 URL을 SMS에 포함하여 원격 제어를 요청한 제어자의 스마트폰으로 전송한다.
이때 URL은 일회성의 랜덤 코드를 포함한 형태로서 이를 통해 운전자가 선택한 원격 제어자 외에 코드 값이 다른 사람의 접속을 차단할 수 있다.
또한 URL은 하나의 세션 내에서만 유효할 수 있는데, 원격 제어 서비스가 종료되면 사용된 코드는 폐기되기 때문에 동일 사용자라고 하더라도 운전자의 신규요청이 없이는 재접속하여 임의로 내비게이션 장치를 조작할 수 없도록 한다.
제안한 시스템에서 차량용 내비게이션은 운전자의 스마트폰을 통해 인터넷망에 연결되고 원격지에서 제어할 수 있도록 하고 있다. 운전자의 스마트폰은 중계 서버와 TCP 소켓 통신을 하고, 내비게이션과 블루투스 통신을 하면서 중계 서버와 내비게이션 간의 제어 정보를 전달하도록 한다. 이러한 통신의 설정을 위해 스마트폰 애플리케이션을 개발하였고, 실행 화면을 그림 5에 나타내었다.
그림 5의 (a)는 애플리케이션의 메인 화면이다. 하단의 노란색 버튼을 선택하면 원격 제어를 부탁할 사람을 선택할 수 있는데, 그림 5의 (b)는 상대방의 목록을 보여주는 화면이다. 이 목록은 스마트폰 주소록을 통해서 추가할 수도 있다. 메인 화면에는 최근에 원격 제어를 부탁했던 사람이 나타나도록 하여 조작을 최소화 하였다. 화면 중앙의 초록색 버튼을 누르면 내비게이션과의 블루투스 통신, 서버와의 TCP 소켓 통신을 연결하면서 원격 제어가 시작되며, 통신이 정상적인 경우 연결선이 붉은색에서 초록색으로 표시된다.
운전자가 초록색 버튼을 터치하여 원격 제어를 개시하면 스마트폰은 내비게이션과 서버와의 통신이 시작되고, 초기의 내비게이션의 화면 정보(메뉴)가 서버로 전송된다. 동시에, 운전자 스마트폰 앱은 서버가 구성한 웹페이지에 접속할 수 있는 URL 값을 받고, 선택한 원격 제어자에게 URL을 포함한 SMS를 전송한다.
서버는 JSP 기반으로 웹페이지를 구현하였으며, 다양한 모바일 브라우저를 위해 JQueryMobile을 활용하였다. 운전자 앱과 소켓 통신을 하기 위한 코드는 JavaBeans형태로 구현하여 웹페이지와 연동된다. 제어자의 메뉴 선택이나 검색 요청에 따른 결과 화면을 수신하여 유기적으로 웹페이지를 갱신하기 위해서 Ajax(Asynchronous JavaScript and XML)를 활용하였다. 그림 6은 제어자의 웹브라우저 화면이다.
제어자는 웹 페이지에 구성된 내비게이션 화면 정보를 확인하고 버튼을 선택하거나 검색어를 입력한다. 제어자에 의해 입력된 제어 정보는 서버에서 운전자의 스마트폰을 통해 내비게이션에 전달되고, 그 제어 정보에 따라 내비게이션의 특정 메뉴가 선택되는 등의 기능을 수행한다. 이에 따라 전환된 화면의 정보는 다시 운전자 스마트폰을 통해 서버로 전송되며, 같은 과정을 반복한다. 내비게이션의 제어가 모두 완료되면 제어자는 웹페이지의 ‘연결취소’버튼을 선택하여 원격 제어를 종료한다.
그림 7은 원격 제어의 시연 장면이다. 내비게이션에 나타난 통합검색 화면과 제어자의 스마트폰에 표시되는 웹 브라우저 화면 내용이 동일함을 알 수 있다. 내비게이션의 종류와 무관하게 본 논문에서 정의된 메시지 포맷을 따르게 되면 제안한 시스템과 연동이 가능하다.
운전 중 내비게이션을 조작하는 것은 집중력이 분산되어 교통사고로 이어질 수 있으며, 특히 고령자나 초보 운전자에게는 더욱 위험하다. 최근에는 도로교통법 개정으로 운전 중 영상표시장치를 시청하거나 조작하는 것이 금지되어 현실적으로 자동차 내비게이션의 사용이 어려워졌다. 본 논문은 이러한 불편을 보완하기 위해 운전자가 아닌 다른 사람이 내비게이션을 대신 조작할 수 있는 원격 제어 시스템을 설계하고 구현하였다.
설계한 시스템은 제어를 하는 기기에서는 별도의 애플리케이션을 추가로 설치할 필요 없이 웹브라우저만 있으면 가능하다는 특징이 있다. 따라서 제어자는 스마트폰뿐만 아니라 웹브라우저가 설치되어있는 태블릿 PC, 노트북 등을 이용할 수도 있다. 본 논문에서 제안한 시스템은 운전자의 스마트폰을 통하여 내비게이션을 제어하기 때문에 결국 스마트폰과 스마트폰간의 원격제어 모델을 제시하고 검증했다는 측면에도 기여하는 바가 크다.
본 논문에서 제안한 시스템의 경제적 측면을 분석해 보면, 약 1달러 수준인 블루투스 칩을 내비게이션에 장착하는 데는 비용 부담이 없으며, 별도의 이동통신 가입이 필요 없이 운전자의 이동통신 단말을 활용할 수 있어서 경제적 부담이 적다. 서비스를 위해 서버를 구축하고 유지하는 비용이 고려되어야 하지만, 이러한 방식은 기존의 내비게이션 업체들에게 가입자 기반의 서비스 모델을 통해 새로운 사업의 기회를 제공할 수 있다는 장점이 있다. 한편, 제안된 시스템은 안전운행을 통한 교통사고를 예방하고, 고령운전자나 장애인들도 내비게이션을 편리하게 사용할 수 있도록 하는 사회적 효과도 기대해 볼 수 있다.
향후, 지도 이미지의 전달과 제어가 가능하도록 실시간 영상 기반의 원격 제어 방안을 연구하고자 한다.
