With the continued popularity of mobile devices such as smart-phones and tables, the development of the various kinds of digital contents making tools has not increased only the productivity of the digital contents, but also the demand of them rapidly. Geo-contents which means the digital contents related to location(geographic) information has enabled the user custom services. Especially, there are already some commercial location-based services that provide the user to POI (Points of Interest) with the geo-image contents such as photos tagged by the location. In the geo-video contents, there could be several related locations in the whole video, but only one representative location is used to tag a location to the video. In this paper, we have define the geo-video as a video content which has as many locations as the number of frames composing the video. We have also proposed the geo-video making tools and a viewer to create and utilize the geo-video contents. The geo-video contents proposed in this paper, are widely used in location based video contents searching services.
일반적으로 디지털 콘텐츠의 정보 검색은 문자로 표현되는 키워드 매칭 질의로 이루어진다. 이 경우 사용자 위치기반의 검색 서비스를 지원하기 어려운 문제가 있다. 이 문제를 해결하기 위하여 Geo-Contents[1]가 제안되었다. Geo-Contents는 시공간 참조 정보로서 Georeference 메타데이터를 포함하는 콘텐츠를 의미한다. 이미지 콘텐츠 중 사진의 경우에는 스마트폰을 포함하여 다양한 카메라 디바이스가 GPS센서를 내장하고 있으므로 자동으로 위치정보를 결합[2]한 콘텐츠가 제공되고 있으며 이를 활용한 위치기반 서비스가 제공되고 있다. 구글에서 제공하는 지도 갤러리 등의 웹 앨범 서비스와 모바일 앱 서비스들은 위치정보가 포함된 사진의 EXIF(Exchangeable Image File Format) 정보를 활용하고 있다[3].
동영상 콘텐츠와 위치정보가 결합된 서비스로는 일본의 Iwane사에서 만든 iiCosmo[4] 또는 다음의 로드뷰와 유사한 GIS 공간데이터 시스템[5] 등이 있다. 이러한 위치기반 동영상 콘텐츠 서비스의 경우, 이미지 콘텐츠와 유사한 방식으로 하나의 대표위치정보와 결합된 동영상 콘텐츠를 사용하거나 도로정보나 네비게이션 분야에서만 사용하고 있다.
현재에는 사용자의 별다른 설정 없이 사진 촬영을 하게 되면 자동으로 EXIF 정보를 포함한 GeoImage가 생성되어 자연스레 Geo-Contents의 양이 증가하게 되고 그에 해당하는 다양한 서비스가 나오게 되었고 좀 더 나아가 동영상의 Single 위치만을 포함하는 서비스가 나오게 되었다. 하지만 다양한 장소에서 촬영을 한 Multiple 위치 기반의 서비스를 제공 하지 못하고 있으며 이를 해결하고자 GeoVideo가 제안 되었다[6]. 최근의 블랙박스 소프트웨어에서는 동영상에 대한 Multiple 위치를 다루고 있으나, 하나의 동영상 내에서의 Multiple 위치가 아닌, Single위치를 갖는 동영상 여러개를 관리하고 있어 본 논문에서 다루려는 GeoVideo와는 차이가 있다. GeoVideo를 활용한다면 모든 동영상을 시청 중 동영상의 해당 프레임에 맞는 촬영 장소를 알 수 있는 서비스를 제공 할 수 있으며 동영상 또한 Single 위치 기반의 관리 서비스가 아닌 Multiple 위치 기반의 관리 서비스로 바뀌게 될 것이다. 또한 VideoLocations 파일을 활용하게 된다면 다양한 검색방법으로 동영상을 찾는 서비스 또한 가능하게 될 것으로 추정되어 동영상 내의 다양한 위치정보를 제대로 활용하게 되고 미디어 매체(영화, UCC, TV 쇼 프로그램)의 위치정보를 활용한 서비스가 구현 가능하게 될 것이다.
이 논문에서는 프레임별 위치정보가 포함된 동영상 콘텐츠를 GeoVideo라 정의하고, GeoVideo 콘텐츠를 제작하고 활용하기 위해서 GeoVideo 제작도구 및 뷰어 소프트웨어를 구현하였다. GeoVideo는 GPS센서가 내장된 동영상 콘텐츠 제작 디바이스를 통해서 자동으로 생성될 수도 있으며, 기존의 동영상 콘텐츠에 대해서 관련 위치정보를 지도서비스를 통해 수동으로 입력하는 방식으로도 생성될 수 있다.
이 논문의 구성은 다음과 같다. 2장에서는 위치정보가 결합된 디지털콘텐츠에 대한 관련연구를 기술하고, 3장에서는 GeoVideo를 정의한다. 4장과 5장에서는 본 논문에서 제안하는 GeoVideo 제작도구와 뷰어 소프트웨어의 설계 내용과 구현결과를 각각 설명한다. 마지막으로 6장에서는 결론과 향후 연구과제에 대해서 기술한다.
모든 차량 블랙박스 기기 또는 스마트폰 블랙박스 앱을 통해 녹화되는 동영상이 GPS데이터 및 촬영시간 기록과 함께 중앙서버에서 관리된다면, 특정한 지역에서 범죄가 발생하였을 때 해당지역에서 범죄발생 시간대에 녹화된 동영상들을 수집하고 분석함으로서 각각 다른 시각의 차량에서 촬영된 정황을 확보하여 수사에 활용 할 수 있다[7]. 그리고 4S-Van 차량을 활용한 Video GIS 연구[5]에서는 4S-Van 차량에 탑재된 비디오카메라를 통해 동영상을 촬영하고, 차량의 위치, 카메라의 자세정보를 이용하여 촬영된 동영상 정보로부터 공간객체를 추출 할 수 있다.
EXIF는 JEIDA(일본전자산업진흥협회)에서 개발한 포맷으로서 디지털 카메라에서 채택하고 있는 메타 파일의 저장 형식이다.
촬영된 이미지에 카메라의 제조회사, 모델명, 촬영일, 촬영 옵션 상태 값, 플래시 사용여부 등 다양한 부가정보를 기록하고 있다. EXIF는 촬영하는 순간에 카메라에 의해서 이미지파일(JPEG)에 자동으로 기록된다[8]. EXIF 포맷으로 위치정보가 포함된 이미지 파일의 경우 다양한 활용 사례를 갖는다. 대표적인 예로 구글사의 사진을 지도위에서 확인하는 서비스인 Panoramio를 들을 수 있다. Panoramio 서비스는 지도상에 시각화하여 손쉬운 사진 관리와 사진들이 찍힌 위치에 따라 파일화 되고 검색되는 것을 가능하게 한다[9].
본 논문에서는 프레임별로 위치정보가 포함된 동영상 콘텐츠를 GeoVideo라 정의한다. GeoVideo를 저장하기 위한 동영상 콘텐츠 파일 포맷은 본 연구의 범위를 벗어난다. 본 연구에서는 기존 포맷(예를 들면 mp4, avi, wma 등)의 동영상 콘텐츠 파일과는 별도의 파일로 해당 동영상 콘텐츠의 프레임 별 위치데이터를 저장하고자 한다. 이는 자막을 위해 별도의 SMI 파일을 사용하는 것과 유사한 방식이다.
본 연구에서 제안하는 동영상 콘텐츠 위치데이터 파일은 멀티플 위치와 원활한 검색을 위한 메타데이터가 존재하며 다음과 같이 세 부분으로 구성된다. 첫째 위치데이터파일을 생성한 사용자에 대한 정보를 저장하는 부분, 둘째 동영상 콘텐츠의 기본적인 메타정보를 저장하는 부분, 그리고 마지막으로 해당 동영상 콘텐츠의 위치정보를 저장하는 부분으로 구성된다. 본 논문에서는 XML스키마 위치데이터 파일을 그림1과 같이
그림 2는 본 연구에서 제안한 동영상 콘텐츠 위치데이터 파일의 사용 예를 보이고 있다. FrameTime의 단위는 분이며 삽입이 되어 있지 않은 구간은 위치가 변하지 않은 구간으로 간주하게 된다. 예를 들어 그림3을 보면 첫 번째 FrameTime이 1이고 두 번째 FrameTime이 63인데 이는 동영상 시작 후 1분에서 62분 사이는 처음 시작과 같은 위치에서 촬영을 한 것을 의미한다.
GeoVideo 제작 도구란 GeoVideo를 생성하는 소프트웨어이다. GeoVideo 제작 도구는 동영상 콘텐츠에 위치정보를 입력하는 방식에 따라서 자동 방식과 수동방식으로 나뉜다. 자동 방식이란 동영상 콘텐츠를 촬영하는 동시에 자동으로 위치데이터 파일이 생성됨을 의미하며, 촬영장비에 위치를 확인할 수 있는 GPS 센서 등이 내장되어 있는 경우에 사용 될 수 있다. 수동 방식은 동영상 콘텐츠를 촬영하는 장비가 위치 정보를 확인 할 수 없는 경우에 사용되며, 동영상 콘텐츠 생성 이후에 사용자가 해당 동영상을 보면서 지도 서비스 등을 통해 수동으로 위치데이터 파일을 생성하는 것을 의미한다.
⚫ 자동 제작 도구
그림 3은 Video Stream과 GPS 데이터를 디바이스로부터 받아 동영상 콘텐츠 파일과 위치 파일을 자동으로 생성하는 방법을 표현한 그림이다. 자동 제작 도구의 경우는 GPS 수신부와 Video 촬영 기능이 포함된 디바이스 중 가장 대중화되어있고 대표적인 스마트폰을 초점에 두고 설계 하였다.
자동 제작 도구는 GPS 데이터를 수신하는 시기를 설정할 수 있다. GPS 데이터 수신시기는 첫째, 일정시간 간격, 둘째, 촬영되는 위치가 변경되는 시간, 끝으로 촬영 시작 및 종료 시간으로 설정 할 수 있다. 일정시간 간격의 경우 사용자가 분단위로 시간을 설정하는 방법이다. 촬영되는 위치가 변경되는 시간은 범위 반경을 지정하여 촬영을 시작한 장소로부터 해당 반경을 벗어나면 GPS 데이터를 받아오게 되고 새로 받아온 GPS 데이터로부터 설정범위를 벗어나는지 판단하는 작업을 반복 하는 것이다. 그리고 마지막으로 촬영 시작 및 종료 시간의 경우 촬영버튼을 지속적으로 눌러 촬영을 하고 촬영버튼을 땔 때 하나의 GPS 데이터를 받아오게 되고 다시 촬영버튼을 누르게 되면 이전에 촬영하던 동영상에 이어서 촬영이 되는 방식이다.
⚫ 수동 제작 도구
그림 4는 수동 제작 도구를 사용하여 GeoVideo 콘텐츠를 생성하는 방법을 보이고 있다. 위치정보가 포함되지 않은 기존 동영상 콘텐츠 파일(Video File)과 지도 데이터를 입력받아 사용자가 수동으로 동영상의 프레임과 지도상의 위치를 선택하여 맵핑하게 된다.
GeoVideo를 보기위해서 본 논문에서는 그림 5와 같이 Video 뷰어와 Map 뷰어로 구성된 GeoVideo 전용 뷰어를 설계 하였다. GeoVideo 뷰어의 경우 첫 번째 화면처럼 일반 Video 뷰어와 흡사하고 위치확인 버튼이 존재한다. 위치확인 버튼의 경우 동영상 시청에 방해 되므로 액션(스마트폰으로 예를 들면 화면 터치, 메뉴 버튼 터치)을 행하여야 나오게 된다. 첫 번째 위치확인 버튼을 선택하게 되면 두 번째 화면처럼 화면이 분할되어 Video 뷰어와 Map 뷰어로 나뉘게 되어 동영상의 현재 프레임에 해당하는 위치정보를 확인 할 수 있게 된다. Map 뷰어에는 두 가지 버튼이 존재하는데 다시 원래 Video 뷰어로 돌아가는 버튼과 즐겨찾기와 유사한 기능으로 향후에 어느 지점을 보았는지 확인할 수 있도록 현재 프레임 이미지와 위치정보, 동영상정보를 함께 저장하는 버튼이다. 저장하는 버튼을 선택하면 동영상 시청을 완료한 후 저장한 목록을 세 번째 화면처럼 리스트로 확인 할 수 있다.
본 논문에서는 GeoVideo를 활용한 다양한 검색방법을 제안한다. 검색하기 위해서는 그림2에서 제안한 위치데이터 파일을 사용하여 GeoVideo를 공유가능하게하도록 공유서버를 만들어야 한다. 또한 공유서버를 통해 개인 혹은 방송사, 영화제작사 등에서 공유서버에 GeoVideo를 등록하여야 한다. 이렇게 만들어진 공유서버를 이용하여 본 논문에서는 두 가지의 검색법을 제안한다. 그 중 하나로는 위치를 통한 검색방법이 있다. 이 방법은 GeoVideo를 통하여 위치를 알 수 있다면 그 역으로 위치를 통하여 GeoVideo 동영상을 검색 하는 방법 또한 가능하게 되는 원리이다. 다른 하나는 위치데이터 파일의 VideoInfoData 요소 중 각 element를 사용하여 기존의 단순 제목 키워드 매칭질의와 더불어 GeoVideo를 검색하는 방법이 가능하다. 자세한 내용은 그림을 보며 설명하도록 한다.
그림 6은 앞서 소개한 위치기반의 GeoVideo검색방법을 표현한 그림이다. 자신의 위치 혹은 선택을 한 위치 주변의 GeoVideo를 장르에 상관없이 모두 한눈에 확인 가능하다. 그림 7은 VideoInfoData 요소를 사용하여 검색하고자하는 카테고리를 선택한 후 해당 질의를 검색할 수 있다. 요소 중 하나의 예로 등장인물 카테고리를 선택하여 한석규를 검색하게 된다면 한석규가 나온 모든 GeoVideo 동영상이 검색되어져 지도상에 뿌려지게 된다.
GeoVideo 공유서버 및 검색방법 등에 대해서는 본 논문의 범위에 포함되지 않으며, 향후 연구를 통해 구체적인 방법을 제안할 예정이다.
본 논문에서는 GeoVideo의 효용성을 입증하기 위하여 Java, Eclipse를 사용하여 Android 4.0.3 이상 환경에서 동작 가능한 GeoVideo 제작도구와 뷰어를 구현하였다.
그림 8은 GeoVideo를 자동으로 제작하는 도구의 사용 장면이다. 촬영을 앞서 GPS 데이터 수신간격을 설정하고 촬영을 시작 하면 현재 주소가 화면에 띄워지게 된다. 앞서 설정한 GPS 수신간격마다 해당 프레임 시간에 GPS 데이터를 VideoLocations 파일에 자동으로 저장한다. 예를 들어 간격을 2분으로 설정하게 되면 10분의 촬영동안 GPS데이터를 총 5개 받아와 2의 배수에 해당하는 프레임 시간마다 값을 집어 입력한다.
그림 9는 GeoVideo를 수동으로 제작하는 도구의 사용 장면이다. 수동제작에 앞서 GeoVideo로 만들고자하는 Video 파일을 선택하여 불러온 후 사용자가 직접 프레임 선택, 위치 선택 저장의 수동 작업을 진행하여 완료하게 되면 GeoVideo가 만들어 진다. 두 화면은 좌우슬라이드 전환 효과를 가진다.
그림 10은 생성된 GeoVideo를 GeoVideo 뷰어를 사용하여 시청하는 장면이다. 사용자는 일반 동영상 시청과 마찬가지로 동영상을 시청하는 도중 현재 촬영된 장소가 궁금할 때 지도를 펼쳐보는 버튼을 사용하여 시청과 동시에 촬영 장소를 확인가능하다. 동영상 플레이 도중에 동영상의 촬영위치가 변하면 지도상의 위치정보도 함께 변한다. 지도위의 별모양 버튼은 현재 시청중인 동영상과 촬영 장소를 보관하여 추후 동영상 시청을 종료 한 후 확인 가능하도록 보관함에 추가하는 기능을 가진다.
그림 11은 동영상 시청 중 보관을 한 목록이 보여 지게 되고 목록 탭 그리고 현재 위치 주변의 GeoVideo를 확인할 수 있는 탭으로 구성된다. 보관 목록의 아이템 구성은 보관을 선택하였을 때의 동영상을 캡쳐 한 화면과 해당 동영상 제목 그리고 프레임에 해당하는 촬영 장소의 주소를 포함하고 있다. 목록 아이템을 선택하게되면 보관한 동영상의 이어보기가 진행된다. 현재 위치 주변의 GeoVideo의 경우 제작한 GeoVideo가 지도에 나타나게 되며 프레임 구간별 위치를 전부 보여 진다. 예를 들어 GPS 데이터가 10개 존재하는 동영상이 5개가 존재한다면 지도위에 마커의 개수는 총 50개가 되는 것이다. 이는 동영상을 보며 위치를 알 수 있지만 역으로 위치를 보며 어떤 동영상이 촬영되었던 곳인지를 알 수 있게 한다.
본 논문에서는 동영상 콘텐츠에 프레임별 위치정보를 저장할 수 있는 GeoVideo 파일을 정의하고, 위치정보를 저장하기 위한 파일 포맷을 설계하였다. 그리고 GeoVideo를 제작하기 위한 GeoVideo 제작 도구와 이를 통해 생성된 GeoVideo를 보기위한 GeoVideo 뷰어를 구현하였다. 현재 동영상 콘텐츠 파일은 프레임별로 GPS 데이터를 넣을 수 없는 구조이므로, 본 연구에서는 위치정보를 저장하기 위해서 XML을 기반으로 위치파일을 정의하여 사용하였다. 본 논문에서 제안한 GeoVideo 제작 도구 및 뷰어를 기반으로 위치확인이 가능한 동영상앨범 등의 서비스의 개발이 가능할 것으로 기대된다.
향후 동영상 콘텐츠 파일과 위치 파일로 분리된 GeoVideo를 하나의 파일 내에 통합하기 위해서 기존의 동영상 콘텐츠 파일 포맷을 확장하기 위한 연구가 필요하다. 이러한 GeoVideo 콘텐츠가 활성화 되어 많이 만들어 진다면, GeoVideo 콘텐츠를 공유하기 위한 시스템을 구현할 계획이다. GeoVideo 공유 시스템은 특정 위치에서 촬영된 동영상콘텐츠를 검색할 수 있는 위치기반 동영상 콘텐츠 검색 서비스로 활용할 수 있다.
