제리 브룩하이머(Jerry Bruckheimer) 감독의 CSI(Crime Scene Investigation) 라는 미국 드라마에서 보여지듯 지문, 혈흔, 발자국, 탄흔 등은 범죄의 실마리를 찾기 위한 매우 중요한 단서가 된다.

법의학을 지칭하던 포렌식(forensic)이라는 용어는 과거에는 의학 분야에 국한되었지만 이제 “디지털포렌식” 이라는 새로운 영역을 구축해 나가고 있다.

현재의 디지털포렌식은 증거의 수집, 보존, 분석, 문서화, 재판과정에 증거로 제출하기까지의 모든 과정을 포함하며 그 사용 용도에 따라 범행 입증에 필요한 증거를 획득하기 위해 디지털 매체에 기록되어 있는 데이터를 복구하거나 검색하는 정보추출 포렌식과 해킹 공격에 이용되는 백도어, 루트킷 등을 조사하여 침입자의 신원, 피해내용, 침입경로 등을 파악하는 사고대응 포렌식으로 나뉜다[1].

아파트, 원룸 등 공동주택의 보급이 늘어남에 따라 엘리베이터에서 폭행, 성폭행, 절도 등의 범죄 발생이 급격하게 증가하고 있다. 하지만 이러한 범죄가 발생하는 순간 관제를 통해 범죄를 예방하기 어려운데다 발생 후 증거영상의 분석 또한 실로 엄청난 시간과 노력을 필요로 하고 있다.

본 논문의 제 II장 폭행의 정의 및 특징에서는 폭행에 대한 법적 정의 및 폭행 장면의 특징을 기술하고, 제 III장 장면전환검출에서는 관련연구를 분석하고 일반적인 장면전환검출 방법인 컬러히스토그램의 차이를 이용한 방법과 X² 히스토그램을 이용한 방법을 소개하고 본 논문에서 제안하는 컬러-X² 히스토그램 기법에 대해 기술한다. 제 IV장 실험에서는 20개의 모의 시나리오영상을 입력 받아 폭행검출 프로그램을 이용하여 추출된 키프레임을 확인하여 제안된 컬러-X² 히스토그램을 이용한 방법이 기존의 방법보다 우수함을 증명한다. 끝으로 제 V장 결론에서는 결론 및 향후 연구 방향에 대해 기술한다.

폭행이란 난폭한 행동 혹은 사람의 신체에 거의 일방적으로 연속적이고 고의적인 물리력을 가하는 행위를 말하며 매우 심각한 범죄에 해당한다. 그리고 이는 반의사불벌죄에 해당된다. 반드시 주먹으로 때려야 폭행죄가 성립되는 것도 아니며, 타인의 신체 또는 정신상에 일방적인 물리력을 가하면 폭행죄가 성립한다. 예로 영화에서 보이듯 마취제 적신 수건을 코에 들이대서 마취를 시켜서 끌고 가는 것도 법리적으로 폭행죄의 구성요건을 완전히 만족시킨다[2].

폭행 장면은 영화나 드라마 영상에서 보이듯이 카메라 앵글의 다양한 변화와 짧은 시간 동안 화면전환이 자주 일어남을 알 수 있다.

상기 그림 1은 영화 “신세계”의 폭행 장면을 1초 단위로 캡처한 것이다. 짧은 시간 동안 빠르게 화면이 전환됨을 알 수 있다.

장면전환은 점진적인 장면전환과 급진적인 장면전환으로 나누어 볼 수 있다. 점진적인 장면전환은 화면밝기나 객체의 이동이 서서히 변화하는 영상에서 발생하는데 이런 경우 장면 전환의 경계를 설정하기 어렵고 검출 또한 쉽지 않다[3].

급진적인 장면전환은 뉴스 영상처럼 앵커화면과 기자의 보도 화면이 갑자기 바뀌는 것처럼 장면이 급작스럽게 전환되는 것을 말한다.

Aditya Vashistha 등[4]은 급진적인 장면전환 검출을 위하여 슬라이딩윈도우 검출 방법을 이용하여 2-pass 알고리즘을 제안하고 고정평균값과 가변평균값을 이용하여 scene의 경계가 제대로 검출되었는지 확인하였다.

Suk-Ju Kang 등[5]은 Multiple-histogram을 사용하여 연속된 프레임에 대해 분할 블록을 생성한 후, Otsu-Method에 기반한 자동 임계값 설정을 통해 최적화된 임계값을 계산하고 연속된 프레임의 임계값들 사이의 차를 계산하여 장면전환이 발생했는지 그렇지 않은지를 결정하였다.

히스토그램은 shot의 경계를 찾아내는데 가장 일반적인 방법이다 [6]. Ueda 등[7]은 shot의 경계를 찾아내기 위해 컬러히스토그램의 변화율을 사용하였다. Nagasaka 등[8]은 그레이레벨과 컬러 히스토그램에 기반을 둔 몇 가지 간단한 통계 비교를 수행하였다. Swanberg 등[9]는 구역 내에서의 그레이레벨 히스토그램의 차이를 이용하였으며, 비디오 시퀀스에서 지역변화에 따른 가중치를 이용하였다.

Zhang 등[10]은 픽셀차이, 통계적인 차이, 여러 가지 다른 히스토그램을 이용한 방법들을 비교하였고 히스토그램을 이용한 방법이 정확도와 속도사이에서 좋은 상호작용을 갖고 있음을 발견하였다.

3.1.1. 컬러 히스토그램 차이

컬러 히스토그램 차이란 식 (1)에서 나타내는 것처럼 두 프레임으로부터 얻은 R·G·B 컬러에 대하여 각각을 따로 계산한 히스토그램의 차이 값을 측정하여 검출하는 방법이다.

위의 식 (1)에서 Htr(i), Htg(i), Htb(i)는 t시점에서의 프레임이 갖는 R·G·B 각각의 컬러 값에 대한 히스토그램을 나타낸다[11].

3.1.2. X²히스토그램

X² 히스토그램 방법은 통계학적인 장면 전환 검출방법의 하나로써 아래의 식 (2)와 같이 정의된다.

이 방법은 다른 히스토그램 방법보다 성능이 우수하기 때문에 많은 연구에서 사용되고 있는 방법이다[8].

일반적으로 폭행 및 절도 등의 범죄행위는 매우 급격하게 장면 전환이 이루어진다. 즉, 주어진 임계값을 초과하는 첫 번째 프레임을 shot의 키 프레임으로 설정하는 것이다.

본 논문에서는 급진적인 장면 전환 검출을 수행하는 방법을 다음과 같이 제시하였다. 급진적인 장면 전환 검출을 위하여 본 논문에서는 식 (3)과 같은 컬러-X² 히스토그램 차이 값을 이용한다.

식 (3)의 컬러-X² 히스토그램 방법은 컬러 히스토그램을 R·G·B 각각에 대하여 산출함으로써 영상의 컬러를 구성하는 요소들을 유동적으로 사용할 수 있으며, X² 히스토그램이 갖는 차이 값 강조 특징을 적용하여 보다 효율적으로 장면 전환을 검출할 수 있는 방법이다. 식 (3)에 곱한 세 개의 가중치는 영상을 RGB 컬러 모델에서 HSI 모델의 I(intensity) 요소로 바꾸기 위한 값이다. 컬러-X² 히스토그램을 이용하여 폭행 장면을 검출하기 위해서는 적절한 임계값 설정이 필요하다. 임계값은 컬러-X² 히스토그램 차이 값에 적용하였을 때 장면 전환 검출 결과가 가장 만족스러운 값으로 설정하도록 한다.

제안된 컬러-X² 히스토그램을 이용한 장면 전환 검출 방법의 성능평가는 추출된 키 프레임 수와 추출 정확률을 측정하여 평가를 수행한다.

컬러-X² 히스토그램을 이용한 장면 전환 검출 성능을 평가하기 위하여 컬러 히스토그램, X² 히스토그램, 컬러-X² 히스토그램 장면 전환 검출을 수행하여 분할된 shot들의 수, 즉 검출된 키 프레임의 수와 오류 프레임 수, 그리고 추출 정확률을 비교하여 측정한 결과를 평가한다.

성능 평가 영상은 표1의 엘리베이터 내에서 촬영한 20개의 범죄 모의 영상 중 폭행 장면이 포함된 영상 3개를 택하여 2분 길이로 초당 1프레임으로 영상 데이터를 캡쳐하여 컬러 히스토그램, X² 히스토그램, 컬러-X² 히스토그램을 이용하여 장면 전환 검출을 수행하였다. 그리고 이렇게 장면 전환 검출을 수행한 결과로써 검출된 키 프레임들의 수를 표2와 같이 제시하였다. 검출된 키 프레임 수는 실험 영상 데이터에서 추출한 총 키 프레임의 수를 말하고, 오류 프레임 수는 검출된 키 프레임에 포함된 오류 키 프레임의 수를 말한다. 그리고 추출 정확률은 검출된 키 프레임 수에서 오류 프레임 수를 뺀 프레임 수, 즉 정확히 추출한 프레임 수의 비율을 나타낸다.

제안된 컬러-X² 히스토그램을 이용한 장면 전환 검출 방법은 검출된 프레임의 장면 전환의 정확도가 가장 높고 잘못 검출된 프레임의 수도 가장 적으며, 추출 정확률도 가장 높기 때문에 컬러 히스토그램이나 X² 히스토그램을 각각 이용하여 검출하는 방법 보다 컬러-X² 히스토그램을 이용한 장면 전환 검출 성능이 우수함을 입증하고 있다.

그림 2는 폭행추출 프로그램의 전체 흐름도이다.

그림 3은 폭행 장면을 추출하기 위한 특정 임계값을 이용해 폭행 장면을 추출하는 화면으로써 미리 촬영한 20개의 모의영상을 입력하여 영상별로 폭행 장면만을 검출 할 수 있는 임계값을 찾는 화면이다.

같은 임계값으로 20개의 영상을 순차적으로 입력받아 장면 전환 검출을 수행하여 추출된 키 프레임의 수를 보여주고 추출된 키 프레임은 저장되고, 다음 임계값으로 다시 폭행 장면 검출을 수행한다.

폭행 장면만을 검출할 수 있는 임계값이 나오면 이를 통계적 임계값으로 지정한다. 만약 주어진 임계값으로 검출된 폭행 장면이 전체 폭행 장면 영상(8개) 중 80% 이상이면 폭행 장면 검출에서의 통계적 임계값 추출은 성공으로 간주한다.

추출된 프레임 중 1개는 첫 시작프레임을 의미하므로 오검출 수에서 1을 뺀다. 임계값별 비율은 폭행 영상에서 검출된 프레임 중 잘못 추출된 프레임의 비율을 나타내며

의 식으로 계산한다.

오검출율이 20% 미만이면 정상적으로 폭행 장면을 검출한 것으로 간주하고 총 8개의 폭행영상 중 몇 개가 정확히 검출되었는지 여부로 비율을 계산하여 성공률에 나타낸다. 총 8개의 폭행 영상 중 폭행 장면을 제대로 추출한 영상의 수를 n/8 의 비율로 나타낸 것이다. 각 영상의 오검출율이 20%미만인 영상을 기준으로 폭행 장면을 검출한 비율을 나타낸다.

표 3에서 폭행 장면만을 추출하기 위한 임계값이 존재함을 알 수 있다.

실험 결과 임계값이 350,000일 때 폭행이지만 검출하지 못한 경우는 없었으며 일반장면을 폭행으로 인식하는 경우가 20%미만이므로 장면 전환 검출을 이용해 특정행위와의 상관관계가 상당 부분 성립된다고 할 수 있다.

디지털 포렌식 분야 중 방대한 영상데이터내의 행위정의를 통한 분석방법에 관한 분야를 영상 포렌식으로 정의하였다.

본 논문에서는 영상데이터에서 폭행 장면만을 구분하여 범죄의 실시간 감시와 향후 효율적인 증거분석을 위한 방법을 제시하였다. 컬러히스토그램과 X² 히스토그램의 장점을 결합한 컬러-X² 히스토그램 방법을 이용하여 급진적인 장면전환검출을 수행하였으며 실제 폭행 장면만을 찾아낼 수 있는 임계값을 설정하여 20개의 모의영상을 통해 만족할만한 결과를 도출하였다.

향후 연구에서는 범죄행위에 대한 영상처리 관점의 보다 면밀한 행위 정의가 필요하다고 판단되며 더 많은 시나리오를 이용하여 인지와 판단의 오차를 줄이고자 한다.