Automatic fall-detection algorithms using video-data are proposed. Six types of fall-feature parameters are defined applying the optical flows extracted from differential images to principal component analysis(PCA). One fall-detection algorithm is the simple threshold method that a fall is detected when a fall-feature parameter is over a threshold, another is to use the HMM, and the other is to combine the simple threshold and HMM. Comparing the performances of three types of fall-detection algorithm, the algorithm combining the simple threshold and HMM requires less computational resources than HMM and exhibits a higher accuracy than the simple threshold method.
고령자들의 낙상 상황은 점점 늘어나고 있으며 심각한 손상을 동반하거나 낙상으로 인한 합병증 및 고령자의 경우 수술이 어렵고 낙상의 발생으로 의식을 잃거나 몸을 움직일 수 없는 상태에서 빠른 응급조치가 이루어지지 않으면 사망에 이를 수 있다[1]. 따라서 낙상과 응급상황의 의료 개입의 시간을 단축시키기 위한 낙상감지 시스템이 필요해서 많은 연구가 진행되고 있다[2].
낙상 감지 방법은 감지하는 방식에 따라 크게 2가지로 구분할 수 있다. 하나는 낙상 대상자에게 센서노드를 부착하여 낙상을 검출하는 방식[3-5]이고 다른 하나는 영상정보 등을 이용해서 낙상의 상황을 인지하는 방법[6-10]으로 나뉜다. 그 중에 센서노드를 부착하는 방식은 주로 가속도 센서를 사용하여 낙상을 검출하며 항상 신체에 착용해야 하므로 불편하며 미착용 시에 낙상을 검출할 수 없는 단점이 있다. 이러한 문제점을 극복하기 위해 카메라로 영상 정보를 받아 대상자의 움직임을 추적하여 검출하는 방법이 발표되었다. B. U. Töreyin 등은 영상정보와 오디오 정보를 사용한 낙상감지 알고리즘을 제안하였다[7]. 은닉 마르코프 모델(Hidden Markov Model; HMM)을 기반으로 시간적 웨이블릿 신호에서 특징점을 추출하여 낙상을 감지하였다. Z. Fu 등은 CMOS 카메라를 사용하여 5가지 Pixel의 특징 점을 나누고 차 영상을 이용해 낙상을 감지하였다[8]. S.-G. Miaou 등은 전방향(Omni)카메라를 이용해 BMI(Body Mass Index) 체질량 지수 값을 이용해 사람의 높이와 넓이를 계산 후에 차 영상을 이용해서 낙상을 감지하였다[9]. 우리 연구 그룹은 사람 모양을 추출하지 않고 영상의 전체적인 광류(optical flow)를 이용하여 움직임을 추적하고 주성분 분석(Principal Component Analysis; PCA)을 통해 이를 정량화하여 HMM의 파라미터로 사용하여 학습한 후 낙상을 판단하는 새로운 방법을 제시했다[10]. 그러나 이 방법에서 사용한 HMM[7,10]은 잘 알려진 단순 임계값 방법[8,9]보다 낙상 감지 정확도는 높으나 계산량과 메모리가 많이 소모되는 단점이 있다.
본 논문은 영상 정보를 이용해서 단순 임계값과 HMM을 결합한 낙상 감지 알고리즘을 제안한다. 이 단순 임계값과 HMM을 결합한 낙상 감지 알고리즘과 단순 임계값 방법 및 HMM을 20 ~ 50대 남녀 총 10명의 실험 대상으로 3가지 낙상 행동과 4가지 일상생활 행동에 대해서 낙상 감지 결과를 비교한다.
그림 1은 영상 기반 낙상 감지 알고리즘을 테스트하기 위한 절차의 개요를 나타낸다.
먼저 디지털 카메라를 사용해서 초당 30fps와 640 × 480 해상도로 촬영한 동영상을 획득한다. 획득한 동영상의 차 영상을 이용한 특징점을 추출하여서 움직임 벡터를 추출한다. 이 움직임 벡터에 대해 PCA 분석[11]하여 고유값(eigen value), 고유벡터(eigen vector) 및 평균값(mean)을 추출한다. 추출된 고유값, 고유 벡터 및 평균값을 사용하여 다양한 낙상 특징 파라미터를 추출한다. 이 추출된 낙상 특징 파라미터들을 세 가지 알고리즘(A1: 단순 임계값 방법, A2: HMM, A3: 단순 임계값 방법과 HMM을 결합한 알고리즘)을 적용해서 낙상을 최종 판별한다. 촬영한 모든 일상생활 (activities of daily living; ADL)과 낙상 이벤트의 동영상을 6가지 낙상 특징 파라미터에 대해서 이 세 가지 낙상 감지 알고리즘을 적용해서 낙상과 ADL을 모두 판별하고 그 결과를 낙상 특징 파라미터와 낙상 감지 알고리즘에 따라 비교 및 분석한다.
그림 2는 낙상 특징 파라미터를 추출하는 절차를 나타낸다[10].
동영상 데이터의 현재영상과 전영상의 차영상을 이용해서 OpenCV에서 제공한 cvGoodFeaturesToTrack()이라는 Shi와 Tomashi의 방식[12]의 함수를 사용해서 특징점을 추출한다[10,13]. 이 방식은 전영상이나 현재 영상을 그대로 사용하지 않고 차영상을 이용해서 움직임이 없는 영역인 배경영역에서 특징점이 제거되기 때문에 불필요한 계산은 하지 않을 뿐만 아니라 움직임이 있는 영역만을 사용하여 정확한 추적이 가능하다. 그림 3은 걷기 동작에서 Shi와 Tomashi의 방식으로 특징점을 추출한 예를 보인다.
추출한 특징점들의 움직임 추출을 위해 OpenCV 제공 의cvCalcOpticalFlowPyrLK()이라는 루카스-카나데(Lucas-Kanade; LK) 방식의 함수를 사용해서 각 특징 점들의 움직임의 추적인 광류를 추출한다[13]. 이 LK 방식은 원본 영상으로부터 영상 피라미드를 구성하여 상위계층에서 하위계층으로 추적하므로 커다란 움직임도 찾아낼 수 있다. 그림 4는 걷기 동작에서 LK 방식으로 광류를 추출한 예를 보인다.
추출된 광류들의 2차원 통계분포를 PCA 분석에 적용하면 타원형의 주축이 데이터의 분산이 가장 큰 축이 되고 단축이 두 번째 큰 축이 되는 고유벡터와 각 축마다 분산이 얼마나 더 강하게 분포하는지를 나타내는 고유값과 평균값을 계산한다. 추출된 광류의 타원형 분포를 간단하게 고유벡터, 고유값 및 평균값으로 표현하고 OpenCV 제공하는 cvCalcPCA()이라는 PCA 함수을 사용해서 이것들을 구한다[10,13]. PCA 분석을 통해 고유벡터, 고유값 및 평균값을 구하고 이 값들 이용해서 타원형으로 표현할 수 있다. 가로를
그림 5와 6은 걷기와 뒤로 넘어지기에서 PCA 분석을 통해 얻어진 값들을 이용해서 타원형으로 표현한 예이다.
광류들을 PCA 분석을 통해서 계산한 고유벡터, 고유값, 평균값을 이용해서 6가지의 낙상 특징 파마리터를 다음 식들과 정의할 수 있다[10].
여기서
본 논문에서 비교 및 제안하는 낙상감지알고리즘은 단순 임계값 방법, HMM, 단순 임계값 방법과 HMM을 결합한 알고리즘으로 3가지이다. 표 1은 낙상감지알고리즘 중에서 하나인 단순 임계값 방법을 나타낸다[4]. 6가지 낙상특징파라미터들에 대해서 각 파라미터별로 정해진 임계값보다 초과할 경우에 낙상이라고 판단하는 알고리즘이다.
[표 1.] 낙상 감지 알고리즘 A1: 단순 임계값 방법
낙상 감지 알고리즘 A1: 단순 임계값 방법
그림 7은 HMM을 이용한 낙상감지 알고리즘을 나타낸다[10]. 여기서
2.5. 낙상 감지 알고리즘 A3: 단순 임계값 방법과 HMM 결합
단순 임계값 방법과 HMM을 결합한 낙상 감지 알고리즘은 다음과 같다. 먼저 관측된 데이터로부터 6가지 낙상 특징 파라미터를 계산하고 그 파라미터들을 단순 임계값 방법으로 낙상을 판단하고 이것을 1차 낙상 행동으로 정의한다. 1차 낙상 행동으로 판단된 이베트 경우에만 2.4에서 설명한 HMM을 이용해서 다시 낙상을 판단하고 이것을 최종 낙상 행동으로 결정한다.
실험에는 20대 남자 6명, 20대 여성 2명, 40대 남성 1명, 50대 남성 1명으로 총 10명의 영상을 취득한다. VGA급(640⨯480)영상을 30fps의 속도로 일반 디지털 카메라를 통해서 취득 및 저장한다. 카메라의 위치는 지상에서 약 0.7m 높이에 설치하고 대상과 카메라와의 거리는 5m정도로 촬영한다. 대상자를 촬영 시에 배경은 복잡하지 않고 대상자의 전체적인 신체를 촬영한다. 실험에 사용한 소프트웨어 환경은 윈도우 XP상에서 Visual Studio 2008 환경과 OpenCV 2.2를 이용한다.
실험 영상은 총 7가지 행동모델을 촬영한다. 일상생활은 걷기, 뛰기, 제자리 점프하기, 침대에 눕기의 4가지와 낙상은 앞으로 넘어지기, 옆으로 넘어지기, 뒤로 넘어지기의 3가지 영상을 취득한다. 각 행동마다 10개의 데이터를 촬영한다. 총 10명에 대해서 낙상은 총 300개 행동이고 일상생활은 총 400개 행동이다. 1개의 영상 데이터를 취득할 때 약5초 정도 촬영하였으며 초당 30fps로 캡쳐된 영상 데이터는 150개를 사용한다.
6가지 낙상 특징 파라미터들(
[표 2.] 단순 임계값 방법을 적용해서 각 낙상 감지 파라미터의 임계값별로 가장 좋은 sensitivity, specificity, accuracy
단순 임계값 방법을 적용해서 각 낙상 감지 파라미터의 임계값별로 가장 좋은 sensitivity, specificity, accuracy
여기서 true positive(TP)는 전체 평가한 행동들 중에서 낙상 행동을 낙상으로 판단한 확률이고 false positive(FP)는 전체 평가한 행동들 중에서 일상행동을 낙상으로 판단한 확률이다.
표 3은 7가지 낙상 및 일상생활 행동들에 대해서 각 낙상 파라미터별로 모두 HMM 학습하여 평가하는 A2 알고리즘의 낙상 감지 결과 중에서 가장 좋은 결과를 요약한 내용이다. 낙상 특징 파라미터
[표 3.] HMM을 적용해서 각 낙상 감지 파라미터별로 가장 좋은 sensitivity, specificity, accuracy
HMM을 적용해서 각 낙상 감지 파라미터별로 가장 좋은 sensitivity, specificity, accuracy
3.4. 단순 임계값 방법과 HMM을 결합한 실험 결과
표 4는 단순 임계값 방법으로 가장 좋게 낙상 감지한 결과로 판단된 1차 낙상에 대해서만 6가지 낙상 특징 파라미터에 HMM을 적용하는 A3 알고리즘의 낙상 감지 결과이다. 낙상 특징 파리미터의 임계값을 초과한 행동을 1차 낙상으로 판단하고 그 1차 낙상 행동(392 행동)들만 낙상 특징 파라미터
[표 4.] 단순 임계값 방법과 HMM을 결합한 알고리즘(A3)을 적용해서 각 낙상 감지 파라미터별로 가장 좋은 sensitivity, specificity, accuracy
단순 임계값 방법과 HMM을 결합한 알고리즘(A3)을 적용해서 각 낙상 감지 파라미터별로 가장 좋은 sensitivity, specificity, accuracy
단순 임계값 방법의 계산량은 임계값의 초과만을 판단하므로 매우 적은 계산량이 필요하나 HMM은 매우 복잡한 연산을 수행해서 단순 임계값 방법에 비해서 많은 계산량이 요구된다. 그러나 단순 임계값 방법(A1 알고리즘)의 낙상 감지 정확도는 HMM (A2 알고리즘)을 적용한 결과보다 6.3% 낮다. HMM(A2 알고리즘)만을 적용했을 때는 700개 모든 행동을 HMM에 적용해야하나 단순 임계값 방법과 HMM을 결합하는 A3 알고리즘은 392개 행동들만을 HMM에 적용하므로 계산량과 메모리가 줄어드는 특징을 가지고 있으면서 낙상 감지 정확도는 HMM만 적용한 A2 알고리즘보다 2.3%로 약간 낮으나 단순 임계치 방법(A1 알고리즘)보다 3.1% 증가한다.
본 논문은 자동으로 낙상 감지하기 위해서 영상 정보로부터 차영상 특징점을 광류 방식에 적용하여 움직임 값들을 추출했다. 이 움직임 값들에 대해서 PCA 분석을 통해 고유값, 고유벡터 및 평균값을 구해서 6가지 낙상 특징 파라미터를 추출했다. 이 낙상특징파라미터가 미리 정해둔 임계값을 초과하는 경우를 낙상으로 판단하는 단순 임계값 방법과 낙상 특징 파라미터를 HMM에 적용시켜 낙상을 판단하는 방법과 단순임계값과 은닉 마르코프 모델을 결합한 낙상 감지 방법의 3가지 낙상 감지 알고리즘을 제안했다. 3가지 알고리즘을 20 ~ 50대 남녀 총 10명의 실험 대상으로 3가지 낙상 행동과 4가지 일상생활 행동에 대해서 적용하여 평가하였다. 단순 임계값 방법, HMM, 단순 임계값 방법과 HMM을 결합한 알고리즘을 적용해서 낙상 감지 결과를 보면 낙상 감지 파라미터 중에서
본 논문에서 제안한 알고리즘을 검증하기 위해서 낙상 실험 대상이 20 ~ 50대로 한정되었으므로 60대 이상에 대한 실험이 필요하다. 60대 이상의 고령자에 대한 낙상 실험은 고령자에게 심각한 신체적 손상을 유발 할 수 있기 때문에 일상생활에 대한 실험이 추가로 연구할 필요가 있다. 또한 카메라의 위치가 고정되어 있으나 다양한 위치에서 촬영한 결과에 대한 연구도 필요하다.
