Chirp 어군탐지시스템을 이용하여 넓은 주파수 대역에 대한 어군 echo 신호를 측정하고, 이로부터 시간-주파수 이미지 패턴을 생성하여 어종 의존적인 특징을 분석하면 어종의 음향학적 식별을 위한 특징인자(feature)를 추출할 수 있다(Lee et al., 2015; Lee, 2015a; Lee, 2015b). 이 때, 어체의 체장, 체폭, 체고 및 어체의 형상 등과 같은 형태학적 특징, 각 어종별 어체 고유의 내부조직, 부레의 유무 등과 같은 생물학적 특성, 어체에 입사하는 초음파의 주파수 및 입사방향 등과 같은 음향학적 특징 등은 어체로부터 주파수 의존적인 echo 신호가 생성되는 메커니즘을 결정하는 중요한 요소가 된다(Foote KG, 1980; Traykopvski et al., 1998; Jaff, 2006; Nesse et al., 2009; Stanton et al., 2010). 이 때문에 어종을 음향학적으로 식별하는데 있어서는 이들 echo 응답신호 속에 포함되어 있는 어종 의존적인 성분을 어떻게 추출해 낼 것인가에 대한 연구가 선행되어야 한다. 특히, 어체에 입사한 초음파 신호가 조직내부에서 산란될 때, 어체 내부에는 서로 이질적인 음향 인피던스를 갖는 수많은 조직들이 복잡하게 분포하고 있기 때문에 산란파의 보강 및 상쇄간섭에 기인하는 신호변동이 매우 다양한 패턴으로 나타나 주파수 응답특성을 변화시킨다. 또한, 시간영역에 대한 echo 응답특성에 있어서는 어종에 따라 echo 신호의 상승과 하강구간에 있어 echo 응답의 변동특성이 다르게 나타난다. 이 때문에 시간과 주파수 영역에 대한 echo 응답특성을 서로 연관시켜 분석하면 어종 고유의 2차원, 또는 3차원 echo 응답 영상을 얻을 수 있다(Safizadeh et al., 2001; Shui et al., 2007; Lee et al., 2015).

본 연구에서는 우리나라 주변해역에서 어획한 6개 어종을 대상으로 각 개체어에 대한 시간-주파수 echo 이미지를 SPWVD (smoothed pseudo-Wigner-Ville distribution) 기법(Han and Kim, 2010; Dong and Cui, 2012; Lee et al., 2015)을 이용하여 생성하고, 이들 이미지 패턴으로부터 각 어종 고유의 echo 성분을 추출하였다. 또한, 이렇게 추출된 각 어종별 식별인자를 인공 신경망(artificial neural network, ANN)의 입력뉴런(neuron)에 전달하여 각 어종으로부터 추출한 음향학적 식별인자의 유효성을 검증하였다.

본 연구에서 어종 식별실험에 사용한 어류은 부세, 고등어, 전어, 말쥐치, 조피볼락, 불볼락 등의 6개 어종으로서 이들 어종의 체장(전장), 체중 등의 생물학적 조성은 Table 1과 같다. Table 1에 나타낸 각 어종을 대상으로 MS222 (sigma chemical, Canada)로서 마취시킨 16 마리의 활어 개체어로부터 수록한 광대역 음향산란신호의 시간-주파수 이미지 패턴으로부터 어종식별을 위한 음향학적 정보를 추출하기 위한 모식도는 Fig. 1 및 Fig. 2와 같다.

Fig. 1에서와 같이 chirp 어군탐지시스템을 이용하여 수록한 넓은 주파수 범위에 대한 echo 신호를 대상으로 SPWVD 기법을 이용하여 시간-주파수 이미지 패턴을 생성하면 어종에 따라 이들 이미지 패턴 사이에 차이가 있음을 관찰할 수 있다. 이 때, 각 어종에 대한 시간-주파수 이미지는 부레의 존재유무, 부레의 크기, 경사각 및 형상, 체장과 체형 등에 따라 변화한다(Foote, 1980; Jaff, 2006; Nesse et al., 2009; Stanton et al., 2010). 만일, 어체 내부에서 복잡한 산란현상이 반복적으로 나타나는 경우에는 echo 신호의 시간응답이 매우 길게 연장되고, 또한, 이들의 echo 성분은 주파수 응답특성의 변화를 초래한다. 그러나, 이와 같은 시간-주파수 응답특성은 어종에 따라 매우 다양한 패턴으로 나타나기 때문에 어종 고유의 특징적인 요소를 추출하는 데에는 많은 어려움이 있다. 따라서, 본 연구에서는 6개 어종의 총 96 마리의 각 개체어에 대한 시간-주파수 이미지 패턴을 대상으로 시간과 주파수 영역의 각각에 대한 데이터 셋(data set)을 작성하였다. 즉, 시간 영역에 대해서는 0.3 ms의 시간범위에 대하여 0.02 ms의 시간 분해능 간격으로 k 개의 slice 구간에 대한 이미지 정보를 추출하였다. 또한, 주파수 영역에 대해서는 85-225 kHz의 주파수 범위에 대하여 20 kHz의 분해능 간격으로 m 개의 slice 구간에 대한 이미지 정보를 추출하였다. 이렇게 추출된 총 k + m 개의 시간-주파수 이미지 데이터를 바탕으로 어종 식별인자의 데이터 베이스를 작성한 후, 인공신경망을 이용하여 이들 어종식별인자의 유효성 검증을 수행하였다. 특히, 각 어종별 활어 개체어로부터 실시간으로 수록한 chirp echo 신호는 분해능이 75×35 픽셀인 3차원의 컬러 시간-주파수 이미지이기 때문에 Fig. 1의 각 slice 영역에 대한 이미지 패턴을 수치화하기 위해서는 컬러 시간-주파수 이미지 패턴을 0-255 범위의 픽셀 값을 갖는 그레이(gray) 이미지 패턴으로 변환할 필요가 있다. 따라서, 영상변환을 통해 얻어진 그레이 이미지 패턴을 대상으로 각각의 slice 영역에 포함되어 있는 어종 고유의 echo 성분이 손상되지 않는 범위 내에서 시간-주파수 패턴을 Fig. 1에서와 같이 총 m × k 픽셀의 분해능을 갖는 slice 패턴으로 재구축하였다(Gavrovska et al., 2010). 즉, Fig. 1에서와 같이 시간 영역과 주파수 영역에 대한 그레이 이미지 패턴을 각각 S 픽셀과 Z 픽셀의 분해능을 갖는 slice 패턴으로 각각 분할한 후, (1)식과 (2)식을 이용하여 시간과 주파수 영역에 대하여 각각 k 개와 m개의 slice 패턴의 이미지 픽셀 값을 산출하였다.

이렇게 산출된 총 k + m 개의 시간-주파수 이미지 픽셀 값을 인공신경망의 입력 뉴런에 전송하여 어종의 식별율을 모니터링하면서 시간과 주파수 영역에 대한 최적의 분해능, 즉 최적의 slice 분해능을 산출하였다.

한편, 어종별 각 개체어로부터 수신되는 chirp echo 신호는 초음파의 입사 aspect에 따라 부레의 자세, 형상 및 크기, 또한, 어체의 형상 및 형태학적 차이 등에 따라 어체 구성 요소간에 매우 복잡한 보강 및 상쇄 간섭이 발생하기 때문에 이들 echo 신호에 대한 시간-주파수 이미지의 형상과 진폭패턴에 큰 변화가 발생한다. 따라서, 각 개체어로부터 얻어지는 어종 고유의 형태학적 및 음향학적 정보를 내포하는 이미지 패턴성분을 어떻게 손상없이 정량적으로 추출하는가는 어종식별의 정확도를 좌우하는 매우 중요한 요소가 된다. 본 연구에서 얻어진 각 개체어에 대한 echo 패턴은 75×35 픽셀의 이미지이므로, 이 이미지를 그대로 어종식별인자로서 사용하는 경우에는 한 이미지당 2,625개의 데이터가 되기 때문에 처리시간 및 비용면에서 매우 비현실적이다. 따라서, 데이터의 처리시간 및 효율성을 확보하기 위해서는 이들 데이터의 수, 즉 차원을 감소시켜야 하는 문제가 발생하는 데, 이에 대한 연구는 현재 진행 중이다.

본 연구에서는 먼저 Fig. 1의 시간-주파수 이미지를 시간과 주파수 영역에 대하여 각각 일정한 분해능을 갖는 slice 구간으로 분할하여 어종 고유의 이미지 성분을 추출하였다. 그 후, 본 연구에서 제안한 Fig. 2의 처리절차에 따라 6개 어종의 각각에 대하여 추출된 이미지 성분의 데이터 셋의 타당성 평가를 위해 신경망 모델에 적용할 학습용(train), 평가용(cross-validation), 검증용(test)의 3그룹으로 나누었다. 즉, 6개 어종에 대하여 각 어종별로 각각 320개의 데이터 셋을 준비하였고, 이들 데이터 셋으로부터 무작위로 추출된 80%는 학습용으로, 또한, 각 10%씩은 평가용과 학습용으로 각각 할당하였다. 이와 같이 할당된 각 어종별 식별인자를 인공신경망의 입력층 뉴런에 전달하여 출력된 어종식별결과를 토대로 각 어종별 시간-주파수 이미지 패턴으로부터 추출된 식별인자의 유효성을 검증하였다.

본 연구에서 구축한 인공신경망 모델은 입력층과 출력층 사이에 하나의 은닉층을 갖는 신경 회로망이다. 즉, 지도학습(supervised learning)의 다중 퍼셉트론 회로망(multilayer perceptron network, MLP)과 오류 역전파 알고리즘(back propagation, BP)을 이용하여 어종식별 시스템을 구현하였다. 또한, BP 신경망에 대한 각층 사이의 최적연결가중치 및 임계치를 추정하기 위한 지도학습은 Matlab 신경망 툴(tool) 함수 newff (feedforward backpropagation network)를 이용하여 수행하였다(Demuth et al., 2009). 이 때, traingdx 함수(gradient descent with variable learning rate and momentum)를 이용하여 오차 함수(performance function), 즉 평균제곱오차(mean square error, MSE)가 설정 역치 값 이하로 감소할 때까지 반복 계산하였고(Kuruvilla and Gunavathi, 2014), traingdx 함수의 학습훈련에 사용한 파라미터는 Table 2와 같다(Shilbayeh et al., 2013). 본 연구에서 모델로 설정한 인공 신경망의 입력뉴런(neuron) 수(입력변수)는 22개이고, 은닉층의 뉴런노드 수는 150개이며, 출력층의 어종 출력변수는 6개이다.

chirp 어군탐지시스템을 사용하여 85-225 kHz의 주파수 범위에 대한 개체어의 echo 신호를 수록하고, SPWVD 기법을 이용하여 계산한 시간-주파수 이미지 패턴을 고찰한 결과, 각 개체어 활어에 대한 시간-주파수 영상(Fig. 1)은 chirp echo 응답이 출현하는 패턴, 영역, 집중도, contour 경계와 진폭의 변화율 등에 있어 어종에 따라 큰 차이가 있음을 알 수 있었다. 본 연구에서 실험 대상으로 한 6개 어종의 각 개체어 활어에 대한 시간-주파수 영상패턴으로부터 어종식별을 위한 특징추출(feature extraction)을 수행하는 데 있어서는 먼저, 같은 어종의 개체어 상호간의 공통적인 성질을 나타내는 기하학적 특징과 서로 다른 어종 사이에 나타나는 뚜렷한 이미지 패턴의 차이에 주목하여 분석을 행하였다. 특히, 각 개체어에 대한 시간-주파수 이미지의 데이터 차원을 축소시켜 어종 고유의 특징성분을 정량적으로 추출하기 위하여 Fig. 1에서와 같이 시간과 주파수 영역의 22개 slice 구획을 대상으로 feature 성분을 추출한 결과는 Fig. 3과 같다. 즉, 6개 어종의 총 96 마리의 활어로부터 수록한 echo window 폭 0.3 ms, 주파수 대역폭 140 kHz의 chirp 응답특성을 대상으로 각 어종별 feature 성분을 추출한 결과이다. Fig. 3에서 가로축은 이미지 feature 레벨(영상진폭)이고, 세로축은 시간과 주파수 영역의 각 slice 구간의 번호이며, 수직축은 추출된 이미지 feature의 수이다. 세로축의 slice bin 번호 1-7은 85 kHz부터 225 kHz까지의 chirp 주파수 구간을 20 kHz 대역폭으로 분할하여 나타낸 주파수 bin이다. 또한, slice bin 번호 8-22은 각각 0 ms부터 0.3 ms까지의 echo 지속시간을 0.02 ms 시간간격으로 분할하여 나타낸 시간 bin이다. Fig. 3에서 분할 slice의 수는 Fig. 1에서와 같이 시간과 주파수 영역에 대한 slice 간격을 변화시켜가면서 (1)식 및 (2)식을 이용하여 feature 성분을 산출하고, 이들 feature 데이터를 1개의 은닉층을 갖는 인공신경망 모델의 입력층에 인가하여 얻은 식별결과와 실제 입력어종이 가장 잘 부합하는 경우를 비교하여 결정하였다. 그 결과, 시간과 주파수 영역에 대한 최적의 slice 분할 수는 주파수 영역에서 7개(m), 시간영역에서는 15개(k)이었다. Fig. 3에서 6개 어종에 대한 22개의 slice 분할구역에 대한 feature 성분은 1부터 7까지의 주파수 영역에 대한 진폭분포와 8부터 22까지의 시간영역에 대한 진폭분포가 서로 다른 형상패턴을 나타내고 있음을 알 수 있다.

한편, 6개 어종에 대한 활어 개체어로부터 수록된 chirp echo 신호에 대한 시간-주파수 이미지 패턴에 나타나 있는 어종 의존적인 특징을 서로 비교, 분석한 결과는 Fig. 4와 같다. Fig. 4는 시간과 주파수의 영역의 22개의 각 slice 분할구역에 대한 이미지 feature 성분의 변동특성을 고찰한 결과인데, 6개 어종에 대한 feature 진폭성분의 중앙치, 평균치, 10 (10th), 25 (25th), 75 (75th), 90 (90th) 백분위수(percentile)를 boxplot로 함께 나타내었다.

Fig. 4에서 종축은 각 어종에 대한 시간-주파수 이미지 패턴의 22개 slice bin에 대한 echo 이미지의 상대진폭이고, 횡축은 slice bin 번호이다. Fig. 4에서 6개 어종에 대한 시간 slice 영역(slice No. 8-22)에 대한 feature 진폭성분의 75 백분위수의 분포 패턴을 살펴볼 때, 조피볼락(a), 말쥐치(b), 불볼락(d)에 대한 분포모드의 경우, 75 백분위수 값이 가장 큰 slice 위치는 조피볼락과 말쥐치는 slice No.17, 불볼락은 slice No.18이었다. 즉, 시간영역에서 echo 신호의 파형중심에 해당하는 slice No.15 (0.14-0.16 ms)로부터 우측으로 치우친 분포패턴(negatively skewed distribution), 즉, 음의 왜도(skewness)을 나타내었다. 한편, 부세(f)의 경우는 조피볼락, 말쥐치, 불볼락과는 반대로 75 백분위수의 값이 가장 큰 slice 위치(76.44)는 slice No.14로서 echo 신호의 파형중심(slice No.15)으로부터 좌측으로 치우친 분포패턴(positively skewed distribution), 즉, 양의 왜도을 나타내었다. 즉, slice No. 14의 영역에 서의 echo feature 진폭은 75 백분위수 값(76.44)보다 더 큰 진폭 응답성분이 25% 이상 존재하여 다른 어종과 echo 응답특성의 구분이 매우 용이하였다. 또한, 고등어(c)와 전어(e)의 경우에 있어서는 다른 어종과 비교해 볼 때, 75 백분위수 값의 분포패턴에 큰 차이가 있음을 알 수 있었다. 즉, 분포패턴에 두 개의 peak가 서로 분리된 slice 위치에 출현하는 이봉분포(bimodal distribution)를 나타내었는데, 고등어의 경우에는 slice No.14 (0.12-0.14 ms, 70.4)와 slice No.17 (0.18-0.20 ms, 73.06), 전어의 경우에는 slice No.14 (0.12-0.14 ms, 70.16)와 18 (0.20-0.22 ms, 70.96)에서 각각 peak 모드가 출현하였다.

한편, 주파수 slice 영역(slice No. 1-7)에 대한 10, 25, 50, 75, 90 백분위수 값의 변동패턴은 slice No.2에서 No.3으로 이동할 때에는 6개 어종이 유사한 패턴으로 급격하게 증가하는 경향을 나타내었으나, slice No. 4부터 No. 6의 주파수 밴드에 있어서는 매우 강한 어종 의존적인 변동 특성을 나타내었다. 또한, slice No.7에서는 각 어종에 대한 백분위수가 slice No.2와 No.3 사이의 중간위치에 존재하였는데, 25와 75 백분위수 사이의 차(interquartile range, IQR)는 조피볼락에서 13.74로서 가장 컷고, 부세에서 7.89로서 가장 작았으며, 말쥐치, 고등어, 불볼락, 전어에서는 10-12 범위로써 거의 유사하였다. 주파수 영역에 대한 IQR은 6개 어종에서 공통적으로 slice No.2 (185-205 kHz 밴드)에서 가장 큰 값을 나타내었지만, 각 어종 상호간에 대한 IQR 값의 변동은 slice No.3 (165-185 kHz 밴드)에서 가장 컷고, 특히, 이 주파수 대역에서의 말쥐치와 고등어에 대한 IQR 값, 즉 시간-주파수 feature 성분에 대한 흩어짐의 정도(spread)는 다른 어종보다 상대적으로 매우 작았고, feature 성분이 중앙값 부근에 집중되어 나타났다. 또한, 조피볼락과 불볼락의 경우, slice No. 4, 5, 6에 대한 75 백분위수의 feature 진폭은 매우 완만하게 증가하는 변동패턴을 나타내었지만, 말쥐치, 고등어 및 전어의 경우에 있어서는 매우 급격하게 증가하여 feature 진폭의 25% 그룹에 속하는 값들에 대한 하한의 경계가 점차 높아지는 특징을 나타내었다. 반면, 부세의 slice No. 4, 5, 6에 대한 75 백분위수의 feature 진폭의 변동은 반달모양의 형상패턴을 나타내었는데, slice No.5에서의 75 백분위수의 값이 slice No. 4와 6의 경우보다 컸다. 이와 같이 주파수 영역의 각 slice 주파수 밴드에 대한 부세의 echo feature 진폭성분의 변동 패턴이 다른 어종의 그것과 전혀 다른 양상을 나타내는 것으로부터 이들의 정보는 부세의 어종식별에 대한 중요한 음향학적 지표가 될 것으로 판단된다.

본 연구에서 실험적으로 설계, 개발한 chirp 어군탐지시스템을 이용하여 수록한 echo 신호의 시간응답영역(0.3 ms)과 주파수응답영역(85-225 kHz)을 대상으로 SPWVD 기법에 의해 얻어진 시간-주파수 echo 이미지상에 출현하는 echo 응답특성을 종합적을 고찰한 결과, 각 어종에 따라 echo 응답이 집중되어 나타나는 시간과 주파수 영역이 서로 다름을 알 수 있었다. 즉, 6개 어종을 대상으로 시간-주파수 feature 진폭의 최상위 25%를 점유하는 75 백분위수의 위치는 조피볼락, 말쥐치, 고등어의 경우, 주파수 축의 slice No.6 (105-125 kHz)과 시간 축의 slice No.17 (0.18-0.20 ms)이 서로 교차하는 이미지 영역에서 가장 강한 echo 응답이 집중적으로 출현하였다. 그러나, 불볼락과 전어의 경우에 있어서는 주파수 축의 slice No.6 (105-125 kHz)과 시간 축의 slice No.18 (0.20-0.22 ms)이 서로 교차하는 이미지 영역에서 가장 강한 echo 응답이 집중적으로 출현하였다. 반면, 부세는 주파수 축의 slice No.5 (125-145 kHz)와 시간 축의 slice No.14 (0.12-0.14 ms)가 서로 교차하는 echo 신호의 초반부의 저주파수 영역에서 가장 강한 echo 응답이 집중적으로 출현하였다. 이와 같이 각 어종의 echo 이미지 패턴에 있어 어종 의존적인 특징성분이 서로 다른 시간-주파수 영역에 출현하고 있는 것은 각 어체 내부의 서로 다른 조직에서 발생하는 echo 성분의 보강 및 상쇠간섭 패턴이 어종에 따라 상이하기 때문에 초래된 현상이라 판단된다. 따라서, 이와 같은 어종 의존적인 정보는 각 어종 고유의 echo 응답을 나타내는 특징적인 패턴이므로 어종을 식별하는데 있어 매우 유용한 지표가 된다.

본 연구에서 제안한 Fig. 1과 Fig. 2의 기법을 이용하여 6개 어종의 시간-주파수 echo 이미지로부터 추출한 feature 성분의 유효성을 검증할 목적으로 입력층, 은닉층, 출력층으로 구성된 인공신경망 모델을 구축하고, 이 모델로부터 출력되는 어종정보와 실제의 어종정보를 서로 비교, 분석하였다. 이 때, 인공신경망의 입력층의 뉴런에 전송되는 6개 어종의 시간과 주파수 평면에 대한 각 slice bin으로부터 추출된 feature 성분 데이터에는 어종 고유의 음향산란특성에 기인하는 변동성(분산, variance)이 포함되어 있기 때문에 그 어종 의존적인 변동성의 정량적인 평가가 요구된다. 즉, Fig. 4에서 알 수 있는 바와 같이 6개 어종의 데이터 셋에 대한 10, 25, 50, 75, 90 백분위수는 비록 데이터의 변동성은 다르더라도 데이터 분포의 상대적인 위치나 백분위수의 상대적인 구간의 변동폭 등으로부터 어종 의존적인 경향을 서로 비교해 볼 수 있다는 점에 주목할 필요가 있다. 따라서, 본 연구에서는 이 점에 착안하여 식별대상으로 한 6개 어종에 대한 feature 성분의 변동특성을 상대적으로 비교, 검토할 목적으로 각 어종에 대한 feature 성분의 누적비율빈도분포를 작성하고, 이들을 비교, 고찰한 결과는 Fig. 5와 같다. 즉, Fig. 5는 Fig. 4의 slice No. 3-6 (105-185 kHz) 및 slice No.11-19 (0.06-0.24 ms)의 주파수 및 시간 구간에 대한 feature 성분의 누적비율빈도분포를 나타낸 것으로서, 종축은 백분율(%)이고, 횡축은 상대 feature 진폭이다. Fig. 5의 누적비율빈도분포에서 전어는 전 구간에 걸쳐 다른 어떤 어종에 비해 상대적으로 시간-주파수 feature 성분의 누적빈도의 변화율이 가장 커서 제일 먼저 100%에 수렴하였고, 또한, 다른 어종과는 뚜렷하게 분리된 수렴패턴을 나타내었다. 누적비율빈도분포의 25% 위치를 기준으로 그 상한의 구간에서는 조피볼락에 대한 feature 성분의 누적빈도가 다른 어종에 비해 가장 완만하게 100%에 수렴해 가는 변동패턴을 나타내었고, 그 다음으로 불볼락, 말쥐치, 고등어와 부세, 전어의 순으로 수렴의 변화율이 커지는 변동패턴을 나타내었다. 특히, 25% 상한에서는 고등어와 부세의 수렴패턴이 거의 일치하는 경향을 나타내었다.

한편, 25% 하한의 구간에서는 부세와 조피볼락의 변화율이 거의 일치하였고, 또한, 고등어와 말쥐치에 있어서도 같은 변화율 패턴을 나타내었다. 즉, 6개 어종의 누적비율분포패턴을 종합적으로 고찰한 결과, 전어의 시간-주파수 이미지에서 echo feature 진폭성분은 다른 어종보다 낮은 영역에 작은 변동성(분산 180.62)을 갖고 분포하는 반면, 조피볼락은 다른 어종보다 높은 영역에서 큰 변동성(분산 245.54)을 갖고 분포함을 알 수 있었다.

본 연구에서 제안한 Fig. 1과 Fig. 2의 기법을 이용하여 6개 어종으로부터 수록된 시간-주파수 echo 이미지로부터 추출한 각 어종에 대한 echo feature 성분이 어종의 식별에 유효하게 활용될 수 있기 위해서는 먼저 이들 feature 성분들이 어종 의존적인 특징을 적절하게 함축하고 있는가에 대한 유효성 검증이 필요하다. 본 연구에서는 입력층, 은닉층, 출력층으로 구성된 인공신경망 모델을 구축하고, 이 모델로부터 출력되는 어종정보와 실제의 어종정보를 서로 비교, 분석하는 방법으로 유효성을 검증하였다. 이 때, 인공신경망의 입력층의 뉴런에 전송되는 시간과 주파수 평면의 각 slice bin에 대한 echo feature 성분에는 어종 고유의 음향산란특성에 기인하는 변동성이 내재되어 있기 때문에 그 어종 의존적인 특징(패턴)을 정량적으로 분석하면 어종의 음향학적 식별이 가능하다는 점에 주목하여 연구를 수행하였다. 이를 위해 구축한 인공 신경망은 입력층의 뉴런노드(입력변수) 수 22개, 은닉층의 뉴런노드 수 150개, 출력층의 어종 출력변수 6개로 구성되는 모델로서, 입력변수는 6개 각 어종당 16마리씩 총 96마리의 개체어에 대한 시간-주파수 이미지로부터 추출된 echo feature 성분이다. 즉, 각 어종의 개체어 한 마리당 20씩 총 1,920개의 시간-주파수 이미지 데이터 셋을 준비한 후, Fig. 1과 Fig. 2의 처리절차에 따라 각 이미지에서 추출된 22개의 echo feature 진폭성분을 인공신경망의 입력층의 뉴런에 전송하였다. 또한, 본 연구에서 구축한 인공신경망에 대한 데이터 셋(80%)의 학습은 지도학습의 다중 퍼셉트론 회로망과 오류 역전파 알고리즘을 이용하여 어종식별인자, 즉 echo feature 진폭성분의 유효성을 검증하였는데, 그 결과는 Table 3과 같다.

Table 3에서 조피볼락, 말쥐치, 고등어, 불볼락, 전어, 부세에 대한 어종식별율은 각각 64.5%, 75.0%, 71.4%, 57.1%, 88.1%, 87.5%로서 전어의 식별율이 가장 높았고, 불볼락의 식별율이 가장 낮았다. 또한, 6개 어종에 대한 평균 식별율은 74.5%이었다. 본 연구에서 이와 같이 인공신경망을 이용하여 어종의 식별율을 평가, 분석한 목적은 본 연구에서 개발한 Fig. 1과 Fig. 2의 기법에 의해 추출한 어종식별인자가 어느 정도로 어종 의존적인 정보를 내포하고 있는가를 검증하기 위한 것이었다. 따라서, Table 3의 결과를 바탕으로 고찰할 때, 말쥐치, 고등어, 전어, 부세 등의 어종으로부터 수록한 시간-주파수 echo 이미지 패턴에서 추출한 feature 성분은 어종 고유의 특징적인 음향산란정보를 충실하게 함축하고 있다고 판단되지만, 조피볼락이나 불볼락과 같은 볼락류에 대해서는 어종 의존적인 특징을 나타낼 수 있는 식별정보로서 활용하기에는 아직 불충분한 점이 있음을 알 수 있었다. 따라서, 각 어종에 대한 음향학적 식별율을 개선하기 위해서는 무엇보다도 어체 형상 및 골격의 차이, 다양한 체내 내부조직, 부레의 생물학적 및 구조적인 특징의 차이 등에 따른 echo 생성패턴과 이렇게 얻어진 echo 신호의 시간-주파수 이미지를 더 효율적으로 이용하는 방안의 모색이 필요하다(Fassler et al., 2009). 이를 위한 방안으로서는 각 어종로부터 측정되는 시간-주파수 echo 이미지 패턴의 데이터 압축, 즉 차원을 축소하는 기법을 도입하고, 이를 토대로 더 양질의 어종 의존적인 데이터 셋을 도출한 후, 인공신경망을 이용한 어종식별을 수행한다면 충분히 그 식별율을 개선할 수 있다고 판단되며, 이에 대한 연구는 현재 진행 중이다. 본 연구에서 식별 대상으로 한 6개 어종으로부터 추출한 echo feature 성분의 유효성을 검증하기 위해 구축한 인공신경망 모델의 학습과정에 대한 평균 제곱오차(mean square error, MSE)의 변동특성은 Fig. 6과 같다. Fig. 6에서 횡축은 학습용, 평가용 및 검증용 데이터 셋에 대한 MSE이고, 횡축은 학습 회수(epoch)를 나타낸 것이다. Fig. 6에서 알 수 있는 바와 같이 MSE가 최소가 되는 은닉층의 가중치를 바탕으로 각 어종에 대한 검증용 데이터 셋의 식별이 수행되었음을 알 수 있다. 이 때, 각 어종의 학습용 echo feature 성분(80%)에 내재되어 있는 큰 변동성을 충실하게 반영하기 위해 은닉층의 뉴런 노드 수를 지나치게 증가시키면 학습 과정에서 과대적합(over fitting)이 나타나고, 이 현상은 검증 데이터 셋의 식별율을 저하하는 문제가 초래된다는 점에 유의하여 은닉층을 설계하였다. 본 연구에서는 인공신경망의 성능지표로서 MSE를 0.001로 설정한 후, 150개의 뉴런(노드)으로 구성된 한 개의 은닉층을 갖는 인공신경망을 구성하여 학습을 수행한 결과, 6개 어종에 대한 MSE는 0.0345이었다.

본 연구에서 설계한 인공신경망의 경우, 학습을 위한 입력 데이터가 입력층의 뉴런(노드)에 전달되면 입력층과 은닉층 뉴런 사이의 연결 가중치와 은닉층 뉴런의 바이어스(bias)를 토대로 은닉층 뉴런의 입력이 산출되고, 이 값은 시그모이드 함수(tansig)에 의해 은닉층 뉴런의 출력이 계산된다. 이 때, 은닉층 뉴런의 출력, 은닉층과 출력층 사이의 연결 가중치에 의해 출력층 뉴런의 입력이 구해지면, 다시 시그모이드 함수(tansig)에 의해 출력층 뉴런의 출력이 얻어진다. 즉, 출력층 뉴런으로부터의 출력은 입력층으로부터 은닉층, 출력층으로 향하는 전방향(forward) 처리를 통해 얻어진다. 이 때, 입력 학습패턴의 목표 출력과 실제 출력의 차로부터 출력층 뉴런에 연결된 연결 가중치에 대한 보정량이 산출되면, 이 보정량을 이용하여 은닉층과 출력층 뉴런 사이의 연결 가중치를 수정한다. 동일한 방법으로 은닉층 뉴런의 보정량과 입력층 뉴런의 출력으로부터 입력층과 은닉층 뉴런의 연결 가중치와 은닉층 뉴런의 바이어스를 수정한다. 즉, 인공 신경망의 각 층 사이의 연결 가중치와 바이어스의 갱신은 출력층으로부터 은닉층, 입력층으로 향하는 역방향(backward) 처리를 통해 이루어지는 데, 이 때, 은닉층의 수를 얼마로 설정해야 하는 문제가 발생한다. 이 때문에 인공신경망이 안정되어 오차의 합이 설정된 오차의 기준치에 도달할 때까지 지도학습을 반복하기 위한 학습횟수를 설정해야 한다. 이 문제를 고찰하기 위해 본 연구에서는 시간-주파수 echo 이미지로부터 추출된 echo feature 성분을 인공신경망의 입력변수로 이용하여 어종을 식별할 때, 신경망 회로에 대한 은닉층의 뉴런(노드) 수의 선택이 어종의 식별에 어떠한 영향을 미치는가를 분석하였는데, 그 결과는 Table 4과 같다. Table 4은 고등어와 부세를 대상으로 어종의 식별율을 추정한 결과로서, 신경망의 은닉층의 뉴런 수를 75, 80, 100, 120으로 변화 시켰을 때, 고등어와 부세의 평균 식별율은 각각 95.3%, 89.6%, 84.5%, 89.6%로서 뉴런 수가 75일 때, 식별율이 가장 높았고, 뉴런 수가 100일 때, 가장 낮았다. 즉, 뉴런 수의 변화는 어종의 식별율에 큰 영향을 미치고 있음을 알 수 있었지만, 어종의 식별율과 뉴런 수와의 사이에는 어떤 관계가 있는지는 아직 불명확하기 때문에 반복적인 식별실험을 통해 실험적으로 결정할 필요가 있었다.

일반적으로 chirp 어군탐지시스템에서는 목적에 따라 수 십 kHz에서 수 백 kHz까지 매우 폭 넓은 주파수 대역이 설정될 수 있고, 주파수 대역폭이 넓을수록 어종식별과 관련된 다양한 정보를 수집할 수 있다. 특히, 인접하는 주파수 대역에 대한 echo 성분 사이에 큰 변동성을 갖지 않는 경우, 즉, echo 성분의 주파수 의존성 패턴이 매우 완만하게 변동하는 경우에는 주파수 대역폭을 증대시킬 필요가 있다. 이 경우, 대역폭의 증가는 결국 인공신경망의 입력층으로 유도해야 할 데이터 양이 증대되는 문제와 직결되기 때문에 학습과정의 복잡성, 처리시간 및 처리비용의 증가 등으로 연결되는 문제가 발생한다. 또한, 은닉층의 뉴런수의 증가는 과대적합 현상, 즉, 지도학습을 통해 생성된 인공신경망 모델이 학습 데이터 카테고리(category) 내에서는 어종의 식별율이 매우 우수하지만, 어떤 새로운 미지의 데이터(test data)에 대해서는 식별성과가 불량하여 모델의 일반성이 저하하는 문제가 발생한다. 본 연구에서와 같이 출력층의 뉴런의 개수, 즉 식별 대상의 어종 수가 결정되어 있는 상황하에서 어종 식별율을 향상시키기 위해서는 입력층의 데이터 셋을 변화시키거나 은닉층에 대한 최적의 뉴런 수를 추출하는 방법에 대한 연구가 필요하다. 이 때, 입력층의 뉴런수는 각 어종의 광대역 echo 신호로부터 계산되는 시간-주파수 echo 패턴으로부터 유효 echo 영역을 resampling하여 시간-주파수 echo 패턴을 재구성하더라도 데이터의 차원이 매우 큰 문제가 발생한다는 점에 유의할 필요가 있다. 따라서 은닉층의 뉴런 수를 결정할 때에는 이와 같은 과대적합에 따른 성능오차의 증가에 기인하는 어종식별 시스템의 불안정성과 학습시간의 증대 등과 같은 문제를 회피하기 위한 연구도 함께 수행되어야 하는데, 현재 이에 대한 연구는 진행 중에 있다.