성과중심의 HRD 패러다임이 확산·정착되면서 지난 30년 동안 학습전이(transfer of learning) 에 대한 관심이 증가해왔다(이찬 외, 2012; 현영섭, 2004b; Blume et al., 2010; Sengers & Gegenfurtner, 2013). 학습전이가 교육프로그램을 통하여 학습한 내용을 직무에 적용하는 행동 이나 수준을 의미하기 때문에(나일주·임철일·이인숙, 2003; 현영섭, 2013; Baldwin & Ford, 1988; Ford & Weissbein, 1997), 교육과 성과의 연결고리로서 HRD 실천 및 연구의 핵심주제였다. 최근까지도 학습전이에 대한 연구들은 학습전이의 개념과 유형, 학습전이 영향요인, 기업 조직과 학습전이의 관계, 학습전이 강화 전략, 학습전이 측정방법 등을 중심으로 진행되었다(박지혜, 2009; 현영섭, 2013; Baldwin & Ford, 1988; Blume et al., 2010; Ford & Weissbein, 1997).

관련 연구들이 진행되면서 HRD 실천 현장과 연구에서 학습전이에 대하여 계속해서 문제제기 되는 것들이 존재하였다. 그 중 하나가 ‘보다 신뢰로운 학습전이의 측정방법은 없는가?’ 하는 것이었다(정재삼·양은하, 2006). 즉, 기존의 학습전이 측정이 대부분 측정대상자의 자기보고식 설문조사 방식으로 진행되기 때문에, 측정된 학습전이 수준을 신뢰하기 어렵다는 것이다(이지은·박아람, 2012; 현영섭, 2013; Baldwin & Ford, 1988). 이런 비판으로 학습자의 행동을 직접 확인하고 평가하는 현장 관찰이나 검사가 적합한 학습전이 측정방법으로 제시되었다 (Kirkpatrick, 1994). 그러나 이런 방법들은 윤리적 문제, 행동 변화가 나타나길 기다려야 하는 문제 등으로 현실성이 부족한 방법이었다.

추가적으로 360°다면평가나 새로운 도구의 개발을 통해 학습전이를 측정하는 연구(Johnson et al., 2012)들이 시도되었다. 그러나 이 역시 한계점을 갖고 있다. 즉, 360°다면평가는 교육에 참여한 학습자뿐만 아니라 상사, 동료, 부하직원 등으로부터 학습전이를 평가하도록 하는 방법으로써(Johnson et al., 2012), 관계자들이 평가 자체를 또 하나의 업무로 인식할 수 있기 때문에 평가를 위한 시간 및 협조를 얻기가 어렵고, 평가 결과가 인간관계에 의해 영향을 받을 수 있는 등의 현실적인 문제점이 존재하였다(나일주·임철일·이인숙, 2003; 현영섭, 2004b). 또한 학습전이의 새로운 측면을 반영하는 측정도구 개발 방법도 다양하게 시도되었다(금혜진·정재삼, 2007; 김진모·이진화·길대환, 2006; 나승일·김기용, 2007; 노동원·송영수, 2010; 박귀찬, 2010; 박영용·김진모, 2006; 신은경, 2013; 이찬 외, 2012; 현영섭, 2004a; Baldwin & Ford, 1988; Brown, Mccracken & Hillier, 2013). 그러나 이런 연구들에서 제시한 측정도구들 역시 자기보고 식의 도구라는 점에서는 다르지 않았다.

결국, 다양한 대안들이 제시되었으나 HRD 실천 현장이나 연구에서 자기보고식의 학습전이 측정은 현재까지 불가피한 것으로 수용되고 있다고 볼 수 있다. 이런 상황에서의 대안은 학습전이 측정을 위한 신뢰로운 도구를 찾고, 신뢰도에 영향을 주는 요인을 밝혀서 안정적인 학습 전이 측정을 시도하는 것이다. 즉, 신뢰도 일반화 검증(reliability generalization) 방법을 대안적으로 활용하는 것이다. 이는 측정도구의 신뢰도에 영향을 미치는 요인을 찾아서 신뢰성 오류를 최소화하거나 일정하게 하기 위한 방법이다(김종기·임호섭·이동호, 2001; 이상희·남숙경·이상민, 2008; 현영섭, 2014; Barlow & Zangaro, 2010; Vacha-Haase, Hansen & Caruso, 2002). 즉, 이른바 측정도구 신뢰도에 대한 메타연구인 것이다. 이와 관련하여 경영학이나 심리학 등의 영역에서는 신뢰도 일반화 검증 방법을 통하여 자기보고식 측정도구라고 하더라도 최소한의 신뢰성을 보장하려는 연구들을 시도하고 있다(김종기·임호섭·이동호, 2001; 이상희·남숙경·이상민, 2008; Chau, 1999; De Ayala, Vonderharr-Carlson, & Kim, 2005). 하지만 HRD 분야에서는 아직까지 신뢰도 일반화 검증과 같은 메타분석적 연구가 진행되지 않고 있는 실정이다. 따라서 학습전이 측정도구의 경우에도 학습전이를 측정하기 위해 사용되는 도구들은 어떤 것들이 있으며, 측정과 관련된 특성이나 신뢰도 수준은 어느 정도인지, 신뢰도에 영향을 미치는 요소는 무엇인지를 메타 연구하는 신뢰도 일반화 검증 방법을 적용하는 것이 필요하다.

학습전이를 측정하는 데 있어 대부분 기존의 측정도구를 활용하고 있고 특히 외국에서 개발된 측정도구들이 많이 인용되고 있다. 하지만 이와 같은 도구를 인용하여 활용하는 경우 응답 자의 문화적 또는 심리적 특성에 따라 다른 양상을 보일 수 있다. 또한 번역의 과정에서 기존의 도구에서 사용된 의미와 다른 관점으로 표현될 수 있고 이에 따른 응답의 가능성도 있다. 따라서 기존의 측정도구를 얼마나 신뢰하며 사용할 수 있는지에 대한 검토가 필요하고 최근에는 국내 연구자들에 의해 자체 개발된 도구들도 등장하고 있어 이를 함께 검증해보면 학습전이 측정에서 발생된 신뢰도의 오류를 줄일 수 있을 것으로 사료된다.

이상의 논의에 기초하여 본 연구에서는 기업 및 조직에서 학습전이를 측정한 국내 학술지 게재 논문을 수집·분석하여, 학습전이 측정도구에 대한 국내 연구 동향 분석 및 신뢰도 일반화 검증을 실시하는 것을 연구목적으로 설정하였다. 본 연구를 통하여 자기보고식이기는 하지만, 학습전이 측정을 위하여 사용되고 있는 도구의 신뢰성을 높이기 위한 시사점을 제공할 수 있을 것으로 기대된다.

학습전이는 교육상황에서 배운 내용이 직무상황에 적용된 정도를 의미하는 것으로(현영섭·권대봉, 2003; Ford & Weissbein, 1997), 훈련전이, 교육훈련전이, 직무전이, 현업적용도 등 다양 하게 사용되고 있다. 학습전이에 대한 개념과 영향요인을 통합적인 관점에서 제시한 Baldwin과 Ford(1998)는 교육프로그램 참가자가 교육과정을 통해 얻은 지식, 기술, 태도를 일반화하여 직무에 적용하고, 일정기간 지속적으로 유지하는 것으로 학습전이를 정의하였다. 또한 Noe와 Schmitt(1986)는 학습전이를 학습자가 교육프로그램을 통해 배운 지식, 기술, 태도 및 전략을 통해 행동의 변화를 가져오고, 이를 직무에 효과적으로 그리고 지속적으로 적용하는 것이라고 하였으며, Holton 외(2008)는 학습전이를 교육상황에서 획득한 지식을 업무상황에서 다른 형태로 적용하는 능력이라고 하였다. 이처럼 학습전이는 학습자가 교육상황에서 획득한 지식, 기술, 태도, 능력 등을 자신의 직무상황에 효과적으로 적용하고 지속적으로 활용하는 것이라고 할 수 있다.

아울러 학습전이를 Kirkpatrick(1994)의 4수준의 평가모형(반응-학습-행동-결과) 중 3수준인 행동평가에 해당되는 개념으로 보기도 한다. 행동평가는 교육프로그램에 참여한 학습자가 교육 참여를 통해 발생한 행동상의 변화 정도를 평가하는 것으로 학습전이와 같은 의미로 정의 된다(Kirkpatrick, 1994). Kirkpatrick은 이러한 학습전이를 측정하는 데 있어 몇 가지 지침을 제시하였는데, 가능하다면 교육프로그램에 대한 사전과 사후 평가를 실시하고, 사후 평가는 배운 내용을 업무에 적용할 수 있도록 3개월 또는 3개월 이상 경과된 후에 이루어져야 하며, 학습 자의 행동상의 변화를 관찰하거나 주변 동료, 상사, 부하 등에게 설문조사나 인터뷰를 실시하는 것이 좋다고 하였다(Kirkpatrick, 1994). 전이행동을 관찰하거나, 전이를 여러 번 또는 여러 사람이 측정할 경우, 측정방법에 대한 자체 신뢰도를 확보할 수 있는 이점이 있지만, 전이행동을 직접 관찰하고 평가할 수 있는 여건 마련이 쉽지 않고, 또 평가자 편향현상이 발생할 수 있는 등 조직상황의 현실적인 문제점이 지적되기도 한다(나일주·임철일·이인숙, 2003; 윤현진·윤관식·이병철, 2012).

그리고 Kirkpatrick의 행동평가와 같은 개념으로 학습전이를 정의한 Holton(1995)은 학습전이를 교육프로그램 참여자들의 프로그램에 의한 직무현장에서의 행동변화라고 하였으며, 학습전이 영향 요인과 전이를 측정하기 위한 학습전이시스템 측정도구(learning transfer system inventory: LTSI)를 개발하였다. 또한 Rouiller와 Goldstein(1993)은 학습전이에 영향을 미치는 상황적 변수를 포함한 전이풍토와 전이 측정도구를 개발하였다(현영섭·권대봉, 2003). 이들의 도구는 전이 측정에 용이하여 많은 연구들에서 빈번히 인용되고 있지만, 세분화된 전이의 양상을 밝혀내지 못한다는 비판을 받기도 한다(이지은·박아람, 2012).

국내에서도 이도형(1995; 1996)의 연구를 시작으로 학습전이에 대한 개념적 고찰이 이루어졌다. 이도형(1995; 1996)은 Rouiller와 Goldstein(1993), Baumgartel 외(1984), Huczynsi와 Lewin(1980)의 연구도구를 기반으로 배운 것을 실제 업무에서 사용하고 있는지를 학습자에게 4~5문항으로 질문하는 자기보고식 설문형태의 도구로 학습전이를 측정하였다. 이는 국내에서 가장 빈번히 활용되고 있는 학습전이 측정도구이기도 하다. 하지만 교육프로그램의 내용과는 관계없이 학습전이를 매우 포괄적이고 일반화된 관점에서 측정하고 있다는 비판을 받기도 한다(이지은·박아람, 2012; 이찬·최영준·박혜선, 2013; 최영준·이찬, 2011).

또한 최근에는 학습전이의 새로운 측면을 반영하는 도구 개발 방법도 다양하게 시도 되고 있다. 먼저 교육프로그램의 학습목표 또는 학습내용으로부터 전이행동지표를 추출하여 활용한 행동관찰 측정방법을 사용한 연구(김진모·이진화·길대환, 2006; 나승일·김기용, 2007; 박영용·김진모, 2006; 이찬 외, 2012)들이 등장하였다. 예를 들어, 김진모·이진화·길대환(2006)은 교육을 통해서 습득한 지식, 기술, 태도를 실제 직무에 효과적으로 적용하는 과정으로 학습전이를 정의하며, 선정된 교육프로그램의 교육과정에서 강조되는 프로그램 목적 및 목표를 분석하여 전이행동측정지표를 개발한 후, 이 지표들에 대해 교육 참가자들이 응답하도록 하였다. 그리고 근전이와 원전이 개념을 적용하여 연구 맥락에 맞게 연구자 스스로 개발하거나(금혜진·정재삼, 2007; 노동원·송영수, 2010), Lynn(1994)과 Holton(1995)의 LTSI에서 사용한 전이 측정도구를 수정·보완하여 사용하는 연구들(박귀찬, 2010; 현영섭, 2004a)도 보고되고 있다.

학습전이에 대한 양적 연구들은 관련된 다양한 도구와 측정방법을 활용하면서도 학습전이 측정도구의 신뢰성에 대한 의문을 발생시켜왔다. Baldwin과 Ford(1988)는 전이와 관련된 63개의 경험적 연구를 분석한 결과, 기존의 연구가 비교적 단기간, 단일 자료원, 지각된 자료를 기반으로 이루어졌다는 점을 언급하며, 측정도구의 문제점을 지적한 바 있다(Blume et al., 2010). 이는 기존의 연구들이 교육현장에서 학습한 내용을 업무에 적용할 수 있는 시간을 고려하지 않은 상황에서 전이를 측정하거나, 여러 가지 방법으로 전이에 대한 자료를 수집하기보다 주로 자기보고식의 설문형태로 단기간 이루어지고 있으며, 자기보고식 방법은 응답자 스스로 지각한 자료에 의존하기 때문에 전이 측정의 신뢰성에 문제가 있다는 것이다(현영섭, 2004a; Blume et al., 2010; Kirkpatrick, 1994). 즉, 응답자가 본인의 인식을 근거로 학습전이에 대한 응답을 하기 때문에 실제보다 과장된 결과를 초래할 수 있는 동일방법편향(common method bias) 의 문제가 제기될 수 있어 자료의 객관성이나 응답의 정확성에 한계가 존재한다(박윤희·김흔, 2013; 이지은·박아람, 2012).

Blume과 그의 동료들(2010)은 측정 시기의 중요성을 언급하며 전이 측정 시기와 보고된 변인 간의 상관관계를 분석한 결과, 교육훈련이 종료된 직후 측정된 전이(r=.32)가 일정 시간이 지난 이후 측정된 전이(r=.21)에 비해 강한 상관을 보인다고 하였다. 시간이 지날수록 교육프로 그램 이외의 요인들에 의한 영향이 커지기 때문에 교육 종료시점이 측정시점과 멀어질수록 전이 측정의 결과가 낮게 나올 수 있다. 측정 시기에 대한 정확한 시간적 기준을 제공하는 것은 어렵지만 일반적으로 프로그램 종료 후 3개월 정도 경과된 시점에 측정하는 것이 적합한 것으로 보고되고 있다(김종인·박성준, 2001; 현영섭, 2013; Kirkpatrick, 1994).

이에 대해 국내 연구자들도 유사한 문제점을 제시하고 있다. 이지은과 박아람(2012)은 학습 전이 측정에 대한 국내연구들을 분석한 연구에서 학습전이를 측정함에 있어서 연구 상황, 조사대상자의 특성, 측정 시기 및 방법 등에 대한 고려 없이 기존의 연구에서 사용된 측정도구를 차용하여 연구 맥락만 바꾸어 연구의 결과들을 도출하고 있고, 전이 측정값에 대한 해석 등도 부재하여 측정의 오류가 존재할 수 있다고 하였다.

또한 기존의 측정도구를 활용하는 과정에서 설문 문항 수나 측정척도 등을 임의로 수정하는 경우 원래의 측정도구가 가지고 있는 신뢰성이나 타당성을 그대로 유지하기 어렵고, 그 결과 신뢰롭지 못한 연구결과를 얻을 수도 있다(이영면, 2007). 예를 들어, 이도형(1995; 1996)의 학습전이 측정도구는 국내 학습전이 연구에서 가장 빈번하게 활용되고 있다. 이 도구를 각 연구에서 동일하게 사용하였지만 신뢰도 계수는 차이를 보인다. 즉, 문항 전체의 Cronbach의 α계수가 낮게는 .794, 높게는 .941로 나타났다(이찬·최영준·백지연, 2013; 임효창, 2009). 신뢰도는 비교적 안정적인 수준이었으나 동일한 도구를 사용하고도 연구의 특성에 따라 신뢰도의 차이가 나타날 수 있다는 점은 학습전이 측정도구의 신뢰도에 대한 검토와 논의가 필요하다고 볼 수 있다. 이는 평생교육 및 HRD 분야의 주요 개념 중 하나인 자기주도학습에 대한 메타연구를 실시한 현영섭(2014)의 연구에서도 언급하고 있는 바이다.

특히 자기보고식의 설문을 활용하는 경우 응답자의 기억에 의존하기 때문에 측정 시기 및 횟수에 따른 측정의 오류를 가질 수 있다(김명희·이영환·전희준, 2010; 이지은·박아람, 2012). 사실 측정하고자 하는 속성을 정확히 규명하거나 반영할 수 있는 도구를 개발하는 것이 쉽지 않기 때문에 측정오류가 발생할 수 있다. 다만 측정오류를 최소화하거나 일정하게 하려는 노력이 필요하다. 즉, 측정방법에 대한 고려, 측정도구의 신뢰도와 타당도 검증, 신뢰도에 영향을 미칠 수 있는 요인 검토 등을 통해 학습전이 측정을 위한 신뢰로운 도구를 찾고, 안정적인 학습전이 측정을 시도하는 것이다(현영섭, 2014).

신뢰도는 측정하고자 하는 내용이나 특성을 여러 가지 다른 조건 하에서 얼마나 안정적으로 일관성 있게 측정할 수 있는 가를 살펴보는 것으로, 측정도구의 기본요건이다(김종기·임호섭·이동호, 2001; 성태제, 2002). 즉, 신뢰도는 측정도구를 사용하여 얻어진 자료의 점수(score)나 측정에서 발생되는 특성으로서 연구결과에 대한 확신성을 줄 수 있다(오수학, 2003). 하지만 개별 연구마다 동일한 측정도구를 사용하더라도 누가, 언제, 어떻게, 누구를 대상으로 자료를 수집하느냐에 따라 얻어진 자료가 신뢰로울 수도 있고 신뢰롭지 않을 수도 있다(오수학, 2003; Henson, Kogan & Vacha-haase, 2001; Vassar & Bradley, 2011). 따라서 아무리 신뢰도가 높고 타당성을 검증 받은 기존의 측정도구를 활용한다고 하더라도 다른 사회문화적 맥락이나 모집 단에 사용하기 때문에 측정도구의 신뢰도를 검증하는 것은 필수적인 과정이라 하겠다.

각 연구에서 사용된 측정도구에 대한 정확한 신뢰도를 파악하기 위해서는 개별 연구에서 얻어진 신뢰도 계수를 분석하는 것이 좋지만 많은 연구들은 신뢰도에 대한 정보 제공을 충실하게 이행하지 않고 있는 상황이다(오수학, 2003; 이상희·남숙경·이상민, 2008; 이영면, 2007; 현영섭, 2014; Vacha-Haase, Hansen & Caruso, 2002). 최근에는 이에 대한 대안으로 개별 연구에서 보고되는 신뢰도를 통합하여 일반화된 신뢰도를 얻고자 하는 신뢰도 일반화 검증 방법이 제안 되고 있다(이상희·남숙경·이상민, 2008; 현영섭, 2014; Vacha-Haase, Hansen & Caruso, 2002). 신뢰도 일반화는 Vacha-Haase(1998)에 의해 체계화된 이론으로 다양한 연구에서 제공된 특정 점수(score)의 신뢰도를 평가하기 위한 메타분석적 방법론이다(Hessm, McNab & Basoglu, 2014). 이상희·남숙경·이상민(2008: 566)은 신뢰도 일반화 검증 방법을 개별 연구에서 사용하고 있는 척도들의 점수에 대한 신뢰도 계수를 얼마나 신뢰할 수 있는지에 대한 효과적인 설명을 제공하여 주는 방법이라고 하였다. 즉, 신뢰도 일반화 검증 방법은 다양한 연구에서 사용된 측정도구의 신뢰도에 영향을 미치는 요인을 검증하는데 유용한 방법이라는 것이다(Hess, McNab & Basoglu, 2014; Rexrode, Petersen, & O'Toole, 2008).

신뢰도 일반화 검증 방법을 활용한 다양한 분야의 선행연구(김종기·임호섭·이동호, 2001; 이상희·남숙경·이상민, 2008; 이학식·김영, 1997; 현영섭, 2014; Barlow & Zangaro, 2010; Chau, 1999; Churchill & Peter, 1984; De Ayala, Vonderharr-Carlson, & Kim, 2005; Peter & Churchill, 1986)들의 결과에 따르면, 신뢰도의 수준은 측정도구 그 자체에서 얻어지는 것이 아니라 표본 크기, 측정문항 수, 자료수집 방법, 척도의 형태, 표본 구성의 다양성, 평균 및 표준편차 등과 같은 다양한 요인들에 의해서 영향을 받는다고 하였다. 즉, 측정도구의 특성, 응답자의 특성, 조사환경의 특성, 논문의 특성 등에 의하여 개별 연구들에서 보고되는 신뢰도가 차이를 보인 다는 것이다. 현영섭(2014)은 이런 차이가 특정 측정도구의 신뢰도의 혼란을 발생시키는 원인 인지, 아니면 정상적인 현상인지 등에 대한 분석이 필요하다고 하였다.

이에 관련된 기존 연구들의 분석요소를 살펴보면, 연구설계 특성(표본 특성, 측정도구 특성, 측정도구 개발 과정)과 신뢰도(Cronbach의 α계수와 같은 신뢰도 유형, 신뢰도 값 등)에 대한 정보를 수집하고 신뢰도와의 관련성을 분석하였다. 표본 특성에는 표본수, 조사대상 유형, 자료수집 방법이 포함되었고, 측정도구 특성에는 문항의 수, 척도 유형, 척도점의 수가 분석요소로 포함되었다. 그리고 측정도구 개발 과정에는 측정도구의 원천(문헌직접인용, 문헌수정인용, 자체 개발), 측정문항 생성 절차 등에 따른 신뢰도를 분석하였다(김종기·임호섭·이동호, 2001; 이학식·김영, 1997; 현영섭, 2014; Chau, 1999; Peter & Churchill, 1986; Zanharo & Soeken, 2005). 여기에 저자, 학술지명, 발간연도 등 연구물의 특성에 대한 정보가 추가되거나 척도의 평균과 표준편차 점수 등이 분석되기도 하였다(김종기·임호섭·이동호, 2001; 이상희·남숙경·이상민, 2008; 현영섭, 2014; Barlow & Zangaro, 2010). 그리고 이와 같은 요인들이 측정도구의 신뢰도와 실제적으로 관련성을 가지는 지에 대한 분석도 실시되었다. 그 결과 측정도구의 신뢰 도는 고정적인 특성이 아니라 개별 연구에서 얻어진 점수의 특성이고, 신뢰도 계수도 모든 연구에 동일한 값을 지니는 것이 아니라 다양한 요인에 의해서 영향을 받는다는 것을 알 수 있다(이상희·남숙경·이상민, 2008; 계수와 같은 신뢰도 유형, Hansen & Caruso, 2002). 따라서 학습전이 척도의 신뢰도를 높이기 위해 신뢰도와 관련요인들을 지속적으로 검증하고 분석·평가하는 일반화의 노력이 의미가 있을 것이다.

본 연구는 국내에서 실시된 학습전이에 대한 실증적 연구를 대상으로 학습전이 측정도구의 사용 동향과 신뢰도에 대한 일반화 연구를 시행하는 것을 목적으로 하였다. 이를 위한 분석요소는 기존의 연구(김종기·임호섭·이동호, 2001; 이상희·남숙경·이상민, 2008; 이학식·김영, 1997; 현영섭, 2014; Chau, 1999; Churchill & Peter, 1984; Peter & Churchill, 1986)들에서 사용한 분석요소들을 수용하여 다음 <표 1>과 같이 구성하였다.

이론적 배경에 논의한 바와 같이 기존의 연구들에서 사용하는 연구물, 표본, 측정도구, 신뢰 도의 특성 4개 영역으로 분류하였다. 즉, 연구물의 특성 영역에는 발행연도, 학술지 분야의 2 가지 요소가 포함되었다. 발행연도와 학술지 분야는 국내 학술지에서의 발간 경향을 반영하고 연구물의 기본적인 정보를 파악하기 위한 분석요소이다. 특히 학술지 분야는 한국연구재단의 학술지 선정기준에 의해 정한 학술분야로 HRD, 경영학, 관광학, 기타(교육학, 행정학, 정책학 등) 영역으로 범주화 하였다. 한국연구재단의 학술지 정렬기준은 대분야→중분야→발행기관명 →학술지명 순으로 되어 있는데, 본 연구의 분석요소에 포함된 학술지 분야는 중분야에 해당 된다. 우선 분석대상 논문이 게재된 학술지명을 확인하고 이를 중분야의 해당영역으로 분류하였으며, HRD분야에서는 어느 정도 학습전이에 대한 연구가 진행되었는지 확인하기 위해 경영 학과 교육학 영역에 포함된 HRD영역을 별도의 영역으로 분류하였다. 또한 소수의 논문 편수를 보인 분야들은 기타영역으로 분류하였다.

표본 특성 영역에는 표본크기, 직업군, 자료수집방법, 측정 시기의 4가지 분석요소가 포함되었다. 표본크기는 연구자의 연구의도를 정확하게 이해한 유효 응답자 수를 의미하고, 직업군은 응답자의 특성을 이해하기 위한 분석요소이다. 일반적으로 직업분류는 한국표준직업분류에 근거하여 11개의 대분류와 46개의 중분류별 직종으로 구분되고 있는데(통계청, 2014), 본 연구에서는 11개의 대분류에서 유사 직업군과 대상자가 없는 직업군을 합하여 8개 직업군으로 범주화 하였다. 예를 들어, 관리자, 전문가 및 관련 종사자, 사무 종사자, 서비스 종사자, 판매 종사자, 기능원 및 기계조립 등 관련 종사자(기능원 및 관련 기능 종사자, 장치, 기계조작 및 조립 종사자), 군인, 기타(농림어업 숙련 종사자, 단순노무 종사자 등)로 구분하였다. 자료수집 방법은 연구 수행의 방법으로써 자기보고식 설문조사, 면담, 설문과 면담 병행 등으로 범주화 하였고, 측정 시기는 교육·훈련프로그램 종료 후 학습전이 측정을 시작한 시점과 측정기간을 분석 하기 위한 요소이다.

측정도구 특성 영역에는 측정도구의 종류, 측정도구의 원천, 측정항목의 수, 척도 유형, 측정값 평균 및 표준편차의 6개 분석요소가 포함되었다. 측정도구의 종류는 학습전이의 측정도 구가 다양하게 존재하기 때문에 어떤 종류의 도구를 사용하였는지를 파악하는 분석요소이다. 측정도구의 종류를 분석하기 위해 먼저 분석대상 논문에서 활용된 측정도구를 1차로 코딩하고, 다시 중복되어 사용되어지는 측정도구의 원저자 별로 분류하였다. 그 중 연구자가 자체 개발한 논문이나 1편 정도의 개별 논문에서 인용된 도구는 국내외 기타에 포함하였다. 예를 들어, Rouiller와 Goldstein(1993), Holton과 Bates(1998)의 LTSI, Baldwin과 Ford(1988), Baumgartel 과 Jeanpierre(1972), 국외 기타(Xiao(1996), Noe(1986) 등), 이도형(1995; 1996), 국내 기타(김진모 (1997), 주용석(2003), 자체 개발 논문 등)로 범주화 하였다. 측정도구의 원천은 선행연구를 인용하였는지 자체 개발하였는지로 구분하였으며, 측정항목의 수는 학습전이를 측정하기 위한 항목의 수를 분석하기 위한 요소이고, 척도의 유형은 학습전이 척도 유형의 세분화 정도로서 Likert 5점, 7점, 9점 척도로 분류되었다.

신뢰도 특성 영역에는 신뢰도의 종류, 신뢰도 판단기준, 신뢰도 통계량, 제외된 문항수가 포함되었다. 신뢰도 종류는 신뢰도를 파악하기 위한 방법이 다양하기 때문에 어떤 신뢰도를 사용하였는지 보여주는 요소이고, 신뢰도 판단 기준과 제외된 문항 수는 연구자가 신뢰도 분석 결과를 해석하는 과정에서 어떤 기준을 가지고 적용하였는지, 제외된 문항은 어떤 것이었는지에 대해 파악하기 위한 요소로 포함되었다.

본 연구를 실시하기 위하여 국내 주요 검색DB를 활용하여 논문 검색을 실시하였다. 활용된 검색DB에는 한국교육학술정보원(RISS), 한국학술정보(KISS), DBpia, 교보문고 스콜라, 학지사 뉴논문으로 5개였다. 2014년 1월 25일부터 2월 20일까지 검색하였고, 검색어로 학습전이, 교육훈련전이, 교육전이, 훈련전이, 지식전이, 근전이, 원전이, 실무전이, 직무전이, 단기전이, 장기전이, 전이성과, 현업적용, 현업적용도, 현업활용, 현업활용도를 투입하였다. 논문의 출판년도는 검색 조건에 포함하지 않았다. 1차 검색 결과, 301개의 문헌이 검색되었다. 이 중에서 중복되는 문헌, 학술지 게재 논문이 아닌 문헌, 무형식학습을 통해 학습전이를 측정한 경우, 이론이나 모델개발과 같이 학습전이 측정이 실시되지 않은 문헌, 거의 같은 논문을 반복해서 게재한 경우 등을 제외한 결과, 99편의 논문이 분석에 활용되었다.

연구물 특성을 살펴보면, 1996년 1편, 2001년 4편, 2003년 3편, 2006년 9편, 2009년 9편, 2010년 12편, 2011년 10편, 2012년 13편, 2013년 12편으로 증가추세를 보였다. 특히 전체 논문의 47.4%가 2010년 이후에 게재된 논문들이라는 점에서 최근에 와서 학습전이에 대한 논문이 급격하게 증가한 것을 알 수 있었다. 학술지 분야의 경우, 인적자원개발 분야가 34편(34.3%), 경영학 분야가 15편(15.1%), 관광학 분야가 25편(25.3%), 행정학, 정책학, 교육학 등의 기타가 25편(25.3%)이었다.

분석대상인 99편의 논문을 대상으로 <표 1>의 신뢰도 일반화 분석요소를 중심으로 코딩작업을 수행하였다. 신뢰도 통계량과 같은 양적 수치 자료는 그대로 코딩하였고, 학술지 분야와 같은 범주형 자료는 분석요소의 기준에 따라서 명목척도로 코딩하였다. 예를 들어, 학술지 분야의 경우 ‘HRD=1, 경영학=2, 관광학=3, 기타=4’로 코딩되었다. 엑셀파일로 코딩을 완료한 후 SPSS 21.0 한국어 프로그램을 활용하여 분석을 실시하였다. 분석은 연구물들의 기본적인 특성과 연도별 분포 등을 파악하기 위하여 빈도분석과 기술통계분석을 실시하였다. 다음으로 학습 전이 측정도구의 신뢰도 일반화를 분석하기 위하여 상관관계분석, 회귀분석, 분산분석을 실시하였다. 즉, <표 1>의 신뢰도 일반화 분석요소에서 신뢰도 통계량과 다른 요소들 간의 관계를 상관관계분석, 회귀분석, 분산분석을 통하여 알아보았다.

가. 표본 및 측정도구 특성 영역의 분석 결과

표본 특성 영역에는 표본크기, 직업군, 자료수집방법, 측정 시기의 4가지 분석요소가 포함되 었다. 우선, 논문 게재연도별로 표본 수의 차이는 크게 나타나지 않았기 때문에 연도별 빈도는 제시하지 않았다. <표 3>을 보면, 표본크기의 평균은 290.79명 이었다. 200명 이상의 표본을 분석한 논문은 전체의 약 60% 정도였다. 일부 논문의 경우 1,522명 등 매우 큰 표본을 분석하는 경우도 포함되었다. 이런 경향에 의하여 표준편차는 225.74로 평균과 유사할 정도로 크게 나타 났다. 이는 연구물별로 표본 수의 차이가 크다는 점을 의미하였다.

직업군의 총 코딩 수는 145개였다. 즉, 한 편의 논문에서 여러 직업군을 대상으로 측정하는 경우가 있어서 총 논문편수보다 직업군의 코딩 수가 더 많았다. 분석대상 논문의 직업군은 사무직이 54건(37.2%)으로 가장 많았고, 다음은 서비스직 25건(17.2%), 전문직 21건(14.5%) 등 사무실 근로자가 대부분이었고 생산라인 근로자나 군인을 대상으로 논문의 편수는 많지 않았다.

자료수집방법의 총 코딩 수는 99개였다. 그 중 95건(96%)이 자기보고식 설문조사만 실시한 것으로 나타났고, 2건은 연구목적을 달성하기 위해, 즉 전이에 관한 사례를 얻기 위해 자기보고식 설문조사와 면담을 병행하여 실시하였다. 그리고 응답자의 인식에 근거한 학습전이 측정의 한계점을 보완하기 위하여 설문 대상자를 학습자뿐만 아니라 동료평가를 실시하고 성공사례와 실패사례를 추출하기 위하여 면담을 실시한 논문은 단 1건에 불과하였다. 이와 더불어 자기보고식 설문형태의 유형을 살펴보면, 기존의 선행연구에서 4~5문항으로 질문하는 자기보고식 설문형태가 82건(83.7%) 이었고, 학습목표에서 전이 행동지표를 추출하는 방식의 설문형태는 9건(9.2%), 교육내용에 기반한 설문형태가 5건(5.1%), 근전이와 원전이 개념을 적용하여 개발된 설문형태가 2건(2.0%)으로 대부분 일반적인 전이 수준을 측정하는 것으로 나타났다.

측정 시기의 총 코딩 수는 124개였다. 즉, 한 편의 논문에서 여러 번의 측정이 있는 경우가 있어서 총 논문편수보다 측정 시기 코딩 수가 더 많았다. 측정 시작시점은 논문에 측정 시작 시점을 제시한 경우로서, 71건(57.3%)이 이에 해당되었고 절반보다 약간 더 많았다. 측정기간 은 측정 종료시점에서 시작시점을 빼서 산출하였다. 측정 종료시점을 제시하지 않은 경우에는 측정 시작시점을 제시하였더라도 미 제시로 포함되었다. 총 61건(49.2%)에서 측정기간이 산출 되었다. 즉, 종료시점을 제공하지 않은 경우는 10건 존재하였다.

측정 시작시점 평균은 2.7개월 이었고, 측정기간 평균은 5.4개월 이었다. 즉, 프로그램 종료 후 약 2.7개월부터 학습전이 측정이 시작되었고, 측정은 대략 5개월 정도 실시되었다. 그러나 측정기간의 경우 표준편차가 7.29로 편차가 큰 편으로 나타나서 연구물의 측정 시기마다 상당한 차이가 있다는 점을 시사하였다. 빈도를 보면, 프로그램 종료 직후에 학습전이 측정을 시작 하는 경우가 13건 이었고, 일반적으로 추천되는 3개월 이내에 측정한 경우는 53건(42.7%)으로 대다수였다. 측정기간의 경우 0개월로 표기된 것은 측정을 시작하고 1개월 미만으로 측정이 완료된 경우를 의미한다. 이는 19건(15.3%)으로 가장 높은 빈도를 보였다. 측정기간의 경우 3 개월 이하가 총 33건(26.5%) 이었다. 측정기간이 1년을 넘는 경우도 5건이나 존재하였다.

학습전이 측정 시기의 경우 연도별로 흥미로운 추이를 보이고 있다. [그림 1]을 보면, 좌측은 연도별 시작시점 평균이고, 우측은 연도별 측정기간 평균을 표시한 것이다. 학습전이 측정 시작시점은 최근으로 올수록 점점 증가하여 프로그램 종료 후 측정 시기가 늘어나고 있다는 점을 보여주었다. 반면에 측정기간은 최근으로 올수록 줄어드는 경향을 보였다. 따라서 학습전이 측정이 프로그램 종료시점으로부터 점점 멀어지지만 측정기간이 줄어들고 있어서 장기간에 걸쳐서 측정이 이루어지는 경우는 줄어드는 것으로 나타났다.

측정도구의 특성 영역에는 측정도구의 종류, 측정도구의 원천, 측정항목의 수, 척도 유형, 측정값 평균, 측정값 표준편차의 분석요소가 포함되었다. <표 4>를 보면, 측정도구의 종류에서는 Rouiller와 Goldstein(1993)의 도구가 42회(42.4%)로 가장 많이 활용되었다. 그 다음으로는 주용석(2002), 김진모(1997) 등의 도구와 교육프로그램에 따라 자체 개발된 도구가 포함된 국내 기타 도구들이 18회(18.2%) 사용되었다. 이도형(1995; 1996)의 도구가 10회(10.1%), 측정도구의 종류가 제시되지 않은 경우가 10회(10.1%)였다. 그 외에 Holton과 Bates(1998)의 LTSI, Baumgarter과 Jeanpierre(1972), 국외 기타(Noe, 1986, Huczynski & Lewin, 1980, Xiao, 1996 등), Baldwin과 Ford(1988)의 도구 등이 활용되었다.

[그림 2]에서 보면, Rouiller와 Goldstein(1993)의 도구 또는 이에 기반한 도구들이 지속적으로 사용되었으며, 2000년대 후반 또는 2010년 정도부터 다양한 도구들의 활용이 급증하였다. 국내 연구자가 개발한 도구 중에는 이도형에 의하여 개발된 도구가 지속적으로 활용되었고, 최근에 와서 다른 국내 연구들에 의해 개발된 도구의 사용이 증가하는 것으로 나타났다.

측정항목의 수는 사용된 문항 수로 평균 6.6개였다. 대부분의 연구에서 4-5개의 문항을 사용 하였지만 선행연구를 기반으로 자체 개발된 논문의 문항 수가 10-39개 사용됨으로써 평균 및 표준편차가 상승한 것으로 보인다. 문항 수를 제시하지 않은 논문도 42(38.9%)건이나 되었다.

척도 유형은 척도 점수를 5점 척도를 사용했는지, 7점 척도, 9점 척도로 사용했는지 보고한 연구는 총 99개 중 45.5% 정도를 차지하는 45개였다. 이 중 39.4%인 39개의 연구에서는 Likert 5점 척도를 사용하였고, 나머지 5개(5.1%) 연구에서는 7점 척도, 1개(1.0%)의 연구에서는 9점 척도를 사용하였다. 척도의 유형을 제시하지 않은 연구도 54개(54.5%)로 절반 이상이었다.

측정 원천은 선행연구에서 사용하는 도구를 사용한 것인지, 아니면 연구자가 자체 개발한 도구를 사용한 것인지를 의미하는 요소였다. 분석 결과, 대다수의 연구물(75편)에서 선행연구의 도구를 활용하는 것으로 나타났고, 자체 개발도 15편으로 약 15% 정도를 차지하였다.

다음으로 측정값은 연구물들에서 제시된 학습전이 측정값의 평균과 표준편차로 전체 평균은 4.9663이었다. 그런데 2004년에 발표된 논문 중 학습전이 측정값을 척도로 나누지 않고 보고한 경우가 있었다. 즉, 측정값 평균이 81.67이었고, 표준편차가 9.54였다. 이 하나의 연구물에 의해서 측정값 평균과 표준편차가 지나치게 높게 산출될 수 있기 때문에 이 연구물을 제외하고 다시 평균과 표준편차를 산출하였다. 이때 평균은 3.7488이었고, 표준편차는 1.1964였다. 따라서 학습전이의 측정값의 평균은 대략 3.7정도이고, 대부분의 연구물에서 5점 척도를 사용한다는 점에서 중간 정도의 평균으로 해석되었다.

나. 신뢰도 특성의 분석 결과

다음으로 신뢰도 특성 영역에 대한 분석을 실시하였다. 신뢰도 특성에는 신뢰도의 종류, 신뢰도 판단기준, 신뢰도 통계량, 신뢰도 분석을 통하여 제외된 문항이 분석 요소로 포함되었다. 신뢰도 종류의 경우 99편 중 83편(83.8%)이 Cronbach의 신뢰도 통계량을 사용하였다. 기타가 2 편 있었는데, 이 논문들에서는 상관분석 등을 활용한 개념신뢰도 등이 활용되었다. 더불어 미제시된 논문도 14편 있었다. 학습전이 측정도구가 대부분 복수의 자기보고식 척도를 활용한다는 점에서 문항내적 일치도 통계량인 Cronbach의 신뢰도 통계량이 비교적 안정적으로 신뢰도 수준을 파악할 수 있는 장점을 갖는다.

다음으로 신뢰도 판단 기준의 경우 124건의 분석자료 중에서 112건(90.4%)에서 제시하지 않았다. 신뢰도 판단 기준을 논문에서 명시한 경우는 .5이상(1건), .6이상(6건), .7이상(5건) 등으로 나타났다. 따라서 대다수의 연구물에서 신뢰도 판단 기준을 제시하지 않고 신뢰도에 대한 해석을 하는 것으로 판단되었다.

신뢰도 통계량은 각 연구물들에서 제시한 학습전이 측정도구의 신뢰도 값을 의미한다. 신뢰도 통계량을 제시하지 않은 경우가 34건으로 27.4%나 되었다. 제시된 신뢰도 통계량들은 .80이 상이 76건(61.3%)으로 다수였다. 일부 연구물에서는 .60 정도의 신뢰도도 제시되었다. 신뢰도 통계량을 기준으로 학습전이 측정도구의 문항을 제거한 경우는 1개 연구물에서 발견되었다. 이외의 연구물에서는 신뢰도로 인하여 제외된 경우는 보고되지 않았다.

다음으로 신뢰도 통계량에 대한 기술통계를 분석하였다. <표 6>을 보면, 전체 124건의 분석 자료에서 나타난 평균은 .864 정도로 비교적 안정적인 신뢰도 수준을 보였다. 그리고 이런 신뢰도 수준은 연구물이 발행된 연도에 따라서는 큰 차이를 보이지는 않았다. 즉, 연도별 평균을 보면 대체로 .8 이상의 신뢰도 평균을 보였기 때문이다. 그러나 최소값을 보면 .6대의 신뢰도 통계량을 보이는 경우가 2006년, 2011년에 존재하고 있으며, 최근으로 올수록 측정 자료의 최소값과 최대값의 차이가 커지는 것을 알 수 있었다.

이런 경향은 그래프를 통해서도 확인할 수 있었다. 즉, [그림 3]에서 볼 수 있는 것처럼 최근으로 올수록 연구물이 증가하면서 신뢰도 통계량의 산점도 역시 폭이 상하로 넓어지는 것을 확인할 수 있었다. 이는 연구물마다 신뢰도 통계량의 차이가 점차 커진다는 것을 의미한다. 그러나 대부분의 경우에는 .7 이상의 안정적인 신뢰도 수준을 유지하였다는 점에서는 학습전이 측정도구의 신뢰도가 문제가 될 정도로 분산이 커지는 것은 아니라는 판단을 할 수 있다. 다만 .6대의 신뢰도를 보이는 연구물들이 나타나고 있다는 점에서는 좀 더 유의해서 볼 필요는 있다. 최근까지 전체의 신뢰도 통계량 평균이 .8대 이상을 유지하는 것은 신뢰도가 높아진 연구물과 낮아진 연구물이 함께 존재하기 때문이다. 따라서 이런 신뢰도 통계량의 분산이 커지는 이유에 대하여 보다 면밀하게 분석할 필요가 있다.

신뢰도 일반화 분석을 위하여 상관관계분석, 회귀분석, 분산분석을 실시하였다. 표본 특성에는 표본크기, 측정 시작시점, 측정기간의 3가지 특성요소가 포함되었다. 측정도구 특성에는 측정도구의 종류, 측정항목의 수, 척도 유형, 측정값 평균, 측정값 표준편차의 5개 특성요소가 포함되었다. 총 8개의 특성요소와 신뢰도 통계량의 관계에 대한 분석이 시도되었다.

상관관계 분석 결과, 총 7개의 상관이 통계적으로 .05 수준에서 유의한 것으로 나타났다. 신뢰도 통계량과 유의한 상관계수가 나타난 특성요소는 척도 유형(.330)과 측정값 평균(-.290)이었다. 또한 측정값 표준편차와 측정항목의 수(.516), 척도 유형과 측정 시작시점(.497), 측정값의 평균과 표준편차(.461), 측정항목의 수와 측정도구의 종류(.448) 등의 순으로 상관계수가 높게 나타났다.

다음으로 회귀분석을 실시한 결과, 척도 유형과 측정값 평균만이 통계적으로 유의한 영향을 주는 것으로 나타났다. 척도 유형의 경우 비표준화계수는 .046이었고, 표준화계수가 .330으로 통계적으로 유의하였다. 측정값 평균의 경우에는 표준화회귀계수가 -.043이었고, 표준화회귀계수는 -.290으로 통계적으로 유의하였다. 따라서 척도 유형이 5점에서 6점, 7점으로 증가할수록 신뢰도 통계량이 증가하는 것으로 해석할 수 있다.

범주형 변수의 경우에는 신뢰도 통계량에 대한 분산분석으로 관계를 분석하였다. 분석결과 8개의 특성요소 중에서 측정도구의 종류에 따라서 신뢰도 통계량이 통계적으로 유의한 차이가 존재하는 것으로 나타났다(F=3.353, p=.006). 즉, 측정도구의 종류에 따라 신뢰도 통계량의 평균이 차이가 존재하였다. 이에 사후분석을 실시하였다.

Duncan의 사후 검증을 실시한 결과, Baldwin과 Ford(1988), Rouiller와 Goldstein(1993)의 두 도구의 경우 신뢰도가 가장 높은 집단으로 구분되었다. 그 다음으로 이도형(1995; 1996), 국외 기타, 국내 기타의 도구들의 신뢰도가 높았고, Holton과 Bates(1998)의 LTSI, Baumgartel과 Jeanpierre(1972)의 도구가 낮은 신뢰도 집단으로 구분되었다. Holton과 Bates(1998)의 LTSI, Baumgartel과 Jeanpierre(1972)의 신뢰도가 다른 도구들에 비해 낮은 편이었으나 모두 .8 이상의 신뢰도로 비교적 안정적인 수준이었다.

본 연구는 국내 학술지에 게재된 학습전이에 대한 실증적 연구에서 사용된 학습전이 측정도 구의 신뢰도 일반화 검증 연구를 위해 실시되었다. 분석결과에 대하여 다음과 같은 논의 및 시사점 도출이 가능하였다.

첫째, 학습전이 측정도구의 신뢰도는 비교적 안정적인 편이었으나 신뢰도 계수 및 신뢰도와 관련된 정보 제공에는 충실하지 못한 상황이었다. 99편의 논문에서 124건의 분석사례가 수집 되었는데, 이 중에서 신뢰도 통계량을 제시한 90건의 논문을 분석한 결과, 신뢰도 평균은 .864 였다. 신뢰도 값이 .7이상이면 비교적 양호한 신뢰도로 본다는 점에서(성태제, 2002) 최근까지 국내 학습전이 실증연구들의 측정도구 신뢰도 수준은 우수한 것으로 판단되었다. 다만, 학습전이에 대한 자기보고식 설문조사의 신뢰도 문제에 대한 지적은 있었으나(이지은·박아람, 2012; 현영섭, 2004a; Baldwin & Ford, 1988), 신뢰도에 대한 상세한 분석은 존재하지 않아 선행연구 와의 비교는 쉽지 않았다. 다만 해외 학습전이 메타연구(Blume et al., 2010; Cheng & Hampson, 2008)들에서도 학습전이 측정도구의 신뢰도가 비교적 안정적인 수준이라는 점을 지적하였다는 점에서 본 연구의 결과가 선행연구들과 유사한 결과를 얻은 것으로 해석할 수 있다.

관련하여 추가적인 논의사항은 신뢰도 통계량에 대한 정보를 제공하지 않은 분석사례가 34 건으로 27.4%나 된다는 점이다. 일반적으로 양적 조사를 실시하고 신뢰도 분석에 대한 결과 보고는 대부분의 논문에 포함되어 있다. 그러나 국내에서는 가장 기본적인 신뢰도 통계량에 대한 보고가 이루어지지 않은 경우가 적지 않다. 이는 비단 학습전이뿐만 아니라 자기주도학습, 자기효능감(이상희·남숙경·이상민, 2008; 현영섭, 2014)에 대한 메타연구들에서도 유사하게 나타났다. 따라서 학습전이 측정도구에 대한 신뢰도 미 제시가 학습전이에만 국한되어 나타나는 현상은 아니었다. 이런 경향이 있더라도 신뢰도 통계량에 대한 제시는 양적연구 논문에서 기본적인 자리를 차지한다는 점에서 비판적 관점이 필요하다. 신뢰도 통계량뿐만 아니라 신뢰도 판단기준 미 제시(90.4%), 제외된 문항 미 제시(99.2%) 등 신뢰도 전반에 대한 보고 누락도 보편적으로 나타나고 있다. 앞서 지적한 바와 같이, 학습전이 측정도구가 대부분 자기보고식의 설문형태로 나타났고(전체의 96.0%), 이런 방법의 신뢰도에 대한 의구심이 존재하므로(이지은· 박아람, 2012; 현영섭, 2004a; Baldwin & Ford, 1988), 신뢰도와 관련된 정보들을 논문에서 보다 철저하게 보고하는 것이 요구된다.

이런 점에서 우선 학습전이 관련 연구들은 학습전이 측정과 관련된 상세한 정보들을 논문에서 제공할 필요가 있다. 이런 정보들에는 학습전이 측정 시기, 측정도구의 종류, 측정문항수, 척도 유형, 학습전이 측정값, 신뢰도 통계량 등이 포함된다. 더불어 연구물의 이런 정보들을 수합하여 정기적으로 학습전이 측정에 대한 메타연구 또는 동향연구가 실행될 필요가 있다. 보다 적극적으로는 기업을 포함하여 다양한 현장에서 연구되는 학습전이를 주제로 학술대회를 개최할 필요성도 있다. 해외에서는 학습전이를 주제로 하는 특별호(Advances in Developing Human Resources 2000년 11월호)를 학술지로 다루는 경우도 있었다. 또한 학술지 게재논문 심사과정에서도 학습전이뿐만 아니라 다른 변수들을 포함하여, 측정도구에 대한 정보나 신뢰도에 대하여 보다 철저하게 심사를 진행하는 것도 필요할 것이다.

둘째, 학습전이 측정과 관련하여 측정 시작시점의 평균이 2.7개월로 비교적 추천되는 시기 (현영섭, 2013; 현영섭·권대봉, 2003; Axtell, Maitlis, & Yearta, 1997)에 측정이 시작되는 것으로 나타났다. 관련 연구들에서는 교육프로그램이 종료된 이후 3개월 또는 6개월 이내에 측정되는 것이 바람직하다고 함으로써 지나치게 학습전이 측정 시기가 프로그램 종료 시점으로부터 멀어지는 것의 문제점을 지적하기도 하였다(현영섭·권대봉, 2003; Axtell, Maitlis, & Yearta, 1997). 본 연구의 결과, 측정 시작시점이 2.7개월로 3개월 미만이라는 점에서는 바람직하지만, 시작시점을 미 제시한 경우가 53건(42.7%)으로, 다수라는 점에서 분석결과의 한계가 존재하였다.

측정기간의 경우 평균 5.4개월로 측정 시작시점을 고려하면 프로그램 종료 후 8.1개월이 되어서야 평균적으로 조사가 종료된다는 점에서 문제점을 내포하고 있었다. 즉, 프로그램 종료 후 3개월 이내에 조사가 시작되었으나 조사종료는 8.1개월 후 진행된다면 이 역시 지나치게 학습전이 측정시점이 프로그램 종료시점에서 멀어진 것으로 해석되기 때문이다. 과연 프로그램이 종료된 후 8개월이나 지난 시점에서 학습한 내용을 얼마나 기억할 것이며, 또 자신의 일에 어느 정도의 수준에서 적용하는지를 정확하게 응답할 수 있는지가 여전히 의문점으로 남는다. 더구나 본 연구의 분석에서 측정기간의 미 제시는 63건으로 50%를 넘어서고 있다는 점에서 본 연구의 분석결과에 대한 한계점도 함께 존재하였다.

종합하자면 측정 시기 측면에서 보면, 측정시작은 프로그램의 효과를 판단할 수 있는 시기에 이루어지지만, 조사기간이 5개월 이상 된다는 점에서는 측정기간이 길어지는 문제점이 발견되었다. 다만 연도별 분석결과를 보면, 점차 측정기간이 줄어들고 있어 약간씩 개선되는 것으로 판단되었다. 학습전이의 측정 시기에 대한 문제는 여전히 미지수로 남아 있다. 중요한 점은 ‘학습전이 행동을 가장 잘 측정할 수 있는 시기가 언제인가?’하는 점이다. 교육프로그램이 종료된 후 지나치게 오랜 시간이 지나면 기억의 감퇴와 다른 요인들의 간섭효과가 발생할 것이고, 종료 직후라면 학습전이를 할 기회를 갖지 못하게 된다. 그래서 측정 시기를 3개월 또는 6개월 정도로 하는 것은 이 정도의 시간이라면 교육프로그램을 통하여 학습한 내용을 활용할 기회를 가질 것이고, 또 기억의 감퇴나 다른 요인의 간섭을 최소화할 수 있을 것이기 때문 이다.

셋째, 학습전이 측정도구의 다양성이 커지는 것으로 확인되었다. 측정도구의 다양성은 다양한 종류의 측정도구가 사용되는가를 의미한다. 1990년대 중반부터 2000년대 중반까지 국내연구들은 Rouiller와 Goldstein(1993)의 도구와 국내 연구자인 이도형(1995; 1996)의 도구를 많이 사용하였다. 그리고 2000년대 중반 이후부터는 보다 다양한 도구들의 활용이 나타나고 있다. 이는 앞서 Rouiller와 Goldstein(1993)의 도구와 이도형(1995; 1996)의 도구에서 문제가 있기 보다는 보다 다양한 연구자들의 관점을 반영하는 측정도구 활용이 증가하는 것으로 해석할 수 있다. 예를 들어, Holton과 Bates(1998)의 도구는 체계적으로 학습전이를 이해하고 또 관련 독립변수들과의 관계를 설정한 모형을 제공한다는 점에서 그 활용성이 높았다. 그 외에도 도구에 따라서 원전이(far transfer)를 측정한다든지, 교육프로그램의 내용에 특화된 측정도구를 개발하는 등으로 인해 도구 활용의 다양성이 증가한 것으로 보인다.

그런데 흥미로운 점은 측정도구의 종류에 따라서 신뢰도 통계량에서 유의한 차이가 존재한 다는 점이다. 회귀분석 결과에서 Rouiller와 Goldstein(1993)의 도구, Baldwin과 Ford(1988)의 도구의 신뢰도가 가장 높았으며, 이도형(1995; 1996)의 도구와 국내외 기타 도구가 그 다음으로 높았다. 그리고 Holton과 Bates(1998)의 LTST, Baumgartel과 Jeanpierre(1972)의 도구가 상대적으로 낮은 신뢰도 집단을 구성하였다. 이를 비교적 오랫동안 빈번하게 사용된 도구들의 신뢰 도가 높고 최근에 와서 사용되거나 자체 개발된 도구들의 신뢰도가 낮은 것이었다. 물론 전체 적으로 .8이상의 신뢰도라는 점에서 상대적으로 신뢰도의 차이가 존재하는 것이지 특정도구의 신뢰도가 문제가 있을 정도로 낮은 것은 아니었다. 다만 Rouiller와 Goldstein(1993)의 도구의 활용빈도가 30회를 넘지만 다른 도구들은 활용빈도가 적어서 향후 지속적으로 새롭게 등장하는 도구들을 활용하여 신뢰도 수준을 확인하는 작업이 진행될 필요는 있다.

넷째, 측정항목과 척도의 경우 측정도구의 종류에 따라 한정되는 것으로 나타났다. 원래의 척도를 사용하다 보면, 측정항목의 수나 척도는 원래 버전의 도구를 따라가기 쉽기 때문이다. 그럼에도 불구하고 일부 연구들에서는 하나의 연구에서 동일한 도구를 사용하고 있음에도 불구하고 측정마다 다른 문항수를 제시하고 있어서 특이한 경우도 보고되었다. 전체적으로 측정 문항수의 평균은 6.6개였고 최소가 3개였다.

일부 연구들이지만, 측정도구의 문항수가 3개 이하인 경우 신뢰도에도 문제가 발생할 수 있다. 즉, 문항수가 지나치게 적은 경우 측정오차, 즉 문항 간 편차가 증가될 소지가 존재하고, 이는 신뢰도 저하로 연결될 수 있다(Blume et al., 2010). 또한 원전 도구를 볼 때, 3개 문항 이하인 도구는 존재하지 않는다는 점에서 개별 연구들에서 자의적으로 문항을 구성하는 측면도 배제하기는 어렵다. 이런 점들을 고려한다면, 학습전이 측정도구의 문항 구성에서 문제가 있어 보이는 논문들이 존재하며, 신뢰도 수준까지 낮아지지는 않았으나, 문항 구성에 대한 보다 명확한 설명과 원 도구를 최대한 존중하여 사용하는 것이 필요해 보인다. 즉, 학습전이에 대한 연구들은 측정도구로서 원전의 도구를 충실하게 검토하고 문항을 최대한 그대로 활용하는 것이 추천된다. 특히 지나치게 문항수를 줄일 경우 신뢰도의 저하가 발생될 수 있다는 점에서 연구자가 임의로 문항수를 선택하는 것은 최소화할 필요가 있다.

척도 유형의 경우 대부분(39편, 39.4%)은 5점 척도를 사용하는 것으로 나타났고, 일부 연구 들에서 7점이나 9점을 사용하는 것으로 나타났다. 또한 척도 유형 미 제시 역시 54편(54.5%)으로 높은 편으로 나타났다. 이런 점은 회귀분석 결과 척도 유형이 신뢰도 통계량에 유의한 영향을 미치는 것으로 나타난 결과에 대한 회의적 해석에 무게를 두게 한다. 즉, 회귀분석 결과에서는 설명량이 10.9%로, 척도 유형에 의한 설명량이 유의하고 회귀계수 또한 유의하였으나 5점 척도(39편), 7점 척도(5편), 9점 척도(1편) 간의 사례수의 차이가 크게 나타나서 회귀분석 결과에 대한 해석에 한계가 존재하는 것이다. 만약 이런 사례수의 차이를 무시한다면, 척도의 수가 많아질수록 문항의 응답선택지가 증가한다는 점에서 응답자의 의견을 보다 정밀하게 측정할 수 있다는 장점을 갖고, 이는 신뢰도 증가에도 긍정적 영향을 미칠 수 있다(이학식·김영, 1997; Churchill & Peter, 1984). 물론 문항수, 척도 유형별 사례 수 등 다양한 요소들이 관련된 다는 점에서 이런 결론은 매우 유보적인 한계를 갖고 있다. 따라서 향후의 연구들에서는 7점 척도나 9점 척도를 사용한 연구들을 더 수집하여 회귀분석을 다시 실시할 필요가 있다.

다섯째, 학습전이 측정값은 중간보다 약간 더 높은 수준으로 나타났다. 학습전이 측정값을 보고한 60건의 평균이 4.9663이었으나 분석대상 연구물 중 1편에서 지나치게 높은 학습전이 측정값(81.67)이 보고되어, 이를 제외하고 분석한 경우 3.7488로 낮아졌다. 표준편차에서도 동일한 현상이 나타났다. 이는 문항수로 전체 측정값을 나누지 않고 그대로 사용한 데 원인이 있는 것으로 해석되었다. 대부분의 연구들에서는 문항수로 나눠서 평균 측정값을 사용하였으나 나누지 않고 문항값을 합산한 값만 사용하는 경우도 있었던 것이다. 이런 경우를 제외하고 학습전이 측정값 평균이 대략 3.7정도라면 학습전이 측정값 평균은 신뢰도와 밀접한 관계가 있는 것으로 나타났다. 본 연구의 회귀분석 결과, 학습전이 측정값 평균은 신뢰도 통계량에 부적 영향을 미치는 것으로 나타났다. 이는 자기보고식의 학습전이 측정에서의 문제점과 연관되어 보인다. 즉, 자기보고식 측정의 경우 사회적으로 올바른 답을 하거나 평가적 요소라는 점을 응답자들이 인식하여 지나치게 응답 측정치가 높아지는 것의 문제점이 존재하고, 이는 신뢰도를 낮추는 원인이 된다(이지은·박아람, 2012; 현영섭, 2004a; Baldwin & Ford, 1988). 반대로 학습전이 측정값이 작아지는 경우, 자기보고식 측정이나 도구의 한계 등으로 인한 측정오차가 줄어 드는 것으로 이해되고 이로 인하여 신뢰도 통계량이 상승하는 효과가 나타날 수도 있다.

따라서 학습전이 측정 결과 그 값이 높다고 해서 무조건적으로 수용하는 것은 한계가 있다. 그만큼 측정의 신뢰도는 낮아지기 때문이다. 이런 점에서 학습전이를 양적으로 분석하는 연구 들은 학습전이의 측정값이 다른 요인에 의해 지나치게 높아지지 않도록 유념할 필요가 있다. 즉, 응답자들이 설문조사를 하나의 평가로 인식하지 않도록 하고, 사회적으로 올바른 답을 해야 될 것 같은 부담을 갖지 않게 하며, 필요한 경우 상사나 동료 등의 다양한 응답자로부터 학습전이를 측정하는 것이 바람직할 것이다. 이와 같은 방법으로 자기보고식 또는 주관적 응답으로 인한 학습전이 측정값의 상승과 그에 따른 신뢰도의 저하를 최소화하는 전략 적용이 필요하다.

이상의 논의와 시사점에도 불구하고 본 연구는 다음과 같은 한계점도 갖는 것으로 나타났다. 첫째, 본 연구에서 분석한 신뢰도 통계량은 학술지 게재된 논문만 대상으로 하여 수집된 수치라는 점에서 자료의 전달 효과가 발생할 수 있다. 즉, 학술지에 게재되기 위해서는 신뢰도가 안정적으로 보고되어야 하기 때문에 이미 게재된 논문들에서는 낮은 신뢰도를 찾기 어렵다는 것이다. 이런 점을 해소하기 위하여 미 발간된 논문을 분석에 포함해야 하지만, 본 연구에 서는 이를 반영하지 못하였다. 이에 후속연구들에서는 이른바 ‘서랍 속 효과’라고 하는 점에 착안하여 미 발간된 논문들을 분석에 포함하여 학습전이 신뢰도 분석을 시도하는 것이 추천된다. 둘째, 수집논문을 기업교육, 성인대상 등으로 한정하여 그 외의 영역에서 발표된 연구 물을 포함하지 못하였다. 이에 후속연구들은 기업교육이 아닌 평생교육 분야의 학습전이, 대학생을 대상으로 한 학습전이 등을 포함한 다양한 연구물을 분석대상으로 포함하는 것이 추천된다. 셋째, 학습전이 측정도구에 대한 분석을 시행함에 있어 전이 측정도구를 전이환경과 전이 행동을 평가하는 두 방식으로 분류해서 결과를 제시하는 연구도 추천된다. 전이환경과 전이행동은 성격이나 특성 면에서 다른 면모를 보이기 때문에 이를 구분하여 신뢰도 일반화 분석을 시행하는 것도 의미가 있을 것이다. 넷째, 본 연구에서는 학습전이 측정도구의 신뢰도에 영향을 미치는 변수들을 일대일 관계로만 살펴보았고 변수들 간의 상호작용 효과에 의해 신뢰도에 영향을 주는지에 대한 분석은 수행하지 못하였다. 이에 후속연구에서는 학습전이 측정도구의 신뢰도에 영향을 미치는 원인이나 요인을 다양한 분석방법을 활용하여 찾는 것도 추천된다. 다섯째, 신뢰도 일반화 검증방법을 활용한 연구를 수행할 경우 범위제한 상관분석과 같은 방법으로 분석하는 것도 추천된다. 특정 표본에서 추출된 자료의 점수(score)의 신뢰도 계수는 해당 자료 점수의 표준편차에 따라 결정될 수 있다. 즉, 표준편차가 낮은 경우 척도의 점수에 대한 신뢰도 계수 역시 낮거나 그 반대가 될 경향이 있다. 이에 각기 상이한 표준편차를 갖고 있는 연구들 간에 신뢰도 계수를 단순 비교, 분석하는 방법은 한계가 있을 수 있다. 따라서 이를 극복하기 위해 신뢰도 계수를 변환하여 사용하는, 즉 범위제한 상관분석과 같은 방법을 활용하는 것이 필요하다. 여섯째, 본 연구는 학습전이 측정도구의 신뢰도 일반화 분석을 실시하여 측정도구와 측정현상의 일치성을 파악할 수 있는 타당도 분석은 이루어지지 않았다. 신뢰 도와 타당도는 문항의 다른 측면을 반영하지만 다른 한편으로는 상호관련성을 가지고 있기 때문에 후속 연구에서는 학습전이 측정도구의 신뢰성과 타당성에 대한 통합적 이해를 도울 수 있는 타당도 일반화 검증을 시행하는 것도 의미가 있을 것이다.