오늘날 많은 조직들은 조직 구성원을 개발하기 위해 다양한 인적자원개발(Human Resource Development; 이하 HRD) 프로그램을 실행하고 있다. 따라서 실행한 프로그램의 가치를 입증하고, 프로그램을 개선하며, 프로그램에 관한 의사결정을 내리기 위한 프로그램 평가는 그 자체가 중요한 HRD 활동이다. 그러나 대부분의 HRD 프로그램 평가는 아직까지 체계적으로 이루어지지 못하고 있다(배을규, 2012a; Bae, 2003; Brinkerhoff, 2008; Russ-Eft & Preskill, 2001). 이러한 현상이 지속되는 가장 큰 이유 중 하나는 HRD 프로그램을 기획‧개발‧실행하고 전 과정을 평가함에 있어 특정 평가 접근법 또는 모형에 지나치게 의존해왔기 때문이다. 현재까지도 HRD 프로그램 평가 현장에서는 목표 지향 평가 접근법에 기반을 둔 Kirkpatrick의 4수준 평가가 가장 많이 활용되고 있는데(박소연, 2008; Swanson & Holton, 2001), 이는 비교적 모형 자체가 단순하여 이해하고 활용하기 쉽기 때문이다(배을규, 2009; Kirkpatrick & Kirkpatrick, 2006; Kraiger, Ford, & Salas, 1993; Phillips, 1997).

그러나 목표 지향 평가의 특성 상 Kirkpatrick의 4수준 평가는 프로그램의 성공 및 실패 원인을 명확하게 파악하고, 프로그램의 의도하지 않은 목적 달성 여부를 확인하기 어렵다는 단점을 지니고 있다. 또한 Kirkpatrick의 4수준 평가를 활용할 경우 각 수준, 즉 반응, 학습, 행동, 결과 수준의 측정 도구와 방법을 강조하게 됨으로써 사용하는 도구와 방법의 질적 수준에 따라 평가 결과가 좌우될 가능성이 높다. 그러므로 정작 프로그램과 프로그램 평가의 이해관계자의 요구나 평가의 목적과는 무관한 피상적인 결과만을 제시하여, 평가의 타당성, 적절성 및 평가 결과의 활용 가능성이 저하될 수 있다는 지적이 부단히 제기되어 왔다(김대영, 배을규, 2013; 박소연, 2008; Bae, 2003; Kirkpatrick, 2013).

이처럼 목표 지향 평가가 지닌 문제점들이 지적됨에 따라 프로그램의 실제 효과를 파악하기 위한 탈목표 평가(Scriven, 1973), 이해관계자의 의도된 평가 결과 활용 목적에 초점을 두는 활용 중심 평가(Patton, 1997), 프로그램에 내재된 고유의 프로그램 논리(program theory)를 중시하는 논리 지향 평가(Bickman, 1987; Chen, 1990, 1994; Smith, 1994; Weiss, 1997) 등 대안적인 평가 접근법들이 소개되어 왔다. 이 접근법들은 이해관계자들의 평가 요구와 프로그램 자체논리에 기반을 두고 평가를 수행함으로써 평가의 타당도를 높이고 프로그램 평가 본연의 목적인 평가 결과 활용을 촉진시킨다는 장점을 지닌다. 또한 국외에서는 이미 하나의 평가 접근법에 의존하지 않고 다양한 대안적 접근법들을 통합적으로 활용하는 평가가 이루어지고 있으나, 이와 같은 통합적인 평가 접근법을 활용한 프로그램 평가에 관한 논의나 관련 연구가 아직 부족한 실정이다(Bledsoe & Graham, 2005; Chavis, 2004; Wholey, Hatry, & Newcomer, 2010).

국내 HRD 현장에서는 프로그램의 특성 혹은 평가 이해관계자의 요구나 평가의 목적에 부응하여 적합한 평가 접근법들을 다양하게 활용할 수 있다는 인식이 결여되어 있어 여전히 프로그램 참가자의 만족도, 프로그램 참가 현황, 프로그램 예산 활용 등에 초점을 맞춘 ‘활동 지향적’인 평가가 주를 이루고 있다(배을규, 2012b; Robinson & Robinson, 1989). 물론 전통적인 목표 지향 평가를 넘어서 서로 다른 평가 접근법을 활용하여 HRD 프로그램 평가를 실시하거나 연구하는 사례들(김대영, 배을규, 2012, 2013; 박소연 2007; 박소연, 유영만, 2010)이 있었지만, 다양한 평가 접근법의 활용 가치, 방법, 성과에 관한 학계의 논의는 여전히 미진하다.

HRD 프로그램을 기획‧설계‧개발‧실행하는 데는 주변 환경 변화와 관련 조직 및 해당 프로그램 이해관계자의 상이한 요구를 반영해야 한다. 그리고 당해 프로그램의 개발 과정과 실행 성과를 확인하고 지속적으로 개선하기 위해서는 타당성이 있고, 활용 가능한 평가가 요구된다. 이런 관점에서 프로그램의 맥락에 적합한 평가를 실시하고, 프로그램의 효과를 확인하고, 프로그램의 개선을 도모하며, 궁극적으로 프로그램 이해관계자의 요구를 충족시킬 수 있도록 특정한 평가 접근법에 의존하기 보다는 관련되는 여러 가지 접근법을 이용하여 평가를 실시하는 것이 필요하다(배을규, 2009; Scriven, 1998). 실제로 몇몇 연구들은 다양한 평가 접근법을 통합적으로 활용함으로써 평가의 맥락, 즉 프로그램의 특성과 이해관계자의 요구를 반영한 평가를 수행하는 것이 가능하다는 것을 보여주었다(Bledsoe & Graham, 2005; Chritie & Alkin, 2003; Michalski et al., 2003; Towns, Cole-Henderson, & Serpell, 2001). 이 연구들은 통합적 평가 접근이 프로그램의 부수적 효과를 규명하고, 프로그램 관리자 및 담당자, 수혜자, 스폰서 등 다양한 이해관계자들의 원활한 의사소통을 촉진하며, 해당 프로그램과 관계된 조직 구성원들이 스스로 평가를 수행할 수 있는 능력을 향상시키는 데 도움이 된다는 것을 확인하였다. 나아가서 이러한 접근법은 이해관계자들의 프로그램의 내용과 실행 방식, 프로그램의 가치와 중요성에 대한 인식을 제고하고, 관련 조직 구성원들 간 조직 학습을 활성화한다는 연구 결과도 제시되었다(Russ-Eft & Preskill, 2001).

이에 이 연구는 프로그램의 특성과 이해관계자들의 요구를 고려하면서 여러 가지 평가 접근법을 활용하여 평가 모형을 개발한 과정과 그 결과를 기술함으로써 통합적 평가 접근에 의한 프로그램 평가가 지닌 이론적 및 실천적 시사점을 논의하고자 한다. 이 연구의 대상이 된 프로그램은 한국문화예술교육진흥원에서 매년 정기적으로 실시되는 학교‧사회 예술강사 기본 연수이다. 학교‧사회 예술강사 기본 연수는 정부의 문화예술교육 정책들 중 핵심 사업인 학교‧사회 문화예술교육 지원 사업을 현장에서 수행하는 예술강사들의 역량을 향상시키기 위한 프로그램이다(배을규, 이민영, 김대영, 2014). 이 프로그램은 문화체육관광부의 예산 지원, 시‧ 도교육청과 전국 16개 지역문화예술교육센터의 예술강사 선발‧배치‧평가, 그리고 한국문화 예술교육진흥원의 교육 기획 및 운영 등으로 이루어져 이해관계자들의 요구가 다양하고, 프로그램의 맥락이나 특성이 복잡한 양상을 보인다. 따라서 학교·사회 예술강사 기본 연수 평가 모형 개발 사례는 적절하고 타당하며 효과적인 평가를 실시하기 위해 다양한 평가 접근법들의 선정과 활용이 필요하며, 그 과정에서 평가를 위한 이론적, 실천적 시사점들을 도출하는 데 유용하다고 판단된다.

1960~70년대 프로그램 평가는 주로 평가 관련 연구 설계, 자료 수집 및 보고에 초점을 두었다. 이로 인해 평가 결과의 활용은 전적으로 의사결정자들의 책임으로 남겨지게 되었고, 평가에 적용되는 방법과 기술 그리고 적용 과정의 엄격성과 엄밀성이 해당 평가의 질적 수준을 판단하는 최우선의 기준으로 고려되었다(Patton, 1997). 그러나 1980년대 이후 이해관계자들의 요구, 프로그램 개발‧실행의 전제와 가정들에 대해서 프로그램 관련자들의 관심이 대두됨에 따라 평가자의 역할은 과학적이고 객관적인 평가 설계와 측정의 수준을 넘어서게 되었다(Russ-Eft & Preskill, 2001). 그리고 이와 같은 평가관의 변화로 평가에 대한 정의는 ‘프로그램의 목적 달성 여부, 프로그램의 효과와 영향력을 파악하여 평가 대상 프로그램의 내재적 및 외재적 가치와 성과를 체계적으로 결정하는 과정’으로 보다 광범위한 의미를 담게 되었다(배을규, 2009; Stufflebeam & Shinkfield, 2007).1)

이처럼 확장된 정의를 감안할 때, 프로그램 평가가 타당성을 갖기 위해서는 우선적으로 평가의 맥락, 즉 프로그램의 특성과 이해관계자의 요구에 대한 고려가 중요하다는 사실을 확인할 수 있다. 평가의 목적, 절차, 방법은 해당 평가가 직면하게 될 맥락에 따라 서로 달라질 수밖에 없다. 결국 타당한 평가를 실시하기 위해서는 무엇보다 프로그램의 배경과 특징을 이해하고 프로그램 이해관계자들의 평가 요구를 분석해야 한다. 그리고 이를 토대로 적절한 평가접근법 선정, 핵심적인 평가 준거 및 평가 지표 도출, 평가 계획 수립이 이루어지고 관련 자료를 다양한 출처와 방법으로 수집‧분석할 때 타당한 평가적 판단을 내릴 수 있게 된다(이원석, 2011; Donaldson, 2007; Rossi, Freeman, & Lipsey, 2004; Turnbull, 1999).

과거에는 특정한 하나의 평가 접근법(특히 목표 지향 평가)을 중심으로 프로그램 평가를 실행하는 것이 지배적이었다. 그러나 특정한 하나의 평가 접근법을 따르기 보다는 프로그램의 맥락과 이해관계자의 평가 요구를 고려하고, 서로 다른 평가 접근법들이 지닌 특징과 장점을 활용하는 통합적인 접근 방식이 효과적이라는 주장이 나타나고 있다(배을규, 2009, 2012a; Bledsoe & Graham, 2005; Scriven, 1998). 이 연구의 사례로 소개되는 학교‧사회 예술강사 기본 연수는 관련 이해관계자들이나 프로그램 특성이 매우 복잡하고 다양한 특성이 매우 복잡하고 다양한 양상을 띠고 있으므로, 그런 평가의 맥락에 부합하는 대안적인 평가 접근법들을 활용하는 것이 요구된다. 따라서 이하에서는 프로그램의 상황적 특성과 이해관계자의 평가 요구에 초점을 맞추는 대표적인 평가 접근법들에 대해 살펴보고, 그것이 학교‧사회 예술강사 기본 연수 평가 모형 개발에 주는 시사점을 도출하고자 한다.

오늘날 프로그램 평가에 지대한 영향을 미친 평가 접근법은 Tyler의 8년 연구(1932-1940)의 결과로 정립된 목표 지향 평가이다(배호순, 2008). 목표 지향 평가는 프로그램 참가자가 달성해야 하는 목표를 구체적이고 관찰 가능한 행동적 언어로 진술하고, 목표 달성 여부를 과학적 기법으로 측정하며, 목표의 달성 기준과 성취 수준 간의 불일치를 확인하는 평가 접근법이다. 그러나 목표 지향 평가는 프로그램의 목적 또는 목표 달성 여부에 치중하기 때문에 의도하지 않았던 부수적인 효과와 프로그램 참가자의 경험, 태도, 감정의 변화 등을 구체적으로 관찰하는 것이 불가능하여 프로그램의 과정 및 실제적 효과에 대한 평가가 어렵다는 단점이 있다. 또한 프로그램 자체의 가치와 장점을 구체적으로 설명하지 못하고, 프로그램의 목표가 달성되지 않은 경우 그 원인이 무엇인지를 규명하기가 어렵다는 지적이 제기되어왔다(Stufflebeam & Shinkfield, 2007).

이를 극복하기 위한 대안적 접근법으로써 Scriven(1973)은 탈목표 평가 접근법을 제안한 바 있다. 이 접근법은 프로그램의 수혜자를 평가 결과의 활용자로 간주하고, 평가와 관련된 결정에 영향을 미치는 다른 이해관계자들, 즉 프로그램 관리자, 운영자, 관련 직원 등을 배제시킨다(배을규, 2009). 그렇게 함으로써 애초 프로그램으로 달성하고자 하는 목표 이외에 여타 영향이나 효과를 확인할 수 있게 되어 보다 광범위하고 심층적인 평가 자료 수집 및 종합적 판단이 가능하게 된다. 특히 이 연구의 평가 대상인 학교·사회 예술강사 기본 연수의 경우, 앞서 언급한 것처럼 프로그램의 이해관계자들이 다양하여 각기 서로 다른 목표를 가질 가능성이 높고 그들 간의 서로 상충하는 요구들이 있으므로 탈목표 평가에 의해 프로그램의 의도하지 않은 효과를 조사할 필요가 있다.

한편 논리 지향 평가는 종래의 평가들이 지나치게 ‘방법 중심의 평가’를 지향함으로써 평가의 관점이 제한적이고 평가 활동도 측정 중심적이며, 중요한 평가 이슈에 관한 자료를 배제시키는 한계점을 극복하기 위해 목표 지향 평가의 확장된 형태로 등장하였다(박소연, 2007). 논리 지향 평가의 기본 가정은 프로그램의 실행 과정과 효과를 이해하는 평가의 기초로서 프로그램의 존재 근거 혹은 프로그램 논리를 활용한다는 것이다(배을규, 2009; Bickman, 1987; Smith, 1994). 여기서 프로그램 논리란 프로그램의 메커니즘을 중심으로 프로그램의 계획과 기대하는 성과 간의 인과관계를 구성한 논리를 의미한다(김대영, 배을규, 2012, 2013). 그리고 논리 지향 평가는 이해관계자들과의 협력을 통해 프로그램 논리를 규명하고 논리 모형을 활용하여 규명된 프로그램 논리를 도식화한다(McLaughlin & Jordan, 1999; Renger & Titcomb, 2002).2)

논리 지향 평가를 통해 프로그램이 의도한 목적 달성에 필요한 활동들을 규명하고 프로그램 고유의 논리를 파악함으로써 평가 이해관계자들이 프로그램에 대해 공통적으로 이해하고 원활한 의사소통을 이룰 수 있도록 조력할 수 있다(Cooksy, Gill, & Kelly, 2001; Donaldson, 2007), 또한 특정 평가 모형, 도구, 방법에 의존하기보다는 평가 대상이 되는 프로그램의 특성이나 내용에 적합한 맞춤형 평가 실행이 가능하다는 장점이 있다(박소연, 2007; 배을규, 2012a; Chen, 2005; Donaldson, 2002; Smith, 1994). 더불어 프로그램의 성과 지표를 구체화하여 성과 관리체계의 기반을 제공함으로써 프로그램 개발 및 개선에 도움을 제공하고(배을규, 김대영, 이호진, 2011; Wholey, Hatry, & Newcomer, 2010), 무엇보다도 프로그램 고유의 논리에 입각하여 평가를 실시함으로써 평가 본연의 목적인 평가 결과 활용을 촉진할 수 있다(김대영, 배을규, 2013; 박소연, 2007; 배호순, 2008; Donladson, 2007; Rogers, 2000; Rossi, Freeman, & Lipsey, 2004). 따라서 이 연구의 대상인 학교‧사회 예술강사 기본 연수의 개발과 평가 과정에 논리 모형을 활용한 논리 지향 평가를 실행한다면, 이해관계자와의 협력을 토대로 학교‧사회 예술강사 기본 연수의 투입-과정-산출-성과 간의 관계에 대한 논리적 설명이 가능한 맞춤형 평가를 지향할 수 있고, 기본 연수의 성과를 체계적으로 평가하여 평가 결과 활용을 증진시킬 수 있을 것이다.

마지막으로 활용 중심 평가는 평가 결과의 유용성 및 현장 활용성, 즉 핵심 이해관계자들의 관심과 요구에 유연하게 부응하여 그들에게 유용한 평가 결과를 제공하는 것과 평가 결과의 실제 활용 여부를 중요하게 여긴다. 따라서 평가 결과가 유용하며 실질적으로 활용되기 위해 서는 핵심 이해관계자들이 평가에 관심을 갖고 참여해야 하고, 그 결과를 활용할 사람들이 누구인지 구체적으로 밝혀질 필요가 있다. 즉 활용 중심 평가는 구체적이고 의도된 평가 활용자를 규명하고, 그들과 협력하여 평가의 기본 틀과 구체적인 평가 방법을 결정하고, 평가 결과를 해석하여 활용 전략을 도출하며, 평가 보고의 범위를 확정짓는 것을 강조한다(Patton, 1997). 그리고 활용 중심 평가는 모든 상황에 보편타당하게 적용되는 최고의 평가 방법은 존재하지 않으며, 평가가 이루어지는 모든 상황은 각기 다른 상황 맥락적 특성을 지니므로 의도한 활용자들에게 의미 있고 유용한 평가가 이루어지기 위해서는 이해관계자들과의 지속적인 상호작용을 통해 그 상황에 적합한 평가 방법, 설계, 측정 도구 등을 선택 또는 개발하여 평가를 실시해 나가는 것을 중시한다(Stufflebeam & Shinkfield, 2007; Wholey, Hatry, & Newcomer, 2010).

이러한 활용 중심 평가는 핵심 이해관계자들의 요구에 기반을 두고 평가 목적 설정, 방법설계, 결과 산출이 이루어지므로 이해관계자들에게 직접적으로 도움이 되는 유용한 평가가 이루어지고, 평가 결과가 적극적으로 활용될 수 있다는 장점을 지닌다. 또한 이해관계자들이 평가자와 의사소통하고 함께 상호 협력하여 평가를 경험함으로써 평가가 종료된 이후 평가자가 해당 프로그램이 이루어지는 상황을 떠나더라도 평가 결과가 방치되지 않고 이해관계자들의 업무 수행과 프로그램에 관한 의사결정에 지속적으로 영향을 미칠 수 있다(배을규, 2009; Patton, 1997; Stufflebeam & Shinkfield, 2007; Wholey, Hatry, & Newcomer, 2010). 따라서 학교‧사회 예술강사 기본 연수 평가 모형 개발 시, 활용 중심 평가를 고려함으로써 이해관계자들과의 상호작용을 통해 의도한, 바람직한 평가 목적을 이룰 수 있는 평가 방법을 도출하고, 이해관계자들의 평가 결과 활용을 촉진할 수 있을 것이다.

1)이와 같은 정의는 프로그램 평가가 프로그램의 개선, 프로그램의 목표 달성 정도, 효과 및 영향 확인, 프로그램의 내⋅외재적 가치 파악 및 인정, 프로그램의 유지⋅확대 또는 폐지 결정, 실행 과정의 점검, 담당자 및 담당부서의 책무성 과시, 홍보, 프로그램 실행의 정당화 및 타당화, 프로그램에 관한 연구, 신규 프로그램의 기획 및 개발 등 다양한 활동을 목적으로 하고 있음을 의미한다(배을규, 2012a).  2)일반적으로 논리 모형은 투입, 과정, 산출, 성과, 그리고 외적 영향 요인으로 구성된다. 투입은 프로그 램을 위해 필요한 인적, 물적 자원을, 과정은 프로그램이 의도하는 결과를 낳기 위해 필요한 활동을 의미한다. 산출은 프로그램의 참가자들에게 직접적으로 제공되는 상품, 서비스 등을, 성과는 프로그램 참가자들에게 주어지는 혜택 또는 프로그램으로 인한 변화를 의미한다. 마지막으로 외적 영향 요인은 성공적인 프로그램 수행에 영향을 미치는 특징적 요소를 의미한다(Coryn et al., 2011; Donaldson, 2007; McLaughlin & Jordan, 2010).

프로그램 평가는 프로그램의 특성과 이해관계자의 요구를 고려하여 다양한 평가 접근법을 통합적으로 활용하고, 이해관계자와의 협력을 통해 평가 계획을 수립하며, 다양한 출처로부터, 다양한 방법으로 관련 자료를 수집‧분석하여 통합적 판단을 내려야 한다(배을규, 2009, 2012a; 이원석, 2009, 2011; Bledsoe & Graham, 2005; Donaldson, 2002, 2007; Rossi, Freeman, & Lipsey, 2004; Scriven, 1998; Turnbull, 1999). 이 연구는 상기의 평가관에 기반을 두고, 학교‧ 사회 예술강사 기본 연수에 대한 평가 모형을 개발하였다. 즉 학교‧사회 예술강사 기본 연수평가 모형은 프로그램의 특성을 분석하고 이해관계자의 요구를 조사한 결과를 바탕으로 적합한 평가 접근법들을 채택하여 각 접근법의 특장점을 활용하는 통합적 평가 접근법을 통해 도출되었다. 다음에 제시된 [그림 1]은 이러한 통합적 평가 접근법으로 프로그램 이해관계자들과의 협의를 통해 프로그램의 논리와 평가 모형(안)을 개발하고, 실제 프로그램을 평가할 계획과 평가 결과의 활용 방안을 수립한 과정을 도식화한 것이다.

[[그림 1]] 학교？사회 예술강사 기본 연수 평가 모형 개발 절차

구체적인 연구 절차는 다음과 같다. 첫째, 학교‧사회 예술강사 기본 연수 관련 내부 자료 검토 및 기본 연수 관리자, 담당자, 기타 관계자 면담을 통해 프로그램의 목적 및 기대 효과, 내용, 운영 방식, 평가 현황 등을 파악하였다. 그리고 프로그램 평가 접근법 관련 문헌을 고찰하여 기본 연수에 적합한 평가 접근법을 선정하고, 이해관계자들의 평가 요구를 규명함으로써 원래 의도한 목표를 확인하는 것뿐만 아니라 그 외 부수적 효과 및 핵심 이해관계자의 평가 결과 활용 의도를 파악하였다. 둘째, 학교‧사회 예술강사 기본 연수 관련 문헌 분석 및 이해관계자들의 평가 요구 분석 결과에 기초하여 기본 연수의 논리를 규명하고 이해관계자들과의 협의(워크숍)를 통해 평가 모형을 개발‧수정‧보완하였다. 그리고 이해관계자 대상 면담과 설문조사를 통해 기본 연수 평가 모형에 포함되어야 할 평가 준거와 평가 지표를 설정하고, 이해관계자들이 중요하게 생각하는 평가 문제를 도출하였다. 셋째, 학교‧사회 예술강사 기본 연수 관리자, 담당자와의 워크숍을 통해 평가 지표별 평가 대상과 방법을 결정하고, 평가 준거별 평가 결과의 활용 방안을 제시하였다.

상기한 연구 절차를 통해 알 수 있듯이, 이 연구는 타당성을 높이기 위해 복수의 자료원(문서, 면담, 설문조사 등), 다수의 연구자를 통한 삼각검증법(triangulation)을 활용하였다(Creswell, 2007). 그리고 수집된 자료의 분석 과정과 결과에 대한 학교‧사회 예술강사 기본 연수 관리자 및 담당자, 교육강사, 예술강사 등의 견해를 확인하는 연구 참여자 확인법(member check)을 통해 연구의 정확성을 확보하고자 하였다. 또한 연구 참여자 중 학교‧사회 예술강사 기본 연수 관리자, 담당자를 연구의 과정에 관여케 함으로써 연구의 타당성을 향상시키고자 하였다(Merriam, 2009)

학교‧사회 예술강사 기본 연수의 목적 및 기대 효과, 내용, 운영 방식, 평가 현황 등을 파악한 결과는 다음과 같다. 첫째, 학교‧사회 예술강사 기본 연수는 전국 초‧중등학교 및 아동복지시설, 노인복지관, 장애인 종합복지관 등에 근무하는 예술강사들을 위한 의무 교육과정이며, 효과적인 문화예술교육 실행력 향상을 위한 관계‧관리 역량 및 교수 역량 함양을 목적으로 삼고 있다. A, B, C코스로 구분되고 상‧하반기 방학 기간을 활용한 집체 연수 형태로 이루어지며 현장 예술교육 활동과 병행하여 3년에 걸쳐 140시수를 이수하도록 규정되어 있다. A코스(1년차, 60시수)의 주요 내용은 예술강사 지원 사업 및 예술강사의 역할 이해, 사례기반 교육현장 및 대상 이해, 교안 읽기 세미나 등이고, B코스(2년차, 60시수)의 주요 내용은 현장 사례 공유 세미나, 효과적인 교수법, 모의 수업 등이다. 그리고 C코스(3년차, 20시수)의 주요 내용은 교수학습 전략 방법, 교수-학습 지도안 기획, 경력 계획 수립 등이다.

둘째, 한국문화예술교육진흥원은 문화예술교육 전문 인력 양성 사업의 중심적 주체로 예술 강사들에게 교육훈련을 제공할 뿐만 아니라 예술강사 선발, 육성, 평가 및 보상 절차를 관리하고 있는데, 이 과정에는 다양한 이해관계자들이 관여하고 있다. 대표적으로 예술강사의 교육활동이 이루어지는 학교 및 사회 기관은 수요자인 동시에 예술강사들의 교육 활동을 지원하고 있고, 문화체육관광부는 문화예술교육 정책 및 사업 계획을 수립하며, 교육과학기술부는 교육정책 수립 및 지침을 하달한다. 그리고 시‧도교육청은 관할 지역의 학교에 예술강사 배치, 파견 및 평가를 지원하고, 16개 광역시도 문화예술교육 지원 센터 및 국악 운영 단체는 예술강사 선발 및 배치에 관여하고 있다(배을규 외, 2014). 요컨대 학교‧사회 예술강사 기본 연수는 국가 문화예술교육 정책의 핵심 사업인 학교사회문화예술교육 지원 사업을 현장에서 수행하는 예술강사들의 역량 향상을 위해 전략적으로 중요한 프로그램이라 할 수 있다. 그리고 참가자(예술강사), 강사, 연수 관리자(한국문화예술교육진흥원 인력양성팀), 시‧도교육청 장학사, 학교 및 기관의 예술교육 담당자 등이 기본 연수의 핵심 이해관계자이며, 다양한 이해관계자들이 관여하고 있으므로 프로그램에 대한 이해관계자들의 요구 역시 다양할 것으로 판단된다.

셋째, 기본 연수에 대한 평가는 기본 연수 말미에 이루어지는 지필 평가와 프로그램 실행직후 이루어지는 반응 평가로 이루어지고 있다. 지필 평가는 교육학 필수와 선택 전공과목 20개 문항으로 이루어지며, 반응 평가는 시설, 운영 지원 체계, 강사, 기본 연수 설계에 대한 참가자들의 만족도를 측정하고 있다. 반면 기본 연수 이해관계자들의 평가 요구를 파악하기 위해 학교‧사회 예술강사 기본 연수 관리자 및 담당자, 교육강사, 예술강사 등을 대상으로 면담을 실시한 결과, 기본 연수 평가가 기본 연수의 목표를 달성하였는지 확인하기 위해서는 현재보다 평가의 체계성을 갖출 필요가 있으며, 참가자들의 만족도 및 학습 결과 평가뿐만 아니라 기본 연수 기획‧설계‧개발 과정에 대한 평가(교육강사 선발의 적절성, 교과목 설계 및 교보재 개발의 적절성 등), 기본 연수 실시 이후의 중‧장기적인 효과(현업 활용도, 예술강사의 경력개발, 문화예술교육 학습자 및 수혜 기관 담당자의 문화예술교육에 대한 인식 개선 등)에 대한 평가 역시 필요하다는 것을 확인하였다. 보다 구체적으로 이해관계자들은 기본 연수 실행단계뿐만 아니라 교육강사 선발, 기본 연수 설계 등 사전 기획 및 준비 단계부터 적절한 평가가 이루어져야 궁극적으로 기본 연수가 목표한 바를 달성할 수 있다고 하였다. 즉 프로그램을 기획‧개발‧실행하는 단계에서 각 활동들이 유기적으로 연계될 필요가 있다는 것이다. 마지막으로 이해관계자들은 기본 연수에 대한 평가 결과가 프로그램 개선에 활용될 뿐만 아니라, 문화예술교육 관련 정책 담당자, 수혜자 등에게 학교‧사회 예술강사 기본 연수의 효과성과 당위성을 입증하고, 관련 예산 및 인력 운영 확대에 관한 설득 논리를 제시하는 등 평가 결과의 다양한 활용이 이루어질 수 있어야 한다는 의견을 제시하였다

상기와 같은 학교‧사회 예술강사 기본 연수 현황 분석 결과 및 이해관계자들의 평가 요구에 따라 이 연구는 목표 지향 평가, 탈목표 평가, 논리 지향 평가, 활용 중심 평가를 주요 평가 접근법으로 선정하였다. 목표 지향 평가 접근법은 학교‧사회 예술강사 기본 연수의 목표달성 여부를 확인하기 위해, 탈목표 평가 접근법은 학교‧사회 예술강사 기본 연수 기획 및 설계 시 의도하지 않았으나 긍정적인 부수적 효과를 발견하여 평가 체계에 포함시키기 위해 필요하다. 그리고 활용 중심 평가 접근법은 상기와 같은 이해관계자들의 평가 요구 및 평가결과 활용 목적을 파악하고 학교‧사회 예술강사 기본 연수 평가 체계에 적용하기 위해, 논리지향 평가 접근법은 학교‧사회 예술강사 기본 연수 평가 체계를 구축하기 위한 기본 틀로써 기본 연수의 궁극적 목표 달성을 위해 필요한 기획‧설계‧개발 및 운영 활동들의 매커니즘을 파악하고, 단계별 평가 지표 간 논리적 연계성을 확보하기 위해 필요하다고 판단하였다.

전술한 개발 절차에 따라 이해관계자의 평가 요구 분석 결과를 토대로 학교‧사회 예술강사 기본 연수 평가 모형(안)을 개발하였다. 최초의 평가 모형은 크게 투입, 과정, 단기 성과, 중‧장기 성과 영역과 성과 영향 요인의 18개 평가 준거, 68개 평가 지표로 구성되었다.3) 그리고 학교‧사회 예술강사 기본 연수 관리자 및 담당자, 기본 연수 교육강사, 기본 연수를 이수한 예술강사 등 총 8명과 워크숍을 실시하였다. 연구진이 평가 모형(안)의 개발 과정과 결과에 대해 설명하고, 워크숍 참가자들과의 협의를 통해 평가 모형을 수정‧보완하였다. 평가 모형(안)을 검토하는 기준은 미국의 교육 평가 표준 합동 위원회(Joint Committee on Standards for Educational Evaluation)의 프로그램 평가 표준(Yarbrough et al., 2011)을 참고하여 ‘이해관계자들이 얻고 싶은 평가 정보인가, 비용 및 방법적 측면에서 현실적으로 평가가 가능한가, 각 이해관계자들의 권리를 침해하지 않는가’ 등을 활용하였으며, 의견이 일치하지 않는 경우 당사자 간 합의안을 마련함으로써 평가 모형을 수정‧보완하였다. 수정된 평가 모형은 투입, 과정, 단기 성과, 중‧장기 성과, 성과 영향 요인의 틀을 유지한 채 20개 평가 준거, 70개 평가 지표로 수정‧보완되었다([그림2] 참조).

[[그림 2]] 학교？사회 예술강사 기본 연수 평가 모형

수정‧보완된 내용을 구체적으로 살펴보면, 먼저 투입 영역의 예술강사 지원 사업 홍보의 적절성 준거는 삭제되었으며, 기본 연수 기획의 적절성 준거 중 ‘예술강사 육성 및 수급 계획에 따른 기본 연수 기획’ 지표는 ‘예술강사 수요에 따른 육성 및 수급 계획 수립’ 지표와 통합되었다. 그리고 기본 연수 홍보 및 안내의 적절성 준거가 신규로 추가되었으며, 이에 따라 ‘한국문화예술교육진흥원 홈페이지를 활용한 기본 연수 홍보 및 안내 활동’과 ‘예술강사 기본 연수 홍보 및 안내 활동’ 지표가 추가되었다. 과정 영역에는 예술강사의 학습 태도 준거가 신규 추가되었으며, 이에 따라 ‘예술강사의 기본 연수 관련 규정 준수’ 지표와 ‘예술강사의 참여 수준’ 지표가 추가되었다. 교육강사 만족도 준거에서는 ‘교육강사의 강의 및 피드백 스킬’이 ‘교육강사의 강의 및 퍼실리테이션 스킬’ 지표로 수정되었고, ‘기본 연수 교육 목표의 정확성’이 ‘기본 연수 교육 목표에 대한 인식 수준’으로 수정되었다. 단기 성과 영역에는 교육 이수율 준거 중 ‘기본 연수 전체 이수율’ 지표가 삭제되고 ‘심화 연수 신청자 수’ 지표가 추가되었고, 학습 성취도 준거에서 ‘기본 연수를 통한 예술강사의 지식 증대’와 ‘기본 연수를 통한 예술강사의 강의 및 퍼실리테이션 스킬 증대’ 지표가 신규로 추가되었다. 중‧장기 성과 영역에는 예술강사 강의 활동 증대 준거 중 ‘예술강사의 외부 활동 증대’ 지표는 예술강사 경력개발 준거의 하위 지표로 편입되었고, 예술강사 강의 활동 증대 준거는 삭제되었다. 그리고 이해관계자의 인식 변화 및 가치 증진 준거 추가에 따라 ‘문화예술 교육에 대한 수요자의 인식 수준 증진’, ‘문화예술 교육에 대한 최종 고객의 인식 수준 증진’, ‘예술강사의 강의에 대한 수요자 및 학생의 재무적 가치 인식 수준 증진’, ‘예술강사의 강의 활동으로 인한 학생 및 사회기관 학습자의 창의력 증진’ 지표가 추가되었다. 예술강사 지원 사업 확대 준거의 ‘기본 강사 지원 사업 수요자 증대’ 지표는 ‘예술강사 지원 사업 수요자 수 및 기본 연수 예산 증대’로, ‘기본 연수 담당 인력 증대’는 ‘기본 연수 실시를 위한 인력 양성팀의 적정 인원 확보’로 수정되었으며, ‘기본연수 예산 증대’ 지표는 ‘예술강사 지원 사업수요자 수 및 기본 연수 예산 증대’ 지표로 통합되었다.

위와 같은 평가 모형은 학교‧사회 예술강사 기본 연수의 프로그램 논리를 보여주고 있다. 즉 학교‧사회 예술강사 기본 연수는 ‘연수에 참여할 예술강사와 교육강사에 대한 선발이 적합하게 이루어지고, 기본 연수를 체계적으로 기획‧설계‧홍보하며, 예술강사들에게 편리한 시설과 운영 지원 서비스를 제공하고, 예술강사들의 바람직한 학습 태도를 형성함으로써 기본연수에 대한 만족도, 교육 내용에 대한 활용 의도를 향상시킨다. 나아가 이는 기본 연수 이수자들의 자발적인 심화 연수 참여를 촉진하고, 현업 활용도와 문화예술교육 이해관계자들의 문화예술교육에 대한 만족도 향상 및 인식 개선을 촉진하며, 장기적으로 예술강사들의 경력개발과 예술강사 지원 사업 확대에 기여할 것이다. 그리고 학교‧사회 예술강사 기본 연수의 바람직한 성과 창출을 위해서는 교육 내용을 현업에서 활용할 수 있도록 지원하는 환경 구축이 필요하다’는 프로그램 논리를 가지고 있다. 이러한 기본 연수의 프로그램 논리와 상기 평가 모형개발에 관여한 이해관계자들은 효과적인 학교‧사회 예술강사 기본 연수를 기획‧설계‧개발 및 운영하기 위해 필요한 전제 조건과 활동들이 무엇인지 이해하고, 기본 연수의 중‧장기적 목표와 궁극적 가치 및 중요성, 그리고 성공적인 기본 연수의 파급 효과에 대한 이해를 확장시킬 수 있게 되었다고 하였다.

이 사례에서 통합적 평가 접근법을 적용하여 평가 모형을 개발하기 위해 활용된 방법과 이를 통해 도출된 평가 준거를 정리하면 다음에 제시된 [그림 3]과 같다.4)

[[그림 3]] 다양한 평가 접근법을 통합적으로 활용한 학교？사회 예술강사 기본 연수 평가 모형

첫째, 목표 지향 평가 접근법에 따라 기본 연수가 의도한 목표가 무엇인지 규명하기 위해 예술강사 지원 사업과 기본 연수 관련 문헌 분석, 한국문화예술교육진흥원 담당자, 시도교육청 장학사 및 교육강사 면담을 실시하였고, 그 결과 ‘기본 연수 만족도’, ‘교육 내용 활용 의도’, ‘교육 내용 현업 활용도’, ‘이해관계자의 만족도’ 평가 준거가 도출되었다. 둘째, 탈목표 평가접근법에 따라 기본 연수가 의도하지는 않았으나 실제 발생하게 된 성과, 바람직한 변화를 규명하기 위해 예술강사, 참여 기관의 문화예술교육 담당자 면담을 실시하였고, 그 결과 ‘기본 연수 이수 및 심화 연수 연계’, ‘예술강사 경력개발’, ‘이해관계자의 인식 변화 및 가치 증진’, ‘예술강사 지원 사업 확대’ 평가 준거가 도출되었다. 셋째, 활용 중심 평가 접근법에 따라 이해관계자들이 요구하는 평가 정보, 평가 결과 활용 의도를 규명하기 위해 이해관계자 면담 및 워크숍을 실시하였고, 그 결과 ‘기본 연수 기획의 적절성’, ‘교육강사 선발의 적절성’, ‘기본 연수 설계의 적절성’, ‘기본 연수 홍보 및 안내의 적절성’, ‘예술강사의 학습 준비도’, ‘예술강사의 학습 태도’, ‘기본 연수 시설의 적절성’, ‘기본 연수 운영 지원 체계의 적절성’, ‘교육강사 만족도’, ‘기본 연수 만족도’, ‘교육 내용 활용 의도’, ‘기본 연수 이수 및 심화 연수 연계’, ‘학습 성취도’, ‘교육 내용 현업 활용도’, ‘이해관계자의 만족도’, ‘예술강사 경력개발’, ‘이해관계자의 인식 변화 및 가치 증진’, ‘예술강사 지원 사업 확대’ 평가 준거가 도출되었다. 마지막으로 논리지향 평가 접근법에 따라 기본 연수 고유의 내재된 논리를 규명하여 논리 모형을 개발하고, 평가 지표 간 논리적 연계성을 확보하기 위해 예술강사 지원 사업, 기본 연수 관련 문헌 분석과 이해관계자 대상 면담, 설문조사, 워크숍을 실시하였다. 특히 워크숍을 통해 학교‧사회 예술강사 기본 연수 논리 모형을 개발하고, 협의를 통해 평가 준거 및 평가 지표를 수정‧보완하였다. 그 결과, 기본 연수의 효과적인 실행 및 성과 달성을 위해서는 상기의 평가 준거뿐만 아니라 ‘예술강사 선발의 적절성’, ‘현업 활용 촉진을 위한 환경의 적절성’에 대해 평가하는 것이 필요하다는 결론을 도출하였다. 그리고 각 평가 준거 간, 각 평가 준거의 하위 평가 지표간 논리적 연계성을 확인하였다.

보다 중요한 평가 문제가 무엇인지 파악하기 위해 학교‧사회 예술강사 기본 연수에 대한 이해도가 높은 이해관계자 78명5)을 대상으로 2013년 2월 8일부터 19일까지 이메일로 설문조사를 실시하여 평가 지표의 우선순위를 분석하였다. 각 평가 지표에 대해 현재 평가를 실행하고 있는 수준과 향후 평가가 필요한 수준을 5점 척도로 질문하였다. 질문 시 각 평가 지표는 행위 동사를 포함한 형태로 질문하였다. 예를 들어 평가 지표 Q01 ‘예술강사 선발위원의 전문성’ 은 ‘예술강사 선발위원(기본 연수에 참여할 예술강사를 선발하는 평가위원) 선정 시 문화예술교육에 관한 전문성, 관련 업무 경력 및 전공 등을 고려한다’와 같이 평가 지표의 의미를 상술한 형태로 질문하여 각 평가 지표에 대한 응답자들의 해석이 일관될 수 있도록 하였다. 우선 순위 분석 방법은 조대연(2009)의 제안에 따라 Borich 요구도 계수와 The Locus for Focus Model을 활용하였으며, 분석 결과는 다음에 제시된 <표 1>과 같다.

[<표 1>] 학교？사회 예술강사 기본 연수 평가 지표별 우선순위

학교？사회 예술강사 기본 연수 평가 지표별 우선순위

분석 결과, HH분면에 속하는 평가 지표는 11개였다. 따라서 Borich 요구도 계수 1순위~11순위를 확인한 결과, 최우선 항목은 4개, 차순위 항목은 13개였다. 최우선 항목은 투입 영역의 ‘예술강사 선발위원의 전문성(Q01)’, ‘예술강사 선발 기준 항목의 적절성(Q02)’, 투입 영역의 ‘기본 연수 하위 교과목 간 내용 중복 및 누락 방지(Q12)’, 단기 성과 영역의 ‘기본 연수의 유용성(Q53)’이다. 차순위 항목은 투입 영역의 ‘예술강사 선발 기준 항목별 상대적 중요도의 적절성(Q03)’, ‘예술강사 수요에 따른 육성 계획 수립 및 기본 연수 기획(Q05)’, 과정 영역의 ‘예술강사의 교육 목표 달성 가능성(Q46)’, 단기 성과 영역의 ‘기본 연수를 통한 예술강사의 강의 및 퍼실리테이션 스킬 증대(Q50)’, 중장기 성과 영역의 ‘기본 연수 실시를 위한 인력양성팀의 적정 인원 확보(Q67)’, 성과 영향 요인 영역의 ‘예술강사의 강의 활동에 대한 한국문화예술교육진흥원의 피드백(Q68)’ 등이다.

이상의 분석 결과를 살펴보면, 학교‧사회 예술강사 기본 연수 이해관계자들은 기본 연수의 단기 및 중장기 성과보다 투입 영역과 성과에 영향을 미치는 요인을 상대적으로 더 중시하고 있다. 이러한 결과가 학교‧사회 예술강사 기본 연수 이해관계자들이 기본 연수의 과정, 단기 및 중장기 성과 영역이 중요하지 않다고 인식하는 것을 의미하는 것은 아니다. 오히려 학교‧ 사회 예술강사 기본 연수 이해관계자들은 기본 연수를 실행하기 위한 투입 요인과 기본 연수 이후 현업 활용 촉진 및 성과 창출에 영향을 미치는 요인들을 관리해야 비로소 기본 연수가 의도한 교육 목표를 달성하고 성과를 향상시킬 수 있다고 인식하고 있음을 알 수 있다. 이는 선행 연구들(김대영, 배을규, 2012; Bickman, 1987; McLaughlin & Jordan, 2010)의 주장과 같이 프로그램의 평가 모형에 포함되는 요소들은 서로 인과관계를 갖지 때문에 프로그램이 의도하는 성과를 달성하기 위해서는 선행 요소인 투입 요인을 중시할 필요가 있기 때문이다.

평가 지표 우선순위 분석을 위한 설문조사가 진행되는 과정 중, 한국문화예술교육진흥원 인력양성팀, 기본 연수 교육강사 및 예술강사와의 워크숍을 통해 평가 지표별 평가 계획을 수립하고, 평가 준거별 평가 결과 활용 방안을 기획하였다. 다음에 제시된 <표 2>는 70개 평가 지표의 우선순위 분석 결과 ‘최우선 항목’으로 도출된 평가 지표들의 평가 계획 및 평가 결과 활용 방안을 예시로 제시한 것이다(지면 관계 상 최우선 항목들에 한하여 표기함).

[<표 2>] 학교？사회 예술강사 기본 연수 평가 계획 및 평가 결과 활용 방안 예시

학교？사회 예술강사 기본 연수 평가 계획 및 평가 결과 활용 방안 예시

<표 2>는 학교‧사회 예술강사 기본 연수의 각 평가 지표에 대한 평가를 실행함에 있어 평가하고자 하는 내용이 무엇인지, 어떠한 평가 질문 및 방법을 활용하여 누구로부터, 언제, 어떠한 자료를 수집할 것인지를 제시하고 있다. 예를 들어 ‘기본 연수 하위 교과목 간 내용 중복 및 누락 방지(Q12)’라는 것은 기본 연수 설계 시 하위 교과목 간 중복 또는 누락 요소가 발생하지 않도록 교육강사 워크숍을 통해 조정 및 합의의 단계를 거치는 것을 의미하며, 이는 조정 및 합의의 단계를 거쳤는지, 그 결과를 반영하여 기본 연수를 설계한 결과는 어떠한지를 평가하는 것을 의미한다. 이는 기본 연수 설계 시, 기본 연수 관리자 및 담당자가 기본 연수 설계서 검토를 통해 평가하도록 계획을 수립하였다. 또한 <표 2>는 학교‧사회 예술강사 기본연수 평가 결과를 어떻게 활용할 수 있는지에 대한 지침도 함께 포함하고 있다. 예를 들어, ‘기본 연수 하위 교과목 간 내용 중복 및 누락 방지(Q12)’에 대한 평가 결과는 기본 연수 설계 과정 중 미흡한 부분을 발견하고 조치를 취하며, 이해관계자들에게 기본 연수가 어떻게 기획되었는지 정보를 제공하고, 기본 연수가 체계적으로 설계되었음을 입증하는 데 활용될 수 있다. 따라서 이와 같은 학교‧사회 예술강사 기본 연수 평가 계획 및 평가 결과 활용 방안을 토대로 평가를 실시한다면 학교‧사회 예술강사 기본 연수의 체계적 성과 관리, 기본 연수 담당 기관의 책무성 입증 및 이해관계자들의 기본 연수에 대한 이해와 지식의 발전 등에 기여할 수 있을 것이다.

3)기본적인 논리 모형의 구성 요소는 투입, 과정, 산출, 성과, 영향 요인이며, 이는 평가 대상의 특성에 따라 변용 가능하다(McLaughlin & Jordan, 2010). 학교‧사회 예술강사 기본 연수의 경우, ‘과정’에 포함되는 프로그램의 활동, 즉 기본 연수를 실시하는 것 자체가 프로그램 참가자(예술강사)에게 제공되는 서비스이므로 과정과 산출 영역이 통합된 것으로 간주할 수 있다. 한편, 학교‧사회 예술강사 기본 연수 평가 모형에서 성과 영역은 이해관계자들에게 주어지는 혜택과 프로그램으로 인한 변화를 의미 하는데, 평가 모형 개발에 관여한 이해관계자들과의 협의를 통해 1년 이내 창출 가능하다고 판단되는 성과와 변화를 단기 성과로, 1년 이후 창출 가능하다고 판단되는 것을 중‧장기 성과로 분류하였다.  4)특정 평가 접근법에 의해 평가 준거가 결정되는 것은 아니므로, 각 평가 접근법을 활용하여 공통적으로 도출된 평가 준거가 존재한다.  5)한국문화예술교육진흥원 관계자, 시‧도교육청 문화예술교육 담당 장학사, 교육위원회 위원, 예술강사, 교육강사, 학교 및 사회 기관 문화예술교육 담당자 등이며, 기본 연수를 담당‧관리하는 한국문화예술교육진흥원 인력양성팀의 추천을 통해 설문조사 대상자를 선정하였다.

HRD 현장에서 프로그램 평가에 대한 관심이 높아지고 있으나 대부분의 HRD 프로그램 평가는 아직까지 체계적으로 이루어지지 못하고 있으며, HRD 프로그램 평가에 대한 학문적 논의 역시 미미한 실정이다. 이 연구는 프로그램의 특성과 다양한 이해관계자들의 요구를 고려하고 몇 가지 평가 접근법들을 통합적으로 활용한 HRD 프로그램 평가 모형 개발 사례를 살펴보았다. 그리고 이를 통해 HRD 프로그램 평가의 설계, 평가 자료 수집, 평가 결과 활용 등에 관한 이론적 및 실천적 시사점을 제시하고자 하였다. 이 연구 결과를 통해 다음과 같은 결론을 내릴 수 있다.

첫째, 사례로 살펴본 한국문화예술교육진흥원의 학교‧사회 예술강사 기본 연수 평가 모형은 전반적인 프로그램 평가의 설계 및 전개에 관한 방법론적 접근 모형이자, 일종의 메타 평가 모형이라 할 수 있는 논리 지향 평가 접근법을 근간으로 하였으며(배호순, 2008), 목표 지향, 탈목표, 활용 중심 평가 접근법의 특징 및 장점을 통합적으로 활용하여 개발되었다. 이는 평가의 타당성을 확보하고 평가 결과 활용을 촉진하기 위해 프로그램 평가 시 단일 평가 모형이 아닌 다양한 평가 접근법을 활용하는 것이 바람직하다는 배을규(2009), Bledsoe와 Graham(2005), Scriven(1998) 등의 주장에 기초한 것이다. 또한 이 사례는 학교‧사회 예술강사 기본 연수 이해관계자 요구 분석 및 프로그램에 대한 이해를 바탕으로 프로그램 고유의 논리를 규명하고 평가 모형을 개발하였다. 보다 구체적으로, 학교‧사회 예술강사 기본 연수와 관련된 내부 자료 검토, 문헌 고찰 및 이해관계자와의 면담을 통해 이해관계자들의 평가 요구를 분석하고, 프로그램에 대한 이해를 도모하였다. 그리고 이해관계자의 평가 요구 분석 및 프로그램에 대한 이해를 바탕으로 핵심 이해관계자들과의 협의를 통해 프로그램 논리를 개발‧개념화하였고, 핵심 이해관계자들을 대상으로 한 설문조사와 분석 결과에 대한 협의를 통해 주요 평가 문제를 선정하였으며, 전반적인 평가 실행 계획 및 평가 결과 활용 방안을 수립하였다. 따라서 이 사례는 다양한 평가 접근법을 통합적으로 활용한 HRD 프로그램 평가의 계획 및 실행의 가능성을 입증하고, 실제 현장에서 HRD 프로그램의 평가 계획을 수립하는 과정을 구체적으로 제시하였다는 의의를 갖는다.

둘째, 학교‧사회 예술강사 기본 연수에 대한 기존의 평가는 Kirkpatrick의 4수준 평가 모형을 활용하고 있었다. 이 연구를 통해 새롭게 개발된 학교‧사회 예술강사 기본 연수 평가 모형은 다양한 평가 접근법을 통합적으로 활용함으로써 프로그램의 과정과 부수적 효과 또는 실제 효과에 대한 평가가 어렵고, 프로그램 자체의 가치와 장점에 대해 간과할 수 있게 되는 목표 지향 평가의 단점을 보완하였다. 보다 구체적으로 언급하면, 학교‧사회 예술강사 기본 연수 평가 모형은 이 연수의 직접적 효과, 즉 교육 내용의 현업 활용성 증대 및 수혜자들의 문화예술교육 만족도 제고뿐만 아니라, 이 연수를 통해 예술강사들의 심화 연수 참여 및 장‧단기적인 경력개발을 촉진하고, 나아가 이해관계자들의 문화예술교육에 대한 인식을 변화시킴으로써 예술강사 지원 사업 자체를 확장하는 데 기여할 수 있다는 것을 함께 강조하고 있다. 또한 상기한 효과를 창출하기 위해서는 체계적인 예술강사의 선발 및 프로그램 기획‧설계‧개발과 학습전이 촉진을 위한 환경 조성이 필요하다는 것을 보여주고 있다. 요컨대 학교‧사회 예술강사 기본 연수 평가 모형은 이해관계자의 평가 요구를 토대로 투입-과정-성과 및 영향 요인별 평가 지표를 제시함으로써, 즉 학교‧사회 예술강사 기본 연수의 기획부터 중‧장기 성과 창출에 이르는 일련의 단계를 제시함으로써 프로그램의 과정적 측면과 부수적, 궁극적 성과, 그리고 프로그램 자체의 가치에 대한 정보를 함께 제공할 수 있게 해준다.

셋째, 이 연구는 핵심 이해관계자들의 주요 관심사가 무엇이고, 평가 결과를 어떻게 활용하고자 하는지에 관해 파악하는 등 그들의 평가 요구에 초점을 두고 학교‧사회 예술강사 기본연수 평가에 내재된 논리를 규명하여 평가 모형을 개발하였다. 기존 대부분의 국내 프로그램 평가는 프로그램에 대한 이해와 지식의 발전, 프로그램 이해관계자들의 민주적 토론 활성화 등 다양한 평가 목적을 고려하지 않은 채 주로 프로그램의 책무성 입증에 그 목적이 국한되고 있다(이원석, 2013). 이 연구에 제시된 사례는 다양한 평가 접근법을 활용하여 프로그램의 맥락과 평가 이해관계자들의 요구를 이해하고 그에 기반을 둔 평가 목적을 설정함으로써 평가의 정당성을 확보하고 평가 결과 활용을 증진시키고자 하였다. 왜냐하면 프로그램 평가에 관한 이해관계자들의 평가 요구와 평가 결과 활용 의도를 파악하고 프로그램의 고유 논리를 활용한 프로그램 평가는 이해관계자들의 평가 요구에 부합될 가능성이 높으며, 프로그램 평가 본연의 목적인 평가 결과 활용을 촉진시키기 때문이다(김대영, 배을규, 2013; 박소연, 2005; Donaldson, 2002; Rossi, Freeman, & Lipsey, 2004). 다시 말해 다양한 평가 접근법을 통합적으로 활용한 본 학교‧사회 예술강사 기본 연수 평가 모형 개발 결과에 따라 평가를 실행한다면 문화체육관광부, 문화예술교육 수요 기관(학교 및 사회 기관)의 문화예술교육 담당자, 16개 시‧도교육청의 문화예술교육 담당 장학사, 학교‧사회 예술강사 기본 연수의 교수자(교육강사) 및 참가자(예술강사), 한국문화예술교육진흥원의 예술강사 양성 지원 사업 담당자, 문화예술교육 수요자(학교 및 사회 기관의 담당자, 학습자) 등 다양한 이해관계자들의 평가 요구를 충족할 수 있을 것이다. 또한 기본 연수 설계 및 개발 과정 중 미흡한 부분을 발견하여 조치를 취하고, 기본 연수에서 활용된 자료들이 현업에서 어느 정도 활용되고 도움이 되었는지 확인하여 프로그램 개선에 반영하는 등 평가 결과를 즉각적으로 활용하는 도구적 활용을 촉진하고, 이해관계자들에게 기본 연수의 방향성과 실제 운영 모습에 관한 정보를 제공함으로써 프로그램에 관한 그들의 이해를 도모하여 개념적 활용을 촉진할 수 있을 것이다. 나아가 기본 연수의 효과성을 입증하여 기본 연수의 당위성 및 필요성을 입증하고, 차후 교육계획 수립 시 관련 예산 지원 규모 증대에 관한 설득 논리를 제공하는 등 상징적 활용 역시 증진될 것이다.

넷째, 국내의 많은 HRD 담당자들은 평가를 프로그램 실행 후 이루어지는 사후 활동으로 인식하는 경우가 많다. 그러나 이 사례는 프로그램 평가가 사후 활동이 아니며, 프로그램의 기획단계부터 평가 활동이 관여되어야 함을 보여주고 있다(김주후, 2004; Wick, Pollack, & Jefferson, 2010). 다시 말해 프로그램 평가는 사후의 별개 활동이 아니라 프로그램 고유의 논리를 규명함으로써 프로그램의 성공적인 수행을 위한 필수 전제 조건을 모색하고 그에 집중할 수 있는 계기를 마련해주는 사전 활동이자, 프로그램 운영 과정 전반에 있어 ‘의도된 프로그램- 실천된 프로그램 - 성취된 프로그램’의 연계를 확인함으로써 형성 평가와 총괄 평가의 기능을 모두 수행할 필요가 있다는 것이다(배호순, 2003). 이를 위해서는 프로그램 관리자 또는 담당자와 평가자 사이에 긴밀한 의사소통과 철저한 사전 준비가 필요하다. 다시 말해 평가자가 프로그램 계획 단계부터 참여하여 프로그램 계획‧실행‧평가가 통합된 형태로 이루어지도록 하는 것이 바람직하다. 그렇지 않을 경우 프로그램 논리를 활용한 평가, 다양한 평가 접근법을 활용한 평가를 실행하고자 하여도 이해관계자들의 소극적 태도, 평가 실행의 가능성 저하 등과 같은 현실적인 난관에 부딪히게 되어 타당하고 효과적인 평가 활동이 이루어지기 어렵기 때문이다. 따라서 HRD 프로그램 평가자는 다양한 평가 접근법을 이해하고, 평가 대상 프로그램의 맥락과 이해관계자들의 요구에 적합한 평가 접근법을 적절하게 선정하고 통합적으로 활용할 수 있는 전문성을 갖추어야 이해관계자들의 평가에 대한 이해 향상과 적극적 관여가 가능하게 되고, 효과적이고 타당한 평가를 수행할 수 있을 것이다.

요컨대 이 연구는 다양한 평가 접근법을 통합적으로 활용한 HRD 프로그램 평가의 기획 및 실행이 가능함을 보여주고 있으며, 이를 통해 프로그램에 대한 체계적 성과 관리가 가능하고, 평가 이해관계자들의 요구 충족 및 평가 결과 활용을 촉진시킬 수 있음을 제시하였다. 위와 같은 의의에도 불구하고 이 연구는 실제로 평가를 수행한 사례가 아닌 평가 계획을 수립한 사례를 통해 HRD 프로그램 평가에 대한 시사점을 살펴보았다는 점에서 향후에는 실제 평가 결과를 토대로 다양한 평가 접근법을 활용한 프로그램 평가의 실용적 측면과 그 의의에 대해 살펴보는 연구가 필요할 것이다. 또한 이 연구에서 살펴본 학교‧사회 예술강사 기본 연수 평가 모형을 활용한 실제 평가 결과를 토대로 해당 프로그램의 논리를 수정‧보완하고 목표 지향, 탈목표, 활용 중심, 논리 지향 평가뿐만 아니라 보다 다양한 평가 접근법의 장점을 함께 활용하고자 하는 노력이 요구될 것이다.