작문 평가에서도 특히 작문 채점 과정은 학생이 쓴 글에 대한 인간 채점자의 주관적인 판단이 중요하게 작용하는 과정이다. 동일한 글에 대해서도 작문 채점자들마다 보는 관점이 다르고, 심지어 작문 채점 기준을 해석하는 양상이나 점수를 변별하는 수준에서도 서로 다른 판단을 하기 때문이다. 이러한 이유에서 McNamara(2000)는 작문 평가를 ‘채점자 중재 평가’라고 언급하면서 작문 평가는 학생이 쓴 글과 평가 결과를 직접적으로 연결하는 과정이 아니라, 이 둘 사이에는 항상 주관성을 가진 ‘채점자’라는 중재자가 위치하고 있다고 언급하였다.

이러한 채점자의 주관성으로 인하여 동일한 채점 상황에서 동일한 글과 채점 기준을 가지고 채점을 하더라도 그 결과가 서로 다르게 나타날 수 있다. 특히 대단위 작문 평가에서는 평가의 타당성과 함께 평가의 신뢰성이 엄격하게 요구되므로 이러한 채점자 간의 차이는 반드시 해결되어야 하는 측정 오류(measurement error)로 인식되어 왔다. 우리나라의 경우 채점의 신뢰도 문제로 인하여 아직까지 대단위 작문 평가가 이루어지고 있지 않다. 이 때문에 우리나라 학생들의 작문능력이 어느 정도인지, 우리나라 학생들의 작문발달이 어떠한 양상을 보이는지에 대한 국가단위의 실증적인 자료가 부족한 상황이다. 반면 미국의 경우에는 NAEP(National Assessment of Education Progress)와 같은 대단위 평가에서도 많은 비용과 시간을 투자하면서도 작문 능력을 직접 평가의 형태로 평가하고, 국가수준에서의 학생들의 작문능력 지표를 파악할 수 있다.

우리나라 또한 향후 작문 평가는 학생들이 직접 쓴 글을 평가하는 직접 평가의 방식으로 나아가야 하고, 아울러 국어교육 외에 한국어교육 영역에서도 작문에 대한 수행 능력이 강조됨에 따라서 작문 채점자의 채점 전문성은 더욱 강조될 전망이다. 그러므로 작문 채점자에 대한 관심, 구체적으로는 채점자가 학생 글을 읽는 과정, 학생 글에 대한 질적 판단을 하는 과정, 점수를 부여하는 과정 등에 대해 보다 면밀한 탐색이 필요하다. 작문 채점자가 겪는 채점 과정이나 채점자의 특성에 관한 연구는 향후 전문적인 작문 채점자 선별과 작문 채점자 훈련 방안을 마련, 작문 채점자 모니터링 등에 효과적으로 기여할 수 있기 때문이다.

이러한 문제의식에서 이 연구에서는 작문 채점 과정을 보다 면밀하게 탐색하여 작문 채점 전문성 신장을 위해서 후속 연구에서 관심을 두어야 할 부분이 무엇인지를 살펴보고자 한다. 이를 위해서 작문 채점의 인지적 과정 모형을 제안한 선행 연구들을 살펴보고 이들 선행 연구의 의의와 제한점을 반영하여 수정된 작문 채점 과정 모형을 제안하고자 한다. 우리 나라에서 작문 평가 연구, 특히 작문 채점과 관련한 연구는 이제 시작 단계에 불과하다. 이러한 상황에서 채점 과정 모형을 탐색하는 것이 보다 중요한데 그 이유는 채점 과정 모형에서 보여주는 채점의 하위 과정과 영향 요인들을 통해서 향후 작문 채점 전문성을 신장시키기 위해서 해결해야할 문제가 무엇인지를 보다 명확하게 설정할 수 있기 때문이다.

작문 채점 과정을 살펴보기 전에 먼저 작문 채점에 영향을 미칠 수 있는 특성에 대해서 살펴볼 필요가 있다. 왜냐하면 채점에 영향을 미칠 것이라고 예상되는 특성들이 작문 채점 과정에 최대한 반영될 수 있어야 다양한 채점자 특성을 포괄할 수 있는 채점 모형을 구축할 수 있기 때문이다. 여기에서는 작문 채점에 영향을 미치는 특성을 ‘채점자 특성’과 ‘채 점 특성’으로 나누어서 살펴보고자 한다. ‘채점자 특성’은 작문 채점자가 가지고 있는 성별이나 경력, 채점에 관한 지식, 채점 경험, 효능감 등과 같이 채점자가 가지고 있는 내적 특성을 의미한다. 반면에 ‘채점 특성’은 개별 채점자가 실제로 작문 채점을 하는 동안 보여주는 특성으로 주로 평가요소나 채점기준과 관련된 특성들을 의미한다.

우리나라의 경우 작문 채점을 담당하는 주체는 주로 국어교사이다. 그러므로 작문 채점자와 관련한 최근의 국내 연구에서는 현직 국어교사나 예비 국어교사를 대상으로 한 연구들이 많이 이루어졌고, 이들 연구를 통해서 다양한 채점자 특성이 밝혀지고 있다. 작문 채점자 특성으로 알려진 대표적인 특성은 교사경력이나 성별과 같은 외적 특성을 비롯하여 채점자가 내적으로 지니고 있는 지식, 인지 양식, 쓰기 신념, 학생 성별 인식 등이 있다.

첫째, 작문 채점자의 교사 경력에 따라서 채점에서 차이가 나타날 수 있다. 박영민‧최숙기(2010)는 68명의 국어교사를 대상으로 하여 교사 경력이 작문 채점의 경향성에 영향을 미친다는 것을 발견하였다. 이 연구에서는 국어교사의 경력에 따라 ‘1~5년, 6~10년, 11~20년, 20년 초과’의 네 개 집단으로 나누고, 이들의 채점 엄격성을 분석한 결과, 1~5년 경력의 국어교사들이 가장 엄격하게 채점하는 경향이 나타났고, 20년 초과 경력을 지닌 국어교사들이 가장 관대하게 채점하는 경향이 나타났다. 교사 경력이 적은 교사들이 학생 글을 엄격하게 채점한다는 것은 그만큼 학생 수준에 대한 기대치가 크다는 것으로 해석할 수 있다.

둘째, 작문 채점자의 성별이 채점에 영향을 미칠 수 있다. 박영민‧최숙기(2009, 2010)에서는 국어교사의 성별에 따른 채점 엄격성을 분석하였는데, 그 결과 두 연구 모두에서 여교사가 남교사보다 상대적으로 더 엄격하게 채점하는 경향이 발견되었다. 이처럼 교사 성별에 따른 엄격성 차이뿐만 아니라, 교사 성별에 따라 학생 글을 평가하면서 산출하는 논평의 양상에서도 차이가 나타날 수 있다. Peterson & Kennedy(2006)는 남녀 국어교사 108명에게 학생들이 쓴 서사문과 논설문에 논평을 달게 하고, 그 차이를 성별에 따라 분석하였는데, 국어교사의 성별에 따라 논평의 내용이 다르게 나타났다. 여교사는 글의 규칙과 조직에 중점을 두어 논평을 했으나 남교사는 문체에 더 초점을 두어 논평을 했다. 채점자의 성별 외에 채점자가 인식하는 학생 성별 또한 작문 채점에 영향을 미칠 수 있다. Peterson(1998)은 국어교사들이 여학생이 쓴 것으로 인식한 글보다는 남학생이 쓴 것으로 인식한 글에 대해 더 많은 수정 사항을 지적한다는 것을 발견하였다. 또한 학생이 국어교사 자신과 동일한 성별이라고 인식할 때 더 엄격하게 채점한다는 것을 발견하였다. 이러한 동성(同性) 평가 절하 현상은 작문의 채점 신뢰도를 높이기 위해서 작문 채점자가 극복해야 하는 특성으로 볼 수 있다(Haswell & Haswell, 1995, 1996).

셋째, 작문 채점자가 가지고 있는 지식이 채점에 영향을 미칠 수 있다. 작문 채점과 관련한 지식으로는 작문 평가 전반에 관한 지식을 포함하여 글 유형에 대한 지식, 좋은 글의 특성에 관한 지식 등이 포함되는데, 이러한 지식은 채점자의 채점 과정에서 내적 준거를 형성하는 데에 영향을 미칠 수 있다(Engelhard, 1994 ; 이성영, 2005). 박영민(2012)은 AFT(American Federation of Teachers)에서 제시한 교사의 평가 전문성 기준을 바탕으로 하여 작문 평가와 관련한 국어교사의 전문성 기준을 7가지로 도출하였다. 그리고 이 기준을 요약하여 ‘쓰기 평가 방법, 쓰기평가 결과 처리 및 활용, 쓰기평가 윤리’를 쓰기평가 지식 검사 도구의 측정요인으로 삼았다. 그리고 이 연구에서 개발한 도구를 활용하여 박영민(2013)에서는 현직 국어교사 133명과 예비 국어교사 34명, 총 167명을 대상으로 하여 이들의 쓰기 평가 지식의 차이를 분석한 결과 현직 국어교사와 예비 국어교사 모두 쓰기평가 지식이 낮은 것으로 나타났다. Stiggins(1995) 또한 국어교사가 지니는 작문 평가 지식이 실제 작문 평가에도 영향을 미칠 수 있다고 주장하면서 평가의 목적을 인식하는 것, 평가를 수행하는 데에 필요한 방법과 지식을 아는 것, 작문 평가 과정에서 발생하는 다양하게 대처하는 방법을 아는 것 등이 영향을 미친다고 보았다.

넷째, 채점자의 효능감이나 자신감과 같은 정의적 특성이 채점에 영향을 미칠 수도 있다. 박영민(2011)은 현직 국어교사 133명을 표집하여 작문 평가 효능감을 조사한 결과 우리나라 국어교사들의 가지고 있는 작문 평가 효능감은 ‘실행적 평가 효능감’과 ‘일반적 평가 효능감’으로 나눌 수 있음을 발견했다. 그러나 박영민(2010)에서는 예비 국어교사의 평가 효능감에서 성별차이가 나타났던 것과는 달리 현직 국어교사들은 성별 차이가 나타나지 않았고 경력별 차이 또한 거의 나타나지 않았다. 그러나 경력이 1~5년보다 많은 국어교사의 경우 평가에 대한 자신감이 다소 하락하는 경향이 나타나기도 하였다. 또한 박종임(2013)에서는 채점 과정에서 채점자가 자신의 채점에 확신을 가지지 못하고 계속해서 점검적 반응을 보이거나 우유부단한 경우에 정확한 채점을 하지 못하는 경향이 나타났다.

채점자의 성별이나 경력과 같은 채점자 특성 외에도 실제로 채점을 하는 과정에서 다양한 특성이 나타날 수 있다. 선행 연구에서는 특히 채점 기준을 해석하는 방식이나 채점자가 중요하게 채점하는 요소 등에 초점을 맞추어서 채점 특성을 밝히고자 하였다. Vaughan(1991)은 작문 채점자들에게서 나타나는 채점 특성의 차이에 대해서 직접적인 관심을 가지고 연구를 시작한 첫 번째 연구자이다. 그는 9명의 작문 채점자에게 6편의 글을 채점하게 하고 그 과정에서 사고구술 하도록 하였다. 이들 채점자들은 ‘조직, 언어 표현, 전개방식, 근거, 어휘, 어법’의 여섯 가지 채점 요소를 6점 척도로 채점하는 것을 훈련받았다. 채점자들이 산출한 사고구술 프로토콜을 분석한 결과에 대해서 Vaughan은 다음과 같이 언급하였다.

이처럼 Vaughan은 채점자들이 정해진 채점 기준을 해석하는 방식에서 서로 다른 차이가 있고, 채점하는 글마다 다르게 적용하고 있음을 발견했다. 또한 동일한 채점자 훈련을 받았음에도 불구하고, 채점자들은 저마다 서로 다른 특성에 초점을 두어 채점을 하였다. 심지어 어떤 채점자들은 채점 기준에 언급되지도 않은 특성들, 예를 들어 글씨체나 글의 길이와 같은 특성을 평가하기도 했다. 또한 채점자들은 읽기에 관해서도 서로 다른 접근 방식을 가지고 있었다.

Huot(1993)는 앞서 살펴본 Vaughan의 연구를 좀 더 확장시켜서 서로 다른 채점 경력을 가진 작문 채점자들이 중요시하는 평가 요소와 읽기 과정을 비교하는 연구를 하였다. 이 연구의 초점은 총체적 채점과 채점자들이 산출하는 글에 대한 개인적 반응이 채점 상황에서의 글 읽기를 방해할 것이라는 가정을 검증하는 것이었다. Huot는 4명의 전문 채점자와 4명의 초보 채점자들이 42편의 글을 채점하는 동안 사고구술을 하도록 하고 그 프로토콜을 분석하였다. 전문 채점자들은 총체적 채점 경험이 많고 이 연구를 위해서 별도의 채점자 훈련을 받은 집단이고, 초보 채점자들은 총체적 채점 경험과 채점자 훈련 경험이 없는 집단이었다. 채점자들이 산출한 프로토콜은 내용, 조직, 어조, 스타일 등의 ‘평가 요소(content focus)’와 개인적 논평, 읽기 과정 등의 ‘채점 과정 행동(processing action)’에 따라서 각각 코딩되었다.

먼저 ‘평가 요소’와 관련하여 이 두 집단 모두 글의 ‘내용’과 ‘조직’을 가장 중요시한다는 점에서는 동일했다. 그러나 채점자들이 산출하는 논평에 대해서는 차이가 있었는데 초보 채점자들의 논평 횟수가 전문 채점자들보다 더 많았지만 이들의 논평은 글에 대한 채점자 자신의 기대나 의견, 판단 등을 표현함에 있어서 한계가 있었다. 반면 전문 채점자들은 자신 스스로를 단순히 채점자의 역할을 넘어서서 교사나 멘토로 인식함으로써 글에 대한 다양한 측면의 논평을 나타냈다. 또한 읽기 과정과 관련하여 전문 채점자들은 머뭇거림이 없는 읽기 과정을 보여주었고, 주로 글을 읽는 도중이 아닌 한 편의 글을 모두 읽은 다음에 점수를 부여하는 경향을 보여주었다. 그러나 초보 채점자들은 글을 읽는 중간 중간에 읽기 과정을 중지하고 논평을 함으로써 글 읽기가 끊기는 경향을 보여주었다. 또한 초보 집단에서는 채점에서 중요시하는 평가 요소에 대해서 서로 불일치하였고 글을 읽어감에 따라 채점 전략 또한 계속 바뀌는 경향을 보였다. 그러나 전문 채점자들은 몇 가지 그들만의 채점 전략을 확고하게 가지고 있었는데 ‘글과 소통하기(conversing)’, ‘채점 편향(biases) 주의하기’, ‘글의 인상을 형성하며 신속하게(rapidly) 읽기’, ‘어법보다 글의 내용에 초점을 두기’ 등의 전략을 사용하고 있었다.

이 연구 결과 Huot는 글에 대한 채점자의 개인적인 반응이나 총체적 채점 과정이 채점자의 글 읽기를 방해한다는 증거가 없다고 결론을 내렸다. 그러나 이 연구는 Huot가 본래 연구 목적으로 설정한 내용보다 채점자들의 채점 과정에서 이루어지는 인지적 측면까지 면밀하게 탐색함으로써 전문 채점자와 초보 채점자의 채점 과정에서의 인지적 특성 차이까지 밝히고자 했다는 점에서 큰 의의가 있다.

다음으로 Pula & Huot(1993)는 사고구술 실험과 면담 방법을 사용하여 작문 채점자들의 배경지식, 채점자 훈련 경험, 경험 등의 요인이 총체적 채점에 어떠한 영향을 미치는지를 밝히고자 하였다. 이들은 4명의 전문 채점자와 4명의 초보 채점자들이 21편의 글을 채점하는 동안 산출한 사고구술 프로토콜과 채점 이후의 인터뷰 자료를 분석하였다. 그 결과 채점자들의 사전 읽기 경험이나 개인적 쓰기 경험이 이들이 중요시하는 채점 요소를 결정하는 데에 가장 큰 영향을 미쳤다. 또한 총체적 채점 경험은 채점자가 내적 평가 기준을 설정하는 데에 긍정적인 영향을 주었다.

또한 채점 경험 면에서 채점 기준을 접한 경험보다 채점 과정에서 읽었던 다수의 글들이 채점 경험에 더 많은 영향을 미친다는 것을 알 수 있었다. 전문적인 채점자들은 무엇보다 다양한 채점 경험을 통해서 글을 실제로 읽은 경험이 많아서 좋은 글의 특성이 무엇인지를 분명하게 인식하고 있었고, 주어진 채점 기준이 아닌, 다수의 채점 경험으로부터 얻은 실질적인 채점 기준에 대한 내면화가 효과적으로 이루어져 있었다.

채점자들이 산출한 사고구술 프로토콜을 분석한 결과에 대해서 Pula & Huot은 다음과 같이 언급하였다.

위의 인용문에서처럼 학생 글을 읽고 작문 능력에 따라 학생이 배치될 반을 정하도록 하였을 때, 작문 지도 경험이 있는 채점자들은 단순히 주어진 채점 기준을 그대로 활용하는 것이 아니라, 학생이 해당 반으로 배정되었을 때 그 수준에서의 교수‧학습이 가능한 것인지를 함께 고려하였다. 이처럼 Pula & Huot(1993)의 연구를 통해서 채점자들이 채점 기준을 내면화하는 방식이 서로 다르다는 점, 그리고 채점자들이 가진 배경지식이나 경험이 이러한 차이에 영향을 미친다는 점을 알 수 있었다.

Ⅱ장에서 살펴보았듯이 작문 채점자가 가진 외적 특성과 내적 특성들은 작문 채점 과정에 영향을 미칠 수 있고, 채점 기준 해석 및 활용과 같은 채점 특성 또한 채점 과정에 영향을 미칠 수 있다. Ⅲ장에서는 이러한 채점과 관련한 다양한 특성들을 개별 관점이 아닌, 채점 과정에 영향을 미치는 ‘해석적 프레임워크’6)의 관점에서 통합적으로 살펴보고자 한다. Ⅱ장에서 살펴본 특성들은 채점과 관련한 해석적 프레임워크를 구성하는 개별 요소라고 볼 수 있다. 이들 요소가 통합된 해석적 프레임워크는 작문 채점 과정 전반에서 지속적인 영향을 주고받을 것이다. 그러므로 이제는 작문 채점을 바라보는 관점을 채점 과정 전반으로 보다 확장시켜서 작문 채점자의 해석적 프레임워크나 작문 채점의 환경 등 다양한 요인들이 어떤 식으로 작문의 인지적 과정과 상호작용하는지를 살펴볼 필요가 있다. 여기에서는 작문 채점 과정 모형 중에서도 가장 대표적이라고 할 수 있는 Freedman & Calfee의 모형과 Wolfe의 모형을 중심으로 살펴보고자 한다.

Freedman & Calfee(1983)는 작문 채점 과정을 정보처리적 관점에서 설명하였다. 정보처리모형은 인간의 지각, 학습, 기억 등을 컴퓨터의 정보처리모형에 비추어서 설명하는 이론으로, 정보처리 이론에서는 인간의 정보 처리 과정을 일반적으로 ‘자극의 부호화(기억에 입력)’, ‘저장(기억에 보관)’, ‘인출(기억으로부터 회상)’의 세 가지 단계로 설명한다(한국교육심리학회, 2000). 이렇게 인간의 행위를 입력과 저장, 인출의 과정으로 바라보는 정보처리 관점에서 Freedman & Calfee는 작문 채점자가 겪는 채점의 과정을 세 가지 하위 과정으로 설명하였다. 세 가지 과정은 첫째는 ‘텍스트의 이미지 형성을 위해서 글 읽기(reading text to build a text image)’, 둘째는 ‘텍스트의 이미지를 평가하기(evaluating the text image)’, 셋째는 ‘평가 결과 나타내기(articulating the evaluation)’이다. Freedman & Calfee는 이러한 채점 과정을 정보처리 이론에서 설명하는 ‘장기기억, 작업기억, 단기기억’의 아이디어를 포함시켜서 다음 [그림 1]과 같은 모형으로 나타냈다.

[그림 1]의 모형은 채점자가 채점하는 대상은 있는 그대로의 텍스트가 아닌 채점자의 기억 속에 형성된 텍스트 이미지라는 것을 가정한다. 이러한 관점에서 이 모형은 크게 두 가지 영역으로 나눠진다. 우측의 영역은 작문 채점의 과정이고, 좌측의 영역은 작문 채점 과정에서 채점자가 사용하는 텍스트 이미지가 저장된 공간이다. 채점자는 텍스트를 읽고 이해한 다음에 텍스트에 대한 이미지를 형성하는데 이렇게 형성된 텍스트 이미지는 텍스트 그 자체라기보다는 채점자가 읽는 도중에 얻게 되는 인상, 즉 채점자의 평가가 반영된 인상이 저장된 이미지라고 볼 수 있다. [그림 1]에서 점선으로 표시된 화살표는 외적으로 드러나는 채점 과정을 나타낸 것으로, 채점자가 텍스트를 읽고 평가한 다음에 그 평가 내용을 말이나 글, 또는 점수로 나타내는 과정을 나타낸다. 그러나 이러한 과정은 실선과 굵은 화살표의 과정을 내적으로 반영하고 있는데 텍스트를 읽으면서 채점자가 평가한 의견이 반영되어 텍스트 이미지 형태로 부호화되어서 기억에 저장되고, 이러한 작업기억(또는 장기기억)에 저장된 이미지를 다시 인출하여 가시적인 평가 결과로 표현하는 과정, 그리고 ‘점검하기’를 통해서 채점과정이 실시간으로 점검 및 조정되는 과정을 반영하고 있다.

‘점검하기(monitoring)’ 과정은 채점자가 글을 채점하면서 이전의 채점 결과를 수정할 수 있는 역할을 하고 있다. 그 이전까지는 작문 채점이 단순하게 선형적인 과정으로 이루어질 것이라고 가정했다면, Freedman & Calfee의 연구를 통해서 작문 채점자들은 글을 읽고 이해한 다음, 글에 대한 인상을 형성하고, 이 인상을 기반으로 하여 채점을 하면서도 스스로의 채점 과정을 ‘점검’에 의해서 회귀적으로 수행한다는 것이 밝혀졌다. Freedman & Calfee의 채점 모형이 이러한 채점 과정만 제시하였다면 앞서 인지적 접근에서 살펴보았던 채점자의 내적 특성, 즉 채점자를 둘러싼 해석적 프레임워크가 간과된 한계가 있었을 것이다. 그러나 Freedman & Calfee 또한 채점 과정은 모든 채점자에게 동일한 형태로 나타나는 것이 아니라 채점자의 특성이 외부 환경 특성에 따라서 다르게 나타난다는 것을 고려하였다. 다음 [그림 2]는 이들 하위 요인이 채점의 전체 과정에서 어떻게 상호작용하는지를 보여준다.

위 [그림 2]는 채점자가 가진 지식이나 신념, 가치, 채점자가 처한 읽기 환경, 채점의 목적 등 다양한 요인들이 영향을 미친다는 것을 보여준다. Freedman & Calfee(1983)는 작문 채점 과정에 영향을 미치는 이들 요인을 크게 두 가지 하위 과정으로 설정하였는데 첫째는 [그림 2]의 우측에 제시된 요인들로 ‘채점자의 개인적 특성(예를 들어 읽기 능력, 세계에 관한 지식, 기대, 가치, 산출 능력)’이고, 둘째는 좌측에 제시된 요인인 ‘과제 환경 특성(시간, 과제 길이, 텍스트 유형, 물리적 환경, 채점자 훈련 및 관리 유형, 평가의 목적, 채점 보고 대상)’이다.

다음으로는 앞서 살펴본 정보처리적 모형을 기반으로 하여 작문 채점 과정을 좀 더 확장된 관점에서 제안한 연구(Wolfe, 1995 ; Wolfe & Feltovich, 1994 ; Wolfe & Kao, 1996)를 살펴보고자 한다. Wlofe 또한 기본적으로는 Freedman & Calfee와 유사한 채점 과정 모형을 제안하였는데 특히 평가를 하고 점수를 결정하는 과정에서 일어나는 채점자의 의사결정 과정을 보다 구체적인 정보처리 행동 요소로 설정하였다는 점에서 차별성이 있다. 또한 이 모형은 채점 과정 요소와 함께 글의 채점 기준 요소를 함께 고려한 모형으로, 다음 [그림 3]과 같이 작문 채점 과정을 두 가지 인지적 특성의 상호작용으로 표현하였다. 이들 인지적 특성은 ‘채점 과정 요소’와 ‘작문 관련 요소’로 나누어 살펴볼 수 있다.7)

(1) 채점 과정 요소

채점 과정 요소는 채점 과정에서 일어나는 인지적 과정을 나타낸 것으로 Wolfe는 이러한 채점 과정 요소는 채점자가 텍스트를 읽고 평가하는 과정에서 나타나는 일종의 ‘정보처리 행동(processing action)’으로 가시화될 수 있다고 보고, 이를 사고구술 프로토콜을 분석하여 탐색하였다. 채점 과정 요소는 구체적으로는 채점자가 채점을 위한 의사결정 과정(decisionmaking process)에서 텍스트를 읽고 텍스트에 대한 이미지를 형성한 다음, 이러한 텍스트 이미지를 작문 관련 요소, 즉 채점 기준과 비교하면서 평가하는 과정을 나타낸다. Wolfe는 채점 과정 요소로 세 가지를 설정하였는데 이들 세 가지 과정은 ‘해석(interpretation)’, ‘평가(evaluation)’, ‘정당화(justification)’의 과정이다.

먼저 ‘해석하기’는 채점자가 텍스트로부터 정보를 받아들이고 텍스트 이미지를 형성하는 과정을 나타내고, ‘평가하기’에서 채점자는 자신이 형성한 텍스트 이미지 중에서 어떠한 특성이 필자의 작문 능력을 보여주는 척도가 될 것인지를 판단하고 결정한다. 보다 구체적으로는 채점자는 자신이 가지고 있는 텍스트 이미지 정보들의 상대적인 중요성을 결정하고, 이렇게 선별된 텍스트 이미지들은 채점 기준 정보와 연결되면서 채점 기준을 얼마나 충족하는지를 판단하는 데에 활용된다. 끝으로 ‘정당화하기’에서는 채점자가 자신의 채점에 대한 반성과 점검이 이루어진다. 작문 채점은 인지적으로 고부담의 과업이므로 채점자가 자신의 채점 수행을 점검하고, 조절하는 과정을 학습할 필요가 있다. 이러한 정당화하기 과정은 앞서 Freedman & Calfee의 모형에서 제안한 ‘점검하기’와 유사한 역할을 한다.

Wolfe는 이러한 세 가지 채점 과정에서 나타나는 구체적인 특성을 살펴보기 위해서 채점자들의 사고구술 프로토콜을 분석하였는데(Wolfe & Feltovich, 1994) 그 결과 여덟 가지의 정보처리 행동이 나타난다는 것을 발견하였다. 먼저 ‘해석하기’에서는 채점자가 글을 읽고 텍스트 이미지를 형성하는 ‘읽기’ 행동이 나타나고, 다음으로는 텍스트나 채점 과업과 관련한 개인적인 언어적 반응에 해당하는 ‘논평하기’가 나타난다. 다음으로 ‘평가하기’에서는 텍스트 이미지를 검토하는 과정이 두 가지 유형으로 나타나는데 하나는 읽기 과정 중에 나타나는 ‘점검(monitor)’ 과정이고 다른 하나는 읽기가 다 끝난 후에 나타나는 ‘검토(review)’ 과정이다. 점검과 검토 모두 채점자가 형성하고 있는, 또는 형성한 텍스트 이미지를 채점 기준이나 채점 과정과 어떻게 연결시킬 것인지를 판단하는 과정이다. 또한 ‘평가하기’에서는 점검과 검토 과정을 거쳐서 최종적으로 점수를 변별하고 부여하는 ‘점수 결정(decision)’이 이루어진다. 끝으로 ‘정당화하기’에서는 채점자가 평가한 것을 바탕으로 하여 텍스트의 어떠한 부분이 개선되어야 하는지를 규명하여 진단하고(diagnose), 작문 관련 요소의 채점 기준과 관련하여 글의 어떠한 특성이 그러한 평가를 받게 되었는지 예시를 들어서 근거를 대며(rationale), 텍스트 이미지를 채점 기준 외의 다른 측면들(예를 들어 다른 글)과 비교하는(compare) 과정들이 나타났다.

(2) 작문 관련 요소

채점 과정 요소와 달리 작문 관련 요소는 채점 기준과 연계된 평가 요소를 의미한다. 작문 관련 요소는 채점자가 능숙한 필자와 미숙한 필자의 특성에 대해서 가지고 인식하고 있는 채점자의 정신적 표상에 해당한다. 즉 채점자가 가지고 있는 해석적 프레임워크인 것이다. 미리 제공되는 채점 기준을 가지고서 채점을 하는 상황에서 채점자는 잘 쓴 글과 그렇지 못한 글을 판단하기 위한 자신의 해석적 프레임워크를 설정하기 위해서 다양한 정보로부터 영향을 받는다. 채점 과정 요소와 마찬가지로 채점자들이 가지고 있는 이러한 작문 관련 요소 또한 가시적으로 관찰될 수 있는 것이 아니기에 채점자의 행동으로부터 유추하는 작업이 요구된다. Wolfe & Feltovich(1994)는 채점자들이 서사문을 채점하는 동안 산출한 사고구술 프로토콜을 분석하여 채점자들이 서사문을 채점할 때 다음과 같은 요소를 중심으로 채점한다는 것을 발견하였다.

그러나 이러한 작문 관련 요소 또한 채점자에 따라서, 또는 채점 상황에 따라서 변화할 수 있다. 예를 들어 채점에 따라 서로 다른 채점 기준이 주어지거나 채점의 목적이나 초점, 과제 지시문 등이 달라지면 채점자가 학생이 쓴 글에서 초점을 두고자 하는 평가 요소도 달라지기 때문이다. 또한 채점자마다 이러한 평가 요소를 모두 동일한 비중으로 평가하지 않을 수도 있고, 이들 외의 다른 평가 요소를 설정할 수도 있으며 각각의 평가 요소를 제대로 변별하지 못할 수도 있다. 이는 채점자의 채점 경험, 가치, 교육, 채점 기준에 대한 익숙함 정도 등에 따라서 채점자마다 서로 상이하게 해석되고 활용될 수 있다. 이러한 측면은 앞서 살펴본 Pula & Huot의 연구에서도 잘 나타났다.

Wolfe는 [그림 3]의 모형을 기반으로 하여 지속적으로 후속 연구를 하였는데 2007년 연구에서는 작문 채점 모형에서 이러한 작문 관련 요소의 변인에 초점을 두고, 채점자 간의 차이를 탐색하고자 하였다. 그 결과 서사문을 채점할 때 능숙한 채점자들은 여러 요소를 전반적으로 평가하는 반면 미숙한 채점자들은 글의 내용에만 초점을 두는 경향이 있었다. 또한 미숙한 채점자들은 글의 특정 부분에만 초점을 두거나 평가 내용을 말로 표현할 때 채점 기준에 없는 자신만의 생각이나 어휘를 표현하였다. 반면 능숙한 채점자들은 해당 채점 기준에 제시된 표현이나 어휘를 사용하여 평가 내용을 표현하였고 글의 전반적인 측면을 파악하였다. 이처럼 작문 관련 요소는 채점 과정에서의 주요한 특성으로 이어지며, 이는 채점자 변인과 함께 작문 전반에 지속적인 영향을 미치는 부분이다.

6)개인이 어떤 대상을 이해할 때, 각 개인이 가지고 있는 지식이나 경험이 그 대상을 이해하는 방식에 영향을 미친다. 이렇듯 개인의 지식과 경험이 모여서 형성된 복합적인 체계 내에서 어떤 대상을 바라보는 시각이나 관점을 개인이 가진 ‘해석적 프레임워크’라고 할 수 있다.  7)Wolfe는 이 두 가지 인지적 특성을 ‘frameworks of scoring’과 ‘frameworks of writing’으로 기술하였는데 본고에서는 이를 ‘채점 과정 요소’와 ‘작문 관련 요소’로 해석하였다.

이 장에서는 Ⅲ장에서 살펴본 채점 모형들이 지니는 한계점을 보완하여 작문 채점 과정의 수정 모형을 제안하고자 한다. 앞서 살펴본 두 가지의 채점 과정 모형은 작문 채점의 과정에서 일어나는 정보처리 과정을 유사한 과정으로 보여주었다. 그러나 채점 과정에 영향을 미치는 외적 요인을 설정함에 있어서는 약간 다른 특성을 보여주었다. 먼저 Freedman & Calfee(1983)의 모형에서는 ‘채점자의 내적 특성’과 ‘과제 환경 특성’을 자세하게 설명하였으나 정작 작문 채점기준과 관련한 측면이 간과되었고, Wolfe(1997)의 모형에서는 ‘작문 관련 요소’에서 채점기준과 관련한 측면을 반영하고 있으나 반대로 채점자의 내적 특성이나 채점 과제 환경에 관한 요소들이 간과되었다. 이러한 한계점은 두 모형에서 보여주는 측면 을 상호 보완하여 통합적으로 제시함으로써 해결할 수 있다.

그러나 이 두 가지 모형 모두에서 간과하고 있는 부분이 있는데 바로 Ⅱ장에서 논의한 ‘채점 특성’과 관련한 부분이다. ‘채점 특성’은 채점자가 채점 과정에서 채점기준과 점수 척도를 어떤 식으로 해석하고 활용하느냐와 관련한 특성이다. 박종임(2013)에서도 작문 채점자의 채점 일관성에 영향을 미치는 과정 특성으로 채점기준의 해석과 활용 양상, 그리고 채점 척도 활용 양상이 주요한 특성으로 도출되었다. 본 연구에서도 필자는 ‘채점 특성’을 ‘채점자 특성’과 ‘채점 과정’을 매개하는 특성으로 설정하고자 한다. 즉, ‘채점자 특성’이 직접적으로 ‘채점 과정’에 영향을 미친다기보다는 ‘채점자 특성’이 ‘채점 특성’에 영향을 미치게 되고, 이러한 ‘채점 특성’이 ‘채점 과정’에 영향을 미치는 것으로 볼 수 있다. 이러한 관점에서 ‘채점 특성’을 ‘채점자 특성’과 ‘채점 과정’ 사이에 두고, 작문 채점에서 채점기준 및 점수 척도와 관련한 채점 특성의 중요성을 보다 강조할 수 있는 수정 모형을 다음 [그림 4]와 같이 제안하고자 한다.

[그림 4]의 모형은 ‘채점 과정’, ‘채점자 특성’, ‘채점 과제 환경’의 세 가지 프레임워크로 구성되어 있다. 이는 ‘채점 과정’을 중심으로 하여 이러한 채점 과정에 영향을 미칠 수 있는 관련 요인들을 ‘채점자 특성’과 ‘채점 과제 환경’으로 설정한 것이다 ‘채점 과정’은 크게 ‘텍스트 읽기’, ‘점수 결정 근거 마련하기’, ‘점수 결정하기’의 세 가지 과정으로 나눌 수 있다. 채점자는 ‘훑어읽기’, ‘자세히 읽기’, ‘개인적 반응’, ‘평가적 반응’ 등의 정보처리 행위를 하면서 텍스트를 읽게 되는데 이러한 과정을 통해서 텍스트에 대한 이미지를 형성하게 된다. 다음으로 점수 결정의 근거를 마련하여 점수를 결정하는 과정에서는 이러한 텍스트 이미지를 회상하여 활용하는 것이다. 이 모형에서는 선행연구들과 달리 텍스트 읽기 과정에서의 ‘훑어읽기’를 추가로 설정하였는데 훑어읽기(scanning)는 글의 전체적인 측면에서 글의 길이나 형식, 문단 구분, 글씨체 등을 먼저 파악하기 위한 채점자의 읽기 특성이라고 볼 수 있다. 이렇게 텍스트를 읽는 동안 채점자는 독자와 평가자로서 다양한 반응을 나타낼 수 있다. 이러한 반응을 ‘개인적 반응’과 ‘평가적 반응’으로 나누어서 다음 <표 1>과 같이 정리할 수 있다.

‘개인적 반응’은 글을 읽는 독자로서 할 수 있는 일반적인 반응으로, 채점자는 글을 읽는 동안 글의 내용에 대해서 채점 상황과 관련이 없는 채점자 자신의 개인적인 반응을 나타낼 수 있다(Wolfe, 2005). ‘개인적 반응’은 점수를 결정하는 것에 직접적인 영향을 미치지는 않는다. 그러나 채점자에 따라서 이러한 ‘개인적 반응’이 글에 대한 인상 형성에 영향을 줌으로써, 나아가 점수 결정에도 영향을 미칠 수 있다. 학생이 쓴 글에 지나치게 감동을 받거나 공감을 하면서 읽으면 각 평가 요소에 대하여 객관적인 점수를 부여하기 어렵다. 또한 학생 글에 개인적 반응을 하는 성향은 점수를 부여하는 상황에서 극단적인 점수를 피하고 중간 점수를 지향하는 성향을 야기할 수도 있다. 설명문이나 논설문보다 특히 서사문 평가에서 이러한 개인적 반응이 많이 나타날 수 있는데 지나친 개인적 반응을 하는 것이 채점 신뢰도에 어떠한 영향을 미치는지에 관해서는 보다 심층적인 탐색이 필요해 보인다.

이와 달리 ‘평가적 반응’은 특정 평가 요소와 관련하여 논평을 하는 반응으로, 점수 결정에 직접적인 영향을 미칠 수 있는 반응이다. ‘평가적 반응’은 채점 과정 중에서도 ‘글 읽기’ 과정에서 나타날 수도 있고, ‘점수 결정하기’나 ‘점수 결정의 근거 마련하기’ 과정의 전반에 걸쳐 나타날 수 있다. ‘평가적 반응’은 평가 내용의 상세화 정도에 따라서 ‘구체적인 평가적 논평’과 ‘포괄적인 평가적 논평’으로 나눌 수 있다. ‘구체적인 평가적 논평’은 글에 나타나는 구체적인 특성을 근거로 들면서 평가를 하는 것이고, ‘포괄적인 평가적 논평’은 글에서 나타나는 구체적인 특성을 언급하지 않고 포괄적으로 언급하는 논평을 의미한다.

분석적 채점 방식에서는 포괄적인 논평보다 각 채점기준에 따른 구체적인 논평이 채점 신뢰도를 높이는 데에 더욱 효과적일 것이다. 또한 구체적인 논평이 가능해야 채점을 하는 국어교사들도 자신이 부여하는 점수에 확신을 가질 수 있고, 학생들 또한 자신이 받은 점수를 신뢰할 수 있다. 채점 과정에서 구체적인 논평을 하는 것은 채점 신뢰도를 개선하는 것 외에도 나아가 작문 교육에서의 피드백으로도 유용하게 활용될 수 있다. 학생 글에 나타나는 특성을 근거로 하여 개선 피드백을 제공하여야 이후에 글을 고쳐 쓰도록 하거나 쓰기 능력 향상을 위한 추가 지도에 효과적으로 활용될 수 있다.

이렇게 텍스트를 읽으면서 채점자가 산출한 다양한 반응들이 통합되어 채점자는 텍스트에 대한 이미지를 형성하게 된다. 이렇게 형성된 텍스트 이미지는 이후의 채점 과정에서 회상되어 사용된다. 다음으로는 저장된 이미지를 토대로 하여 글에 대한 점수를 결정하는 과정이 이어지는데 ‘점수 결정 근거 마련하기’ 단계에서는 ‘글 읽기’ 과정에서 형성하고 저장했던 글에 대한 인상을 회상하여 점수 결정 과정에서 활용할 수 있는 유의미한 이미지들을 선별하고, 선별한 이미지를 채점 기준과 연결하여 범주화하면서 대략적인 점수를 파악하게 된다. 이 과정이 원활하게 이루어지기 위해서는 글을 읽는 과정에서 풍부하고 구체적인 인상을 형성하는 것이 효과적이다. 또한 인상을 회상할 때에는 통합적으로 회상하는 것이 아니라, 각각의 평가 요소에 따라서 범주화하면서 회상하는 과정이 필요하다. 글에 대해 가지고 있는 인상이 어떤 평가 요소에 관련된 것인가를 명확하게 범주화할 수 있어야 각 평가 요소에 대해서 정확한 평가적 논평을 할 수 있기 때문이다.

이러한 과정을 통해서 점수 결정의 근거가 충분히 마련되었다고 판단되면 채점자는 이러한 근거를 바탕으로 하여 평가 내용을 구체적인 점수로 나타내는 과정을 겪는다. 이 과정에서는 주어진 척도의 점수를 변별하는 작업이 이루어지는데 해당 근거에 따라 점수 척도 중에서 어떤 점수를 선택해야 하는지를 선택하기에 앞서, 각 점수가 어느 정도의 수준 차이로 변별될 수 있는지를 판단하게 된다. 이러한 변별 과정이 끝나면 채점자는 각 평가 요소에 따라 최종적인 점수를 결정한다. 또한 이러한 채점 과정 전반에서 채점자는 지속적으로 자신의 채점 행위를 점검하고 조정한다. 글에 대한 인상이 제대로 떠오르지 않으면 글을 다시 읽기도 하고, 평가 요소에 따른 범주화가 제대로 이루어지지 않으면 평가 요소를 다시 점검하기도 하며, 점수를 결정한 다음에도 다시 수정하는 등 다양한 점검과 조정의 과정이 이루어진다.

[그림 4]에는 채점 과정 요소 외에 ‘채점자 특성’과 ‘채점 과제 환경’이 포함되어 있다. 먼저 ‘채점 과제 환경’은 채점자가 채점을 하는 목적, 채점 방법, 주어진 채점 기준, 텍스트 유형 및 수준 등 채점자를 둘러싼 다양한 환경적 요소를 의미한다. 다음으로 ‘채점자 특성’은 채점자가 가질 수 있는 내적 변인들로 채점자가 가지고 있는 다양한 배경지식과 경험, 가치관, 태도 등이 포함될 수 있다. 예를 들어 채점 방법에 관한 지식이나 좋은 글에 대한 관점, 채점이나 지도 경험, 읽기와 쓰기 경험, 평가를 바라보는 관점, 채점에 대한 태도 등 다양한 요인이 채점자가 형성하게 될 해석적 프레임워크에 영향을 미칠 것이다.

또한 이렇게 형성된 채점자 고유의 해석적 프레임워크는 채점 과정 전반에 영향을 미치면서 동시에 ‘채점 특성’에 직접적인 영향을 미칠 것이다. 여기에서 말하는 ‘채점 특성’이란 앞서 논의하였듯이 채점자가 주어진 채점 기준을 해석하고 활용하는 양상과 점수 척도 활용 양상을 의미한다. 도한 이러한 채점기준의 해석 및 활용 양상이나 점수 척도 활용 양상은 다시 채점 과정 전반에 결정적인 영향을 미치게 된다. 그런데 이러한 ‘채점 특성’은 채점 과정 내에서 관찰될 수 있는 요소이면서도 동시에 다른 채점 과정에 영향을 미치는 상위 요소로 볼 수 있다. 그러나 채점자 특성처럼 채점 과정 밖에서 고려해야 하는 요소는 아니다. 그러므로 [그림 4]에서는 이를 채점자 특성의 영향을 직접적으로 받는 채점 과정의 상위 요인으로 설정하여, 채점자 특성과 화살표로 연결하였다.

지금까지 작문 교육에서는 작문 수행과 관련된 현상을 밝히거나 작문에 대한 교수‧학습 측면의 연구가 주로 이루어졌다. 그러나 작문 교육이 보다 적극적으로 이루어지기 위해서는 작문 평가, 나아가 작문 채점자에 보다 많은 관심을 가져야 한다. 작문 평가는 단순히 채점을 정확하게 하여 신뢰도를 확보하는 것 외에도 학생들에게 도움이 되는 피드백을 제공하는 측면에서도 주요한 기능을 담당하기 때문이다. 작문 채점을 통해서 학생들이 쓴 글에 논평을 달아주는 것은 물론이고, 상세하게 개발된 채점 기준 상에 정확하게 점수를 부여하는 것 또한 중요한 피드백으로 제공될 수 있다. 그러므로 작문 채점자는 채점자로서의 역할과 함께 교수자로서의 역할도 함께 가지고 있다. 이러한 측면에서 작문 채점자가 작문 교육에서 가지는 역할이 중요하고, 작문 채점 과정에 대한 연구 또한 보다 활성화되어야 할 것이다.

작문 채점 과정과 관련하여 약 20년 전에 Huot(1990, p.258, Claire, 1999 재인용)는 다음과 같이 언급하였다.

Huot는 1990년에 작문 채점 과정에서 채점자의 ‘읽기 과정’과 ‘점수 부여 과정’에 대해서 거의 아는 바가 없다고 언급하였다. 그러나 약 20년이 지난 지금도 작문 채점 과정은 여전히 탐색되어야 할 부분이 많다. 특히 우리나라에서는 작문 직접 평가가 이루어지지 않고 있으므로 작문 채점 과정에 관한 관심이 더욱 부족한 상황이었다. 학교 현장이나 대단위 평가에서 학생들의 실제 작문 수행 능력을 정확하게 측정하기 위해서는 무엇보다 작문교육과 작문평가를 담당하는 국어교사들의 채점 전문성이 확보되어야 할 것이다. 이를 위해서는 채점 전문성을 신장시키기 위한 채점자 훈련 프로그램이 지속적으로 제공되어야 하는데 효과적인 채점자 훈련 프로그램을 마련하기 위해서는 무엇보다 작문 채점자가 겪는 채점 과정을 면밀하게 밝히고 탐색하는 과정이 필요하다.

이러한 문제의식에서 이 연구에서는 작문 채점의 인지적 과정 모형을 탐색하면서 이들 모형의 제한점을 보완할 수 있는 수정 모형을 제안하고자 하였다. 선행연구들에서 제시한 모형을 통합하여 ‘채점 과정’, ‘채점자 특성’, ‘채점 과제 환경’의 세 가지 프레임워크로 구성된 모형을 제안하였다. 나아가 선행 모형에서 간과한 ‘채점기준 해석 및 활용 양상’과 ‘채점 척도 활용 양상’에 해당하는 ‘채점 특성’을 채점자 특성과 채점 과정을 매개하는 주요한 특성으로 보고, 이를 채점 과정의 상위 과정으로 설정하여 그 중요성을 보다 강조하고자 하였다. 그러나 이 연구에서 제안한 모형은 선행연구 탐색을 통한 이론적 논의를 토대로 설정한 모형으로 앞으로 채점 과정 연구가 축적됨에 따라 지속적으로 검증되고 수정되어야 할 것이다. 이러한 과정을 통해서 향후 우리나라 작문 평가에서 보다 신뢰로운 채점이 이루어지고, 이를 통해서 학생들의 작문 능력을 정확하게 진단할 수 있으며, 나아가 학생들의 작문 능력을 개선하기 위한 효과적인 피드백을 제공할 수 있기를 기대해 본다.*

*이 논문은 2014년 10월 31일 접수하여 2014년 11월 28일 논문 심사를 완료하고 2014년 12월 5일에 게재를 확정함.