수업을 계획할 때 반드시 염두해야 할 부분이 평가이다. 수업과 평가는 서로 밀접하게 맞물려 있기 때문에 수업을 계획할 때에는 그 수업 내용에 대한 것뿐만 아니라 수업 결과물 평가에 대한 계획도 같이 마련한다.

특히 쓰기 수업에서의 평가는 다양한 형태로 이루어진다. 교사가 일방적으로 학생의 산출물에 대한 평가를 하기도 하지만, 여러 가지 형태의 학습자 평가도 이루어진다. 이는 “과거 결과 중심의 쓰기 교육방식에서 드러난 획일적인 접근 방식에 대한 대안으로서 학생들이 쓰기 계획, 쓰기 활동, 쓰기 평가에서 능동적인 주체가 되는 것이 쓰기 능력 향상에 도움이 된다(이재승, 2000)”고 보기 때문이다.

쓰기 평가에서 이루어지는 학습자의 참여 방법은 크게 두 가지가 있다. 하나는 학습자 스스로 자신이 산출한 글에 대해 평가를 하는 것이다. 이는 ‘자기평가’로 학습자에게 자기 반성의 기회를 가질 수 있도록 하여 자신의 글쓰기 과정을 되돌아보고 그 결과 산출물이 어떻게 구성되었는지를 점검해 볼 수 있도록 한다. 두 번째는 다른 학습자가 산출한 결과물에 대해 학습자이면서 동시에 평가자로서 그 글에 대한 평가를 하는 것이다. ‘동료평가’로 불리는 이 방식은 다른 학생이 쓴 글에 대해 평가하는 평가 방식을 말한다. 쓰기에서의 동료 평가는 평가자의 관점에서 다른 학생의 글을 평가하는 과정을 통해 자신과 다른 사람의 글을 비교, 분석하고 이를 통해 좋은 글과 그렇지 못한 글을 선별하는 안목을 가질 수 있게 한다. 또한 이러한 과정을 통해서 스스로 좋은 글을 쓰는 방법을 터득할 수 있도록 하는 데 그 목적이 있다.

쓰기 평가에서 학습자의 참여는 실제로 학습자의 글쓰기 능력에 많은 기여를 한다. 그 중에서 쓰기에서의 동료평가가 학습자의 글쓰기 능력 향상에 기여했다는 연구를 살펴보면, 김민성(2005)은 자기평가 및 동료평가가 쓰기 학습 능력과 태도에 미치는 효과를 연구한 결과 자기평가와 동료평가를 적용한 실험집단이 적용하지 않은 비교집단보다 쓰기 학습 능력에서 유의미한 차이가 있었다는 결과를 제시하였고, 오택환(2008)은 논설문 쓰기에서 동료평가가 가지는 의의에 대한 연구를 수행한 결과 동료평가에 부정적 요소가 있기는 하지만 긍정적인 요소가 더 많다는 결과를 제시하였다. 또 류마리아(2009)는 동료평가 전후한 쓰기 능력에서는 큰 차이가 없었으나 쓰기의 내용과 형식 요인에서는 유의미한 차이를 보였으며 쓰기 능력이 낮은 중, 하위 집단에서는 쓰기 동기에서도 유의미한 차이를 보였다고 진술하였다. 이 밖에도 김라연(2007), 김현희(2006) 등의 연구는 쓰기에서의 동료 평가가 쓰기 능력 향상에 긍정적인 영향을 미친다는 연구 결과를 드러내고 있다.

그런데 쓰기에서의 동료 평가가 긍정적인 영향을 미친다는 것은 그 결과가 타당하고 믿을 수 있다고 판단하였기 때문이다. 부연하자면, 동료 평가가 긍정적인 영향을 가지는 것은 동료 평가의 결과를 받아들이는 학습자들이 그것이 믿을 수 있고 신뢰할 만한 것이라는 점을 인정하였기 때문일 것이다. 그렇다면 실제로 동료 평가는 ‘평가’로서 얼마나 신뢰할 수 있을까?

본 연구는 쓰기에서의 동료 평가에 영향을 미치는 요소를 분석하고 이 요소가 실제 동료 평가에 어떠한 영향을 미치는지를 살펴보고자 한다.

쓰기에서 동료 평가의 신뢰성에 영향을 미치는 요소에는 여러 가지가 있다. 먼저, 쓰기에서 동료 평가의 신뢰성에 영향을 미치는 요소로 장르가 있다. 글쓰기 부담을 적게 느끼는 장르일 때 평가에서도 부담이 적을 수 있다. 예를 들어 전문적인 지식을 필요로 하는 설명적 글쓰기의 경우 평가에서도 그에 관한 전문적인 지식을 필요로 하기 때문에 평가에 대한 부담이 클 수 있다. 장르가 쓰기에서 동료 평가의 신뢰성에 영향을 미치는가에 대한 연구로는 서종훈(2014)의 논의가 있다. 특목고와 일반고 학생들을 대상으로 한 이 연구에서 장르 유형에 따라 평가 주체간의 평가 관점이 일치하는가를 살펴본 결과 장르 유형에 따라 평가 주체간의 평가 관점이 달라질 수 있음을 제시하였다.

두 번째로, 평가자의 신념과 태도 등이 쓰기에서 동료 평가 신뢰성에 영향을 미칠 수 있다. 평가자의 신념과 태도는 평가자가 자신이 정확하게 평가를 할 것이라는 믿음이나 평가의 중요성을 인식하여 타당하게 평가하고자 하는 태도 등을 의미한다. 평가자의 신념과 태도에 대해서는 윤택환(2008)의 연구를 통해 생각해 볼 수 있다. 이 연구는 평가자를 모둠 내로 하느냐 모둠 외로 하느냐에 따라, 평가자의 이름을 실명으로 하느냐 무기명으로 하느냐에 따라 6가지 유형으로 나누었다. 이 연구에서는 같은 모둠 내에서 평가자를 두게 되면 평가자와 평가 대상자가 동시에 같은 공간에 존재하기 때문에 평가가 객관적으로 이루어질 가능성이 낮고, 평가자의 이름을 무기명으로 할 경우 평가자가 노출되지 않기 때문에 좀 더 정확하게 평가를 할 가능성이 높다고 본다.

세 번째로, 평가자의 쓰기 지식이나 쓰기 태도가 동료 평가 신뢰성에 영향을 미칠 수 있다. 쓰기에 대한 지식이 많거나 쓰기에 대한 긍정적인 태도가 더 많은 경우 더 자신감을 가지고 평가에 참여할 수 있다.

앞서 살펴본 것과 같이, 대부분의 연구에서는 쓰기에서 동료 평가 신뢰성에 미치는 요소를 평가자에 초점을 맞추어, 평가자가 가지고 있는 평가적 지식 혹은 글쓰기 지식, 평가 신념 및 태도 등을 살피고 있다. 그런데 동료 평가의 가장 큰 특징은 평가를 하는 쪽이나 평가를 받는 쪽이 ‘동료’의 관계에 있다는 점이다. 다시 말해, 동료 평가에 참여하는 평가자와 피평가자는 지식의 많고 적음에서 빚어진 관계가 아니라 특정 집단에 소속된 같은 구성원이기 때문에 사회적 친밀도에 의한 관계를 형성한다. 따라서 동료 평가를 수행할 때 평가자들이 피평가자에 대해 특정한 ‘감정’을 가지고 있다는 것은 분명 평가의 신뢰성에 영향을 미칠 수 있다. 만약 동료 평가에서 평가자와 피평가자의 관계에 따라 평가 결과가 달라질 수 있다면 이는 동료 평가를 수행할 때 매우 중요하게 생각되어야 하는 요소가 된다. 본 연구는 초등학교 6학년 학습자를 대상으로 평가자와 피평가자의 사회적 친밀도 정도가 쓰기에서의 동료 평가에 어떠한 영향을 미치는지 살펴보고자 한다.

이 연구는 쓰기에서의 동료 평가에 영향을 미치는 요소를 분석하고 실제 이 요소가 동료 평가 결과에 어떤 영향을 미치는지를 살펴보기 위한 것이다. 동료 평가는 말 그대로 학습자의 ‘동료’가 평가 주체가 되어 이루어지는 평가이다. 따라서 학습자와 동료 평가의 주체는 서로 특정한 교우 관계를 형성하고 있다. 본 연구는 동료 평가의 주체인 평가자가 피평 가자와 특정한 교우 관계에 놓여 있을 때 어떤 평가가 도출되는지를 살펴보고자 한다. 또한, 평가자가 피평가자와의 관계 유지에 어려움이 있다고 판단할 때 어떤 평가 결과를 도출하는지를 살펴보고자 한다. 이 연구는 다음과 같은 연구가설을 설정한다.

본 연구는 평가자와 피평가자 간의 사회적 관계가 쓰기에서의 동료 평가에 미치는 영향을 분석하기 위해 초등학교 6학년 학생들을 연구 대상자로 삼았다. 초등학교 6학년은 초등학교의 다른 학년에 비해 동료 평가나 자기 평가 등 평가 주체로서 참여해 본 경험이 많고 다양한 장르의 글쓰기를 수행한 경험이 있기 때문이다. 또한 본 연구에서 연구 문제로 삼은 ‘사회적 관계’가 가장 깊이 있게 형성되었을 가능성이 높기 때문이다.

연구에 참여한 학생들은 대구광역시 소재 ㄱ 초등학교 6학년 5개 반 104명의 학생들이다. 연구 대상으로 삼은 학교는 전학 등의 학적 이동이 그리 많지 않고 학급당 인원수가 20여명 정도로 서로 친밀한 관계를 유지할 수 있는 여건을 갖추고 있다. 또한 이들의 대부분은 인근 아파트에 거주하며 이들 중 사교육에 참여하는 학생이 많기는 하나 대부분 가정 방문 학습지를 하거나 공부방을 이용하는 등의 형태로 사교육을 받고 있기 때문에 하교 후에도 학생들끼리 서로 친밀한 관계를 유지한다.

이 연구에는 두 편의 글이 사용되었다. 이 글은 모두 연구에 참여한 학생이 쓴 글이다. 이 글은 학교에서 실시한 글쓰기 대회에서 쓴 것으로, 연구에 참여한 학생들은 이 글이 누구의 글인지 모른다. 먼저 연구자는 국어 교육의 전문가인 3명의 교사와 협의 과정을 거쳐 서로 비슷한 수준의 글 두 편을 뽑았다. 두 편의 글은 모두 가족과의 여행에 대해 쓴 것으로, 모두 여행 중 느낀 점을 주제로 드러내지 못하고 여행과정에 대한 소개가 부족하며 특히 자신의 느낀 점이 잘 드러나지 않는다. 또한 여행지 혹은 시간 순서에 따라 글을 조직하기는 하였으나 문단의 응집성이 떨어지고 맞춤법이나 띄어쓰기가 잘 되어 있지 않다. 두 편의 글 모두 양이 비슷하기 때문에 양적인 면에서도 큰 차이가 없다.

그 다음 연구자는 연구에 참여한 6학년 각 학급의 담임교사들을 대상으로 면담을 실시하였다. 이 과정에서 연구자는 6학년 학생들 중에서 교우 관계가 비교적 원만하고 사교성인 높은 학생과 그렇지 못한 학생을 각각 1명 선정하였다. 선정된 두 학생은 모두 남학생으로 각각 5반과 1반에 재학중이다. 또한 이 두 학생의 학습 능력은 중상 수준으로 서로 비슷하다.

연구자는 앞서 선정한 두 편의 글을 워드로 작성한 후 분석적 평가를 할 수 있는 기준표를 하단에 제시하였다. 이때 연구자는 첫 번째 글에는 교우 관계가 대체로 원만한 학생의 이름을, 두 번째 글에는 교우 관계가 원만하지 못한 학생의 이름을 써 두었다.1)

연구자는 5개 반을 글쓴이의 이름 노출 여부와 평가자의 이름 노출 여부 등 2가지 요소로 5가지 유형으로 나누었다. 나눈 유형은 <표 1>과 같다.

그런데 실험에 참여한 3반의 경우, 교우 관계가 원만한 학생을 두 번째 글의 글쓴이로, 교우관계가 원만하지 않은 학생을 첫 번째 글의 글쓴이로 바꾸어 제시하였다.

분석표는 글의 내용, 조직, 표현에 관한 평가 기준을 담고 있는데, 모두 5점 척도를 사용하였다. 내용은 글의 주제가 분명한지, 글쓴이의 경험이 구체적인지, 글쓴이의 경험이 글의 주제를 드러내는 데 적절하였는지를 기준으로 제시하였다. 글의 조직은 글의 흐름이 시간 혹은 장소 순서에 따라 자연스러운지, 문단의 길이가 적절하고 문단 나누어 쓰기가 잘 되었는지를 기준으로 제시하였다. 글의 표현은 맞춤법, 어휘 선택 등에 관한 5가지 기준을 제시하였다. 분석표에 마련된 글쓰기의 기준은 최명환(2006)의 논의와 김연례(2010)을 참고하였다. 평가 기준은 다음과 같다.

연구자가 연구를 수행하면서 언급한 것은 네 가지였는데 하나는 이 활동을 하는 목적에 관한 것이었다. 연구자는 학생들에게 평가지를 나누어 주면서 두 편의 글을 잘 읽고 분석표에 따라 평가를 하면 된다는 점을 알려주었고, 두 편 중 한 편을 ‘반드시’ 더 높은 점수를 주어야 한다든가, 두 편 중 한 편을 선정해야 한다든가 하는 ‘선택’의 문제를 제시하지 않았다. 두 번째는 글을 처음부터 끝까지 신중하게 읽도록 하였는데, 특별히 글쓴이가 누구인지 봐야 한다 등의 언급은 하지 않았다. 세 번째는 자신의 이름을 쓰지 않아도 된다는 것이었는데 이는 연구 대상 중 3반과 4반에 해당하는 것이다. 네 번째는 평가지를 받는 순간 다른 친구들과 어떠한 이야기도 할 수 없도록 하여 학생들 간의 논의가 이루어지지 않도록 하였다.

평가는 총 40분 동안 이루어졌다. 각 학생들은 평가지를 보고 스스로 평가를 하였으며 평가지는 일괄적으로 수합되었다.

글쓴이의 이름을 바꾼 3반을 제외하고 연구에 참여한 학생들이 글 가와 글 나에 대해 평가한 점수의 평균은 다음과 같다.

<표 3>와 <표 4>을 비교하여 보면, 글 가에 높은 점수를 부여한 반은 2반, 5반이고, 글 나에 높은 점수를 부여한 반은 1반, 3반이다. 그런데 앞서 글 가의 글쓴이로 선정한 학생은 5반에 재학 중이고, 글 나의 글쓴이로 선정한 학생은 1반에 재학 중이다. 말하자면 연구에 참여한 학생들은 자신이 속한 학급의 친구에게 더 높은 점수를 부여한 셈이다. 비록 글 나의 글쓴이가 다른 친구들과 교우 관계가 원만하지 못한 경우였지만 분명 1반의 학생들은 글 나에 더 높은 점수를 부여하였다.

또한 1반과 5반에서 평가한 점수도 크게 차이가 나는데 <표 5>를 통해 살펴보자.

<표 5>에서 보는 바와 같이 2반과 4반은 0.1, 0.2점의 차이만 보이지만 1반과 5반은 각각 0.47, 2.39의 점수 차이를 보인다. 글쓴이의 이름을 밝히지 않고 실험에 임했던 2반과 4반의 점수가 그리 차이가 없었던 것은 앞서 언급한 바와 같이 이 두 글이 비슷하기 때문이다. 그러나 글쓴이가 누구인지 밝혔던 학생이 속해 있는 각각의 연구 대상 반에서는 점수 차이가 확연히 다르게 나타났다. 그렇다면, 글쓴이의 이름을 반대로 제시하였던 3반은 두 글에 대해 어떤 평가를 내렸을까?

3반에 제시한 평가지에는 글 가는 교우관계가 원만하지 않은 학생이, 글 나는 교우관계가 원만한 학생이 글쓴이라고 밝혔다. 그래서 다른 반과 달리 이 반에서는 글쓴이를 서로 다르게 알았다. 그런데 평가 결과는 글 나, 즉, 교우관계가 원만한 학생이 썼다고 말한 글이 훨씬 더 잘 쓴 글이라는 평가를 하였다. 또한 그 점수 차이 역시 1.38점이나 되었다.

글쓴이의 이름을 밝히지 않았던 2반과 4반은 두 글이 서로 비슷하다는 평가 결과를 제시하였음에 반해, 글쓴이의 이름을 밝혔던 다른 세 반에서는 서로 다른 결과가 나온 것이다. 특히, 글쓴이와 같은 반에 소속되어 있던 학생들은 자신의 반에 소속된 글쓴이가 쓴 글에 더 높은 점수를 부여하였다. 다시 말해, 같은 ‘반’에 소속되어 있다는 것을 학생들은 사회적으로 더 긴밀한 관계에 놓여 있다고 생각한 셈이다. 반면, 글쓴이와 같은 반에 소속된 것은 아니었던 3반의 경우는 교우 관계가 원만한 학생이 썼다고 언급한 글에 대해 더 높은 점수를 부여하였다. 이는 학생들이 교우 관계가 원만한 학생과 사회적으로 더 긴밀한 관계에 놓여 있기 때문이다.

다음으로, 평가자의 이름을 노출하지 않아도 될 때 학생들은 어떻게 평가를 하였는지 살펴보자. 3반과 4반은 평가자의 이름을 쓰는 칸을 아예 주지 않았다. 각각의 반에서는 다음과 같은 평가 결과를 제시하였다.

<표 7>에서 보는 바와 같이 평가자의 이름이 노출되지 않았다고 해서 각각의 반에서 좀 더 객관적으로 평가를 하였다는 요소를 발견하기는 어려웠다. 다시 말해, 평가자들은 피평가자들이 평가자들이 누구인지 안다고 해도 그것을 평가에 반영시키지는 않는다는 것이다.

마지막으로, 각 반에서 평가한 점수를 다시 한 번 살펴보자.

<표 8>에서 알 수 있듯이, 글쓴이의 이름을 노출하지 않았을 때에 평가자들은 20점대에서 평가를 하였다. 그런데 글쓴이의 이름이 노출된 평가지를 받은 평가자들은 30점대의 점수를 부여하였다. 이는 글쓴이의 이름이 노출된 평가지를 받고 평가를 좀 더 후하게 하였다는 것을 의미한다. 또한 3반이 글 가와 글 나에 대해서 가장 높은 점수를 부여하였다는 점도 눈여겨 볼만하다. 글쓴이라고 언급된 학생이 소속된 두 반에서는 그리 큰 점수를 주지 않았음에 비해 글쓴이가 소속되어 있지 않은 학급의 학생들이 오히려 아주 높은 점수를 부여하였다. 이것은 어떻게 보면 평가자들은 피평가자들과의 사회적 관계를 의식하며 평가를 하지만 그것에 대한 자기 조절 능력도 전혀 없지는 않다고 해석할 수 있다.

본 연구는 쓰기에 있어 동료 평가의 객관성과 신뢰성을 확보하기 위한 방법을 마련하는 데 그 목적이 있다. 이를 위해 본 연구는 평가자가 피평가자와 사회적인 관계를 형성하고 있을 때 객관성과 신뢰성이 낮은 평가를 할 것이라는 점을 가설로 마련하였다. 앞 절에서 언급한 실험 결과에서 알 수 있듯이 쓰기에서의 동료 평가는 피평가자가 누구인가에 따라 평가 결과가 달라짐을 확인할 수 있었다. 쓰기에서의 동료 평가가 평가의 목적뿐만 아니라 학습자의 글쓰기 능력을 향상시키기 위해서는 동료 평가를 실시하기 전에 평가자와 피평가자들간의 사회적 관계를 우선 고려해야 한다. 대체로 학급에서 일어나는 동료 평가는 모둠별로 이루어진다. 따라서 학습자들은 누가 쓴 글인지 다 알고 그 글에 대해 평가를 한다. 앞서 살펴본 바와 같이 글쓴이가 누구인지 알면 그 글에 대한 객관적인 평가를 하기는 힘들다. 따라서 교사는 이러한 점을 고려하여 실제적인 평가가 되도록 해야 한다.

또한 학습자들은 쓴 글을 적절하게 분석하고 평가할 수 있는 능력을 가지고 있다. 이는 오랫동안 자기 평가나 동료 평가와 같은 평가에 관한 학습을 해 온 결과이다. 따라서 교사는 학습자들이 평가한 결과에 대해서 자기 조절이나 자기 점검을 통해 얼마나 객관성을 유지하며 평가를 하였는지를 살펴볼 수 있도록 해야 한다.

무엇보다도 교사는 쓰기에서 동료 평가가 가지는 의의를 학습자들이 이해할 수 있도록 해야 한다. 쓰기에서의 동료 평가는 단순히 다른 사람의 글을 평가하는 것에 그 목적이 있는 것이 아니라 평가를 통해 자신의 글을 좀 더 비판적으로 인식하여 궁극적으로는 글쓰기 능력을 향상시키는 데 그 목적이 있다. 따라서 누구의 글에 더 많은 점수를 주는 것이 평가의 목적이 아니라 그것을 바탕으로 자신의 글쓰기에서 부족한 점을 찾을 수 있도록 하는 것이 목적임을 학습자들이 인지하도록 하여 평가를 통한 또다른 학습을 가능하게 하도록 해야 한다.

1)연구의 편의를 위해 교우 관계가 원만한 학생을 글쓴이로 한 첫 번째 글을 글 가로, 교우 관계가 원만하지 않은 학생을 글쓴이로 한 두 번째 글을 글 나로 명명한다.

수행 평가가 도입되면서 여러 가지 유형의 평가가 이루어지고 있다. 자기 평가 및 동료 평가는 평가의 주체를 교사에게서 학생으로 위임하고 평가를 통한 학습의 가능성을 실제적으로 구상하게 한, 새로운 평가 방식이다. 이러한 점에서 본다면 동료 평가는 매우 의미 있는 평가 방법이라고 할 수 있다.

그런데 학생들의 상호 평가 결과를 유의미한 것으로 받아들이는 데에는 아직은 어려운 듯하다. 본고에서 살펴본 바와 같이, 동료 평가에 참여하는 평가자들은 피평가자가 ‘누구’인가에 따라 다른 평가 결과를 나타내었다. 피평가자의 이름이 노출되지 않았을 때 평가자들은 정확한 기준으로 평가를 하려고 하였으나 특히 피평가자가 자신과 사회적으로 친밀하다고 느낄 때에는 더 높은 평가 점수를 부여하였다. 피평가자의 이름을 바꾸어 노출시켰을 때 다른 평가 점수를 나타내었다는 실험 결과도 이를 뒷받침한다. 또한, 평가자의 이름이 노출될 경우에도 평가자들은 더 높은 평가 점수를 부여하였다. 이 역시 평가자가 피평가자와의 관계를 고려한 결과로 보인다.

동료 평가를 실제 ‘평가’의 목적으로 활용하기 위해서는 그것의 신뢰성이나 객관성을 저해하는 요소를 찾아내어야 한다. 본고의 내용을 바탕으로 더 추가적인 연구가 마련되어야 할 것이다.*

*이 논문은 2014년 10월 31일에 접수하여 2014년 11월 28일에 논문 심사를 완료하고 2014년 12월 5일에 게재를 확정함.