한국어 말하기 능력 구인 설정을 위한 기초 연구*

  • cc icon
  • ABSTRACT

    Chungsook Kim. 2014. Research on the Constructs of Oral Proficiency Tests in Korean: a case of discourse production tasks. Journal of Korean Language Education 25-4: 1-21. This study aims to establish the constructs of oral proficiency tests in Korean, which could contribute to development of a large-scale speaking test of Korean. Test tasks of this study are independent discourse production which is suited for semi-direct tests that maximize the practicality of the test while also examining the performance of test takers at an intermediate level. To achieve the goal, this study reviews theories and research related to the constructs of oral proficiency tests in Korean including theories based on communicative competence. This study also investigates and analyzes what kind of abilities an expert group of Korean language educators possess regarding constructs of oral proficiency by establishing their own beliefs about constructs of oral proficiency, then changing the constructs after listening to the utterances of test-takers. Based on this, it suggests seven abilities as constructs of oral proficiency in Korean: task ability, content ability, discourse ability, interaction ability, linguistic ability, sociolinguistic ability, pronunciation ability and delivery ability. (Korea University)

  • KEYWORD

    말하기 능력 , 구인 , 과제 수행 능력 , 내용 구성 능력 , 담화 능력 , 상호작용 능력 , 언어 능력 , 사회언어적 능력 , 발음 능력 , 구어 전달 능력

  • 1. 서론

    본 연구는 한국어 말하기 능력 평가 구인(construct) 설정을 목적으로 하며, 대규모 한국어 말하기 능력 평가 도구 개발을 위한 기초 연구의 성격을 갖는다. 구인 설정을 위한 문항 유형으로 시험의 실용성 확보를 위해 준직접 평가 방식에 적합한 일방향의 서술형 담화 도출 방식을 사용하며, 수험자의 숙달도는 중급으로 제한한다.

    1990년대에 시작된 한국어 말하기 능력 구인에 관한 연구는 초기에는 의사소통 능력 이론에 바탕을 두고 이루어졌으나 이후 과제 수행 능력을 비롯해 전달 능력, 상호작용, 순서 교대와 같은 구어 의사소통의 요소들을 말하기 능력의 구인에 포함시키는 연구로 이어지고 있다. 그러나 한국어 말하기 능력의 구인에 대한 연구는 여전히 구인 기반이나 이론 기반 연구의 수준에서 크게 벗어나지 못하고 있으며 구어의 특성이 반영된 구인 연구도 주로 대화 연구에 국한되어 그 연구 결과를 일방향의 말하기 능력을 평가하는 구인으로 활용하기는 어렵다.

    한국어 교육에서 말하기 평가의 중요성이 높아지고 국가 차원의 말하기 숙달도 시험에 대한 요구가 높아지고 있는 현 시점에서 대규모 말하기 평가를 염두에 둔 한국어 말하기 능력의 구인에 대한 논의가 절실하며, 본 연구는 그러한 논의의 출발을 제공할 수 있으리라 기대한다. 이에 본 연구에서는 의사소통 능력 기반 이론을 포함해 한국어 말하기 능력의 구인 도출에 참고할 수 있는 이론을 살피고, 외국어 및 한국어 말하기 능력 평가의 구인과 관련된 선행 연구를 검토한다. 그리고 한국어 능력 평가 전문가 집단을 구성해 주어진 평가 문항의 구인을 설정하도록 한 후 해당 문항에 대한 수험자 발화 자료를 들려주고 구인을 재설정해 보게 함으로써 한국어 능력 평가 전문가 집단의 구인에 대한 인식을 조사 분석한다. 이후 평가 이론 및 전문가 집단의 인식 조사 결과, 담화 분석 등을 종합해 한국어 말하기 능력 평가의 구인 설정을 시도하고자 한다.

    2. 말하기 평가를 위한 이론적 접근

       2.1. 의사소통 능력 기반 접근

    의사소통 능력 기반 접근은 인간의 언어 능력을 인간 내면의 정적 체계로 인식하여 언어 능력(linguistic competence), 의사소통 능력(communicative competence), 의사소통적 언어 능력(communicative language ability)과 같이 개념화하고, 각각의 능력을 구성하는 요소를 구인(construct)으로 설정해 이를 중심으로 언어 능력을 평가하는 접근법이다. 즉 의사소통 능력을 구성하는 성분이 무엇이고 각 성분이 언어 수행에서 어떠한 역할을 하는지에 관한 탐구를 바탕으로 한 평가 연구로 구인 기반 접근법이라 할 수 있다. 의사소통 능력 기반 접근은 개인의 내적 특성인 문법적 능력, 기능 수행 능력, 담화 구성 능력 등을 평가함으로써 인간의 의사소통 능력에 대한 추론이 가능하다고 본다. 따라서 수험자의 말하기 능력을 등급화하고 일반화시키기 위한 목적으로 평가를 실시할 때, 즉 평가를 통해 수험자가 가지고 있는 의사소통 능력을 추론하는 것을 목표로 할 때 구인에 초점을 둔 의사소통 능력 기반 평가가 유용하다.

    Canale(1983)Bachman & Palmer(1996), ACTFL의 숙달도(1999), 유럽공통참조기준(2001) 등은 인간의 언어 능력을 구성하는 구체적 구인은 다르게 보았으나 인간의 언어 능력을 개인의 내적 특성으로 파악했다는 점에서 공통된다. <표 1>은 대표적인 의사소통 능력/숙달도의 구인이다. Canale(1983), Bachman & Palmer(1996), 유럽공통참조기준(2001)에서는 언어 자체에 대한 지식과 맥락에 적절하게 이를 활용할 줄 아는 지식, 담화를 구성할 수 있는 능력 등을 언어 사용의 주요 구인으로 삼고 있다. 한편 ACTFL의 숙달도(1999)는 과제/기능 수행 여부를 주요하게 평가한다. 그러나 언어 숙달도를 과제 수행 자체로만 평가하는 것이 아니라 내용, 정확성, 담화 형태들을 통해 추론해 내므로 이것도 의사소통 능력 기반 접근의 하나로 볼 수 있다.

       2.2. 과제 기반 접근

    과제 기반 접근은 의사소통 능력 기반 모형이 언어의 실제 사용 측면을 도외시하고 인간의 내적 언어 능력만을 강조한 점을 비판하고, 실제 언어 사용 상황에서의 수행 능력을 평가함으로써 언어 능력을 정확히 측정할 수 있다고 보는 접근법이다. 이 접근법에서는 언어가 사용되는 맥락에서 수행 가능성이 높은 실제 의사소통 과제를 선정하여 수험자에게 수행하도록 하고 과제의 수행 정도에 따라 언어 사용 능력을 평가한다(Luoma, 2002:42).

    의사소통 능력 기반 접근이 일반적인 수험자의 언어 능력을 추론해 내는 데 적합하다면, 과제 기반 접근은 학문 목적이나 직업 목적과 같이 언어 사용 목적이나 환경이 분명한 수험자의 언어 능력을 측정하는 데 효과적이다. 그러나 평가 결과의 타당성을 확보하기 위해서는 평가 과제 수행 능력을 수험자의 해당 맥락에서의 언어 수행 능력으로 일반화시킬 수 있도록 과제를 설계하고 구성하는 것이 필요하다.

       2.3. 상호작용 능력 기반 접근

    상호작용 능력 기반 접근은 Kramsch(1986:367)의 상호작용 능력(interactional competence)에 바탕을 둔 것으로, 인간의 구어 능력은 의사소통 능력 기반 접근으로는 충분히 설명하지 못하며 의사소통에 참여하는 사람의 상호작용 능력을 포함할 때 온전히 설명된다고 보는 관점이다. 즉 인간의 언어 사용 능력은 개인이 가지고 있는 내적 말하기 능력만으로 구성되는 것이 아니라 말 순서 관리 능력이나 대화 협력, 재구조화 등의 전략적 능력 등이 포함된 상호작용 능력까지 포함해 구성된다는 것이다.

    강현주(2013:34)는 상호작용 능력을 특정한 담화에 참여한 사람들이 함께 역동적으로 담화를 구성해 나가는 능력으로 정의하고, 대화 참여자의 정체성, 언어 자원, 상호작용 자원을 활용해 상호작용 능력을 구현할 수 있으며, 상호작용 능력이 성공적으로 발휘되면 대화 참여자 간의 상호주관성을 획득하게 된다고 보았다. 상호주관성이란 담화 참여자들이 상호작용을 하는 과정에서 동일한 맥락을 만들고 동일한 의미를 구성해 나가며 획득하게 되는 공동의 인식이나 공감을 말하는 것으로, 소통의 성공에 중요한 역할을 한다.

    Hall(1993:145-166)은 대화에 필요한 다섯 가지 지식으로 화행 순서에 대한 지식, 특정한 어휘와 통사적 패턴에 대한 지식, 말차례 운용에 대한 지식, 주제 구성에 대한 지식, 담화 표지에 대한 지식을 들었고, Young(2008:32-54)은 상호작용 능력의 자원으로 정체성 자원, 언어 자원, 상호작용 자원을 제시하였다. 의사소통 능력 기반 접근이 인간 내적인 언어 능력만을 구인으로 설정했다면 이들은 구어의 특성인 상호작용에 필요한 자원들을 언어 능력의 구인으로 설정한 것이다. 3. 한국어 말하기 능력 평가의 구인 한국어 말하기 평가의 구인에 대한 연구로는 <표 2>의 내용들이 있다. 이들 연구는 주로 Canale(1983), Bachman & Palmer(1992), Bachman(1996), ACTFL OPI 가이드라인(1992, 1999) 등의 의사소통 능력 기반 접근을 구인 연구의 출발점으로 삼고 있다. 전은주(1997), 강승혜(2004), 김정숙 외(2013) 등의 몇몇 연구에서 상호작용, 전략적 능력(상황 파악 및 대처 능력, 전달 능력, 반응 능력), 전달 능력 등의 구어적 요소가 말하기 능력 평가의 구인으로 나타났다. 강현주(2013)에서는 의사소통 능력 기반 접근에서 벗어나 상호작용 능력에 기반해 말하기 구인을 설정해 구어 능력 평가에 새로운 시각을 제시하였다.

    3. 한국어 말하기 능력 평가의 구인

    한국어 말하기 평가의 구인에 대한 연구로는 <표 2>의 내용들이 있다. 이들 연구는 주로 Canale(1983), Bachman & Palmer(1992), Bachman(1996), ACTFL OPI 가이드라인(1992, 1999) 등의 의사소통 능력 기반 접근을 구인 연구의 출발점으로 삼고 있다. 전은주(1997), 강승혜(2004), 김정숙 외(2013) 등의 몇몇 연구에서 상호작용, 전략적 능력(상황 파악 및 대처 능력, 전달 능력, 반응 능력), 전달 능력 등의 구어적 요소가 말하기 능력 평가의 구인으로 나타났다. 강현주(2013)에서는 의사소통 능력 기반 접근에서 벗어나 상호작용 능력에 기반해 말하기 구인을 설정해 구어 능력 평가에 새로운 시각을 제시하였다.

    한국어 능력 평가를 위한 구인 연구가 초기의 의사소통 능력 기반의 구인 연구에서 벗어나 과제 수행 및 상호작용을 고려하는 연구로 발전해 온 것이 사실이다. 그러나 앞서 언급한 바와 같이 한국어 말하기 능력의 구인에 대한 연구는 방법론적으로 여전히 의사소통 능력 기반 접근에서 맴돌고 있고 새로운 이론을 통합한 구인 연구나 한국어 구어의 특성을 종합적으로 반영한 구인 연구는 미흡한 실정이다. 특히 구어에 대화와 같은 양방향의 활동뿐 아니라 서술형 담화와 같은 일방향의 활동도 포함되어 있는 만큼 양방향의 대화 구사력 평가에 초점이 맞추어졌던 이전의 연구에서 나아가 서술형 담화를 평가할 수 있는 구인 설정에 대한 논의가 요구된다.

    4. 서술 담화 문항 유형을 활용한 전문가 집단의 구인 설정

    한국어 말하기 구인 설정을 위한 실험은 두 단계로 실시되었는데, 그 내용은 다음과 같다.

    ○ 1단계: 중급 수준의 서술식 평가 문항을 개발해 평가자들에게 제시한 후 이들 문항에 대한 서술형 응답 자료를 평가할 때 무엇을 구인으로 삼아 평가할 것인지 구인의 종류와 평가 비중을 밝히도록 하였다.

    ○ 2단계: 1단계에서 제작한 평가 문항을 이용해 한국어 학습자 19인을 대상으로 인터뷰를 실시하였다. 그 후 다양한 특성이 반영된 발화 샘플을 문항 별로 4개씩(총 16개) 선정해 평가 전문가들에게 제공한 후, 이들 발화를 듣고 구인 설정을 다시 하고 구인별 평가 비중을 밝히며, 16개의 발화 샘플을 분석적으로 평가하게 하였다.

    평가에 참여한 전문가들은 모두 한국어교육학을 전공한 박사학위 소지자들로 이들의 평균 한국어교육 경력은 13년이다. 한국어능력시험(TOPIK) 채점에 참여한 평균 회수는 14.5회이고, ACTFL OPI 워크숍 참가 경험을 가진 평가자가 8인(공인 워크숍 5인, 비공인 워크숍 3인)으로 평가와 관련해 상당한 수준의 전문성을 확보한 집단이다.

    위 두 단계의 조사 과정에서 주목해 관찰할 내용은 다음과 같다.

    1) 평가자들 간에 구인이 얼마나 일치할까?

    2) 평가자 머릿속에 존재하는 구인과 응답 담화 분석을 거친 후의 구인은 달라질 것인가?

    3) 서술형 담화에서도 상호작용이 평가될 수 있는가?

    4) 발음과 어조의 정확성 및 자연스러움 이외에 구어의 특성과 관련된 구인이 드러나는가?

       4.1. 1차 구인 조사

    4.1.1. 평가 문항 개발

    먼저 구인 조사에 사용할 자료로 평가 문항을 개발하였다. 평가 문항은 준직접평가에 적합한 서술하기 유형의 문항으로 개발하였으며, 국제 통용 한국어교육 표준 모형(2011)의 등급 체계에 기대어 중급 수준에 해당하는 주제와 기능을 이용해 문항을 구성하였다.

    주제, 기능, 발화 맥락, 발화 단위를 중급의 특성에 맞게 설정하였고, 수험자의 한국어 사용 능력을 최대한 이끌어내고 상황적 실제성과 상호작용적 실제성을 최대한 확보하며, 평가 결과가 실세계에서의 의사소통을 추론할 수 있는 일반성을 가질 수 있도록 문항을 구성하였다(Ellis, 2003:304~308). 그리고 그 안에서 과제 수행 및 언어 전달에서의 유창성과 적절성, 정확성, 청자와의 상호주관성 확보 여부를 평가할 수 있도록 평가 문항을 설계하였다. 비록 평가 과제가 일방향의 서술형 담화 산출 과제이지만 구어적 상호작용 능력을 측정하기 위하여 실제 의사소통에서의 상호작용을 고려해 발화 상황을 설정하였으며 내용 구성에서 청자와의 공감대를 형성할 수 있는 맥락적 단서를 제공함으로써 청자를 감안한 발화를 산출할 수 있도록 하였다. 문항 개요는 <표 3>과 같다.

    4.1.2. 1차 구인 조사 및 결과

    평가에 참여한 11인의 평가자들에게 위의 평가 문항을 제공하고 각각의 문항을 평가할 때 사용할 구인의 내용과 평가 비중을 조사하였다. 그 결과 <표 4>와 같이 11인 중 2인의 평가자가 문항 번호에 관계없이 구인의 내용과 비중을 동일하게 설정하였고, 7인이 구인의 내용은 동일하게 하되 문항에 따라 평가 비중만 달리하였으며, 2인은 문항에 따라 구인과 평가 비중을 달리 설정하였다.

    ①~④ 중 구인이 가장 많이 도출된 문항은 ④이다. 본 연구는 서술형 평가의 구인으로 설정 가능한 구인을 탐색하는 것이 주요 목적이므로 가장 많은 구인이 도출된 문항 ④를 이용해 서술형 담화 평가를 위한 구인을 논의해 나가고자 한다. 문항 ④의 평가 목표는 조사 결과를 나타내는 그래프를 설명하고 해석할 수 있는 능력을 측정하는 것으로, 내용은 <그림 1>과 같다.

    <표 5>는 평가자들이 문항 ④의 응답 발화를 평가하는 데 필요하다고 응답한 구인과 그 비중을 밝힌 것이다. 11인의 평가자들이 구인으로 제시한 용어에는 차이가 있었으나 평가자들이 제공한 구인의 상세 기술을 참고해 ‘과제 수행 능력, 내용 구성 능력, 담화 능력, 언어 능력, 발음 능력, 구어 전달 능력, 사회언어학 능력, 상호작용 능력’으로 정리하였다2).

    평가자에 따라 구인의 구성과 구인별 평가 비중은 차이는 보이지만, 1차 조사 결과에서 다음과 같은 특징을 살펴볼 수 있다.

    1) 내용 구성 능력, 담화능력, 언어 능력, 발음 능력, 사회언어적 능력은 대부분의 평가자에게서 구인으로 설정되었다.

    2) 과제 수행 능력을 구인으로 설정한 평가자가 7인이었으나, 과제 수행 능력을 별도의 구인으로 설정한 평가자는 없었고 모두 내용 구성 능력과 묶어 하나의 구인으로 제시하였다. 이는 평가 과제가 주어진 주제에 대해 서술하는 과제로, 특정 기능 수행보다는 내용 구성의 특성이 강하기 때문인 것으로 판단된다.

    3) 3인의 평가자가 발음 능력 구인 안에 자모의 발음이나 억양, 속도와 같은 전통적인 발음 능력 이외에 발화 태도나 발화 속도 조절, 발화 목적에 맞는 강조나 반복 전략 구사 등을 포함시켜 구인을 설정하였다.

    4) 평가 대상이 일방향의 서술형 담화임에도 불구하고 5인의 평가자가 상호작용 능력을 구인으로 설정하였다.

       4.2. 인터뷰 자료에 근거한 2차 구인 조사 및 결과

    4.2.1. 인터뷰를 통한 평가 담화 자료 수집

    전문가들에게 제공할 평가 담화 자료를 얻기 위해 위에서 제시한 평가 문항을 이용해 ‘ㄱ’ 대학교 한국어교육기관의 3,4,5급에 재학 중인 학습자 19인을 대상으로 인터뷰를 실시하였다. 인터뷰 방식은 평가자가 수험자 1인씩 대면 평가를 하는 방식을 취하였으며, 수험자에게 수행해야 할 과제에 대한 질문을 하는 것 이외에 어떠한 대화 주고받음도 일어나지 않았다.

    4.2.2. 2차 구인 조사 및 결과

    평가자들에게 4개의 문항에 응답한 발화 샘플 4개씩, 총 16개를 주고 이것들을 들은 후 구인을 재설정해 보도록 하였다. 그 결과를 1차 구인 조사 결과와 비교해 볼 때 큰 변화는 없었다. B, C, E, G, H, K 평가자는 구인의 내용과 평가 비중 모두에 변화가 없었고, A, I, J 평가자는 구인에는 변화가 없었으나 평가 비중에 일부 변화가 있었다. D, F 평가자는 구인과 평가 비중에 변화가 있었는데, 1차 조사에서 언어 능력을 구인으로 설정하지 않았던 D 평가자는 2차 조사에서 언어 능력을 구인으로 추가하였고(30%의 비중) 나머지 구인의 비중을 하향 조정하였다. F 평가자는 2차 조사에서 담화 능력을 구인으로 추가하였다.

    위의 구인을 내용 범주와 언어 형식 범주로 구분하면 과제 수행 능력, 내용 구성 능력, 담화 능력, 상호작용 능력은 내용 범주로, 언어 능력, 발음 능력, 구어 전달 능력, 사회언어적 능력은 언어 형식 범주로 묶을 수 있다. 구인에서 내용 범주와 언어 형식 범주의 비중이 E와 J 평가자 2인을 제외한 A, B, C, D, F, G, H, I, K 평가자에게서 50±10%의 분포로 나타나 대부분의 평가자가 내용과 언어 형식 간에 균형 있는 평가를 지향하고 있음을 알 수 있다.

    4.2.3. 평가자별 결과 차이

    <표 8>은 ④번 문항에 대한 4인의 수험자의 응답 담화를 평가한 결과이다. 앞의 <그림 1>에서 설명한 바와 같이 ④번 문항의 평가 목표는 조사 결과를 나타내는 그래프를 단순하게 설명하는 것이 아니라 화자가 청자와 공유하고 있는 사회문화적인 정보를 활용해 그래프를 해석할 수 있는 능력의 유무를 측정하는 것이다.

    이 문항에 대한 평가 결과는 <표 8>과 같다. 본 절에서는 A~K 평가자의 점수 평균과 평가자별 점수를 비교해 보고, 특이점이 나타나는 평가 결과의 구인별 평가 점수를 확인해 봄으로써 특정 평가 요소의 구인으로서의 설정 가능성에 대해 논의하고자 한다.

    평균 점수로 보았을 때 응답 4, 응답 2, 응답 3, 응답 1의 순서로 높은 점수를 받았다. 그런데 평가자별 점수를 비교해 볼 때 흥미 있는 결과가 눈에 띈다. <표 9>를 통해 확인할 수 있듯이 응답 2와 응답 3을 비교해 보면 응답 2의 내용과 언어 수준은 유창성, 정확성, 다양성, 정밀성 등에서 응답 3에 비해 높다. 응답 2는 I 평가자를 제외한 10인의 평가자들로부터 가장 높은 점수거나 두 번째로 높은 점수를 받았다. 그런데 흥미로운 점은 응답 3이 B와 J 평가자로부터 가장 높은 점수를 받았으며, D와 I, K 평가자로부터도 두 번째로 높은 점수를 받았다는 것이다. 이는 평가자 B, C, D, I, J가 상호작용 능력을 말하기 담화 평가의 구인으로 설정한 것과 연결 지어 살펴볼 때 설명이 가능하다.

    <표 9>는 응답 2~응답 4의 내용을 전사한 내용이다. 구인을 어떻게 설정하느냐에 따라 평가 결과가 크게 달라질 수 있는 단서를 이 자료에서 찾아볼 수 있다.

    응답 3은 응답 2에 비해 내용 구성과 언어 구사의 유창성, 정확성, 다양성, 정밀성 등에서 낮게 평가된다. 응답 3은 전사 자료에서도 드러나지만 실제 음성 자료에서는 부정확한 언어의 사용과 말더듬기와 반복의 양상이 두드러지게 나타난다. 그럼에도 불구하고 응답 3에 응답 2보다 높은 점수를 부여한 평가자가 3인인데, 이들은 모두 상호작용 능력을 구인으로 설정한 평가자들이다. 평가자 D와 K도 응답 2와 응답 3에 같은 점수를 부여하였는데, 평가자 D도 상호작용 능력을 구인으로 설정한 평가자이다. 응답 2가 그래프에 있는 내용을 단순히 설명한 담화라면 응답 3은 화자가 청자와 공유하고 있는 정보(밑줄 부분)를 활용해 청자와의 공감대를 형성하고 이에 근거해 그래프를 보다 분석적으로 설명한 담화임을 알 수 있다. 가장 높은 점수를 받은 응답 4에서도 화자가 청자와 자신이 공유하고 있는 정보를 활용해 과제를 수행한 내용을 확인할 수 있다.

    1)수험자에게 주어진 시간은 30초(① 문항)와 1분(②~④ 문항)임.  2)각 구인에 대한 평가 내용은 다음과 같다. ○ 과제 수행 능력: 요구된 내용과 기능을 잘 수행하는가? ○ 내용 구성 능력: 내용을 다양하고 풍부하게 구성하는가? ○ 담화 능력: 조리 있고 일관성 있게 이야기를 구성하는가? 내용 제시 및 전개에 결속 장치나 전형적인 표지들을 잘 활용하는가? ○ 언어 능력: 어휘, 문법을 다양하고 적절하고 정확하게 사용하는가? ○ 발음 능력: 발음, 억양, 말의 속도가 적절하고 자연스러운가? ○ 구어 전달 능력: 발화 목적에 맞게 강조, 반복, 도치, 발화 속도 조절과 같은 전략을 구사하는가? ○ 사회언어적 능력: 발화 맥락에 대한 이해를 바탕으로 적절한 언어 격식을 사용하는가? ○ 상호작용 능력: 청자 문화에 대한 이해 등을 바탕으로 청자와의 공감, 청자의 흥미 유발이 가능하도록 설득력 있게 발화하는가?

    5. 말하기 능력 평가 구인 설정

    2장에서 살펴본 이론 기반 접근과 과제 기반 접근, 그리고 실제 평가 자료를 활용한 구인 추출은 배타적인 것이 아니다. 본 장에서는 앞에서 논의한 것을 종합해 한국어 말하기 서술 담화 평가 구인 설정의 방향을 제시하면 다음과 같다.

    첫째, 한국어 말하기 서술 담화를 평가할 때에는 의사소통 능력 기반 모형의 주요 구인인 내용 구성 능력, 담화 능력, 언어 능력, 발음 능력, 사회언어적 능력과 과제 기반 모형의 핵심인 과제 수행 능력이 주요 구인으로 설정되어야 한다. 다만 주제 중심의 서술형 담화를 평가할 때에는 과제 수행 여부가 주로 내용 중심으로 평가되기 때문에 과제 수행 능력을 내용 구성 능력과 구분하지 않고 하나의 구인으로 묶어 평가할 수 있다. 그러나 설득하기나 주장하기와 같이 특정 기능을 수행하는 과제가 평가 과제로 주어질 경우는 과제 수행 능력과 내용 구성 능력을 별개의 구인으로 나누어 평가해야 한다.

    둘째, 일방향의 서술 담화라 할지라도 화자와 청자가 존재하고 발화가 이루어지는 맥락의 특성이 있는 만큼 의사소통 행위로서 말하기가 갖는 역동성이나 실제성이 강조되어야 한다. 즉 서술형 말하기 담화 산출 시 청자와 맥락에 대한 이해가 발화 생성에 영향을 미치며 화자와 청자 간의 상호주관성 확보를 통해 의사소통의 효과가 제고되므로 상호작용 능력이 서술형 담화 평가에서도 중요한 구인으로 설정되어야 한다.

    셋째, 서술형 담화 평가가 청자를 염두에 둔 구어 능력을 평가하는 것인 만큼 발음의 정확성이나 자연스러움만을 평가하는 데서 그쳐서는 안 되고, 발화 태도, 반복과 머뭇거림, 발화 속도 조절, 강조 및 반복 전략 구사 등 의미 전달에 영향을 미치는 구어적 요소도 구인에 포함되어야 한다. 그런데 실험에 참가한 11인의 평가자 중 1인만이 구어 전달 능력을 발음 능력과 구분해 구인으로 설정하였고, 4인은 구어 전달 능력을 구인으로 설정할 필요는 있으나 발음 능력 구인에서 함께 평가할 수 있는 것으로 보았다. 이는 발음과 구어 전달 능력을 명확히 구분하기가 어렵다는 점과 두 능력을 통합해 평가할 때 평가의 실용성이 높아지는 점을 고려했기 때문으로 보인다. 엄격히 구분하자면 발음 능력과 구어 전달 능력은 분리되어야 하나 평가의 실용성을 고려할 때 구어 전달 능력을 발음 능력 구인 안에서 평가하는 것이 현실적이다.

    이상의 논의를 종합해 한국어 말하기 서술 담화의 구인으로 <표 10>과 같이 과제 수행 능력, 내용 구성 능력, 담화 능력, 상호작용 능력, 언어 능력, 사회언어적 능력, 발음 능력을 설정할 수 있다. 평가자들을 대상으로 한 조사 결과를 바탕으로 볼 때 과제 수행 능력, 내용 구성 능력, 담화 능력, 상호작용 능력으로 이루어진 내용 범주와 언어 능력, 발음 능력, 사회언어적 능력으로 이루어진 언어 범주의 비율은 50:50 정도가 적정 수준으로 판단되나 이에 대해서는 보다 많은 연구가 필요하다.

    6. 결론

    본 연구에서는 일방향의 서술형 담화를 평가하기 위한 구인 설정을 위해 세 가지의 이론을 살펴보고 한국어 능력 평가 전문가 집단의 구인 설정과 실제 평가 결과를 통해, 평가 이론에서의 구인을 한국어 말하기 능력 평가에 어떻게 활용할 수 있을지 모색하였다. 본 연구는 서술형 한국어 말하기 능력 평가 구인 설정을 위한 하나의 시론으로 여기서 도출된 구인을 서술형 말하기 능력 평가를 위한 구인으로 일반화할 수 있을지, 대화와 진술의 구인을 통합적으로 설정할 수 있을지, 말하기 숙달도에 따라 구인 설정은 어떻게 달라져야 할지 등이 의문으로 남는다. 향후 구어 구인에 대한 상세화 및 과제에 따른 구인별 평가 비중에 대한 연구들이 이루어져야 할 것이다.

  • 1. 강 현주 (2013) 한국어 말하기 평가의 구인으로서 상호작용능력 연구 google
  • 2. 김 상수 (2008) “한국어 학습자 발화의 유창성 판단에 관한 연구” [한국어 교육] Vol.19 P.75-90 google
  • 3. 김 상수, 권 경근 (2011) “담화 분석을 통한 한국어 말하기 평가 연구” [한국어학] Vol.53 P.25-33 google
  • 4. 김 유정 (1999) 한국어 능력 평가 연구 google
  • 5. 김 정숙, 원 진숙 (1993) “한국어 말하기 능력 평가기준 설정을 위한 연구” [이중언어학] Vol.10 P.24-33 google
  • 6. 김 정숙, 이 동은, 지 현숙, 김 유정, 진 대연 (2006) “한국어 말하기 능력 평가를 위한 기초 연구 및 평가 모형 개발” 최종 보고서 google
  • 7. 김 정숙, 이 정희, 장 은아, 이 준호 (2010) “한국어능력시험 체제 개선 연구” google
  • 8. 김 지영, 강 현주 (2013) “한국어 말하기 과제의 상호작용적 실제성 연구” [이중언어학] Vol.42 P.19-44 google
  • 9. 김 한란 (2007) 언어 학습, 교수, 평가를 위한 유럽공통참조기준( 유럽평의회 편) google
  • 10. 박 성경, 송 향근 (2009) “한국어 듣기?말하기 성취도 평가에 관한 연구” [우리어문연구] Vol.30 P.300-325 google
  • 11. 윤 은경 (2008) “말하기 숙달도 평가에 대한 논평” [“말하기 숙달도 평가에 대한 논평”,] Vol.19 P.169-193 google
  • 12. 이 동은 (2009) “한국어 말하기 숙달도 시험의 고찰을 통한 말하기 과제의 개발 방안” [한민족어문학] Vol.54 P.223-248 google
  • 13. 이 영식 (2004) “한국어 말하기 시험의 유형 및 채점 기준 설정을 위한 기초 연구” [한국어교육] Vol.15 P.209-230 google
  • 14. 이 정희 (2010) [한국어교육] Vol.21 P.183-204
  • 15. 이 준호 (2008) “한국어 수행평가의 원리 및 방안 연구” google
  • 16. 전 나영 (2007) “한국어 말하기 능력 평가 도구 개발 연구” [외국어로서의 한국어교육] Vol.32 P.259-338 google
  • 17. 전 은주 (1997) “한국어 능력 평가” [한국어학 6] google
  • 18. 지 현숙 (2004) “한국어능력 평가에서의 의사소통 문화기술학의 적용” [이중언어학] Vol.26 P.355-369 google
  • 19. 지 현숙 (2005) [국어교육연구] Vol.16 P.79-114
  • 20. 지 현숙 (2006) 한국어 구어문법과 평가 Ⅰ: 이론편. google
  • 21. (1999) ACTFL Oral Proficiency Interview Tester Training Manual google
  • 22. (1996) Language Testing in Practice google
  • 23. (2010) Language Assessment in Practice google
  • 24. Brown H. D. (2004) Language Assessment: Principles and Classroom Practice google
  • 25. Bygates M. (2009) "Teaching and Testing Speaking.", The Handbook of Language Teaching(ed. Long and Doughty) google
  • 26. Canale M. (1983) From communicative competence to communicative pedagogy, In J. C. Richards and R. Schmidt(eds.), Language and communication google
  • 27. Ellis R. (2003) Task-based Language Learning Teaching google
  • 28. Hall J. K. (1993) The role of Oral Practice in the Accomplishment of Our Everyday-lives [Applied Linguistics] Vol.14 P.145-166 google
  • 29. Kramsch C. (1986) From Language Proficiency to Interactional Competence [The Modern Language Journal] Vol.70 P.366-372 google
  • 30. Luoma S. (2004) Assessing Speaking google
  • 31. McNamara T. Measuring second language performance google
  • 32. McNamara T. (2000) Language Testing google
  • [<표 1>] 의사소통 능력/숙달도의 구성 요소
    의사소통 능력/숙달도의 구성 요소
  • [<표 2>] 한국어 말하기 능력의 구성 요소
    한국어 말하기 능력의 구성 요소
  • [<표 3>] 평가 문항 개요
    평가 문항 개요
  • [<표 4>] 1차 조사의 구인 및 평가 비중
    1차 조사의 구인 및 평가 비중
  • [<그림 1>] 문항 ④의 내용
    문항 ④의 내용
  • [<표 5>] 평가자 대상 1차 구인 조사 결과(④번 문항)
    평가자 대상 1차 구인 조사 결과(④번 문항)
  • [<표 6>] 평가자 대상 2차 구인 조사 결과(④번 문항)
    평가자 대상 2차 구인 조사 결과(④번 문항)
  • [<표 7>] 1?2차 구인 조사에 나타난 내용과 언어 형식 평가 비율(④번 문항)
    1?2차 구인 조사에 나타난 내용과 언어 형식 평가 비율(④번 문항)
  • [<표 8>] ④번 문항 응답에 대한 평가 결과
    ④번 문항 응답에 대한 평가 결과
  • [<표 9>] ④-2, ④-3, ④-4 응답 전사 자료
    ④-2, ④-3, ④-4 응답 전사 자료
  • [<표 10>] 한국어 서술형 담화 평가를 위한 구인
    한국어 서술형 담화 평가를 위한 구인