검색 전체 메뉴
PDF
맨 위로
OA 학술지
참여와 공유의 정신을 구현한 스마트시대의 이러닝 학습 모델 QBS QBS, the Smart e-learning Model
  • 비영리 CC BY-NC
  • 비영리 CC BY-NC
ABSTRACT

본 논문은 스마트시대 이러닝 운영 현황의 한계점을 분석하고 인터넷 정신을 접목한 개선방안을 제시하여 그 효과를 실증적으로 분석하였다. 대학에서 활용되는 이러닝 클래스의 운영방식에 대하여 중점적으로 논한다. 오프라인 클래스의 운영모델을 온라인 환경에 원용함으로 인해 발생하는 부작용 등을 통계적으로 확인한다. 특히 시간이라는 정량적 개념이 온라인 학습에서 참여확인을 위해 활용되고 있는 이러닝 모델의 현실적, 기능적 한계를 구체적으로 분석하였다. 이에 대한 개선안으로 인터넷의 태생적 특징인 참여, 개방, 공유의 정신을 이러닝에 접목시킬 수 있는 방안으로 QBS시스템을 개발, 제안한다. 학습자가 주도적으로 문제를 만들어 학습 자료로써 공유하는 QBS를 실제 이러닝 현장에 적용하여 학습자의 행동양상을 분석한다. 결과적으로 이러닝 학습 환경에서 학습자 참여형 모델이 학업 성취도에 유의미한 영향이 있음을 확인함으로써 스마트시대의 새로운 이러닝 모델의 개선방향을 제시한다.


This study analyze Online class’s current condition in Smart era. And suggest better operation model based on Internet Architecture. This study focuses the condition of e-learning operation model in University online class. Especially, 'Time Check Idea' that using for attendance on e-learning class has some side effects. So this study would applied 'Qualitative Check Idea Concept' on e-learning class. Question Based System, QBS is example model. QBS is leading a Learner’s participation in e-class by Making Quiz. These quizs are shared with other students and refer to studing contents. Practically operating Qualitative Concept model QBS on university e-class, we can seek for the effectiveness of Qualitative e-learning model QBS.

KEYWORD
QBS , 이러닝 , 웹2.0 , 웹3.0 , 참여형 학습
  • Ⅰ. 서 론

    최근 교육계에서는‘Education 3.0’의 논의가 활발히 진행되고 있다[1]. Education 3.0은 21세기의 새로운 교육 패러다임으로써, 광의의 Education 2.0 이후의 교육 패러다임을 지칭한다. 특히 협력을 통한 학습, 학습자의 수준에 적합한 교육이나 학습 컨텐츠의 지속가능한 활용 모델 등 더 효율적인 교육 방식을 개념화한다. 세계적으로도 ‘Education 3.0’ 논의에 발맞추어 교육정보화에 힘쓰고 있는 추세이다. 대학 강의를 일반대중에 공개하거나[2], 문제풀이, 토론 위주의 강의를 진행하는 등 다양한 시도가 이루어지고 있다. 미국의 MIT대학에서는 오픈코스웨어(OCW)라는 프로그램을 통해 강의를 대중에 공개하고 라이센스를 발급하는 등 대학 지식의 보편화를 위한 노력을 하고 있다[3]. 변화의 움직임들이 새로운 교육 패러다임을 구축하는 방향으로 나아가고 있다. 이러한 교육 트렌드의 변화의 방향에는 몇가지 공통점이 있다. 바로 컨텐츠의 공유와 개방을 지향하는 점이다. 이는 인터넷 탄생의 원칙과 많이 닮아 있다. 인터넷의 태동기 배경에 있어서 가장 주요한 원칙은 참여, 공유, 개방의 원칙이었다. 연구자들의 성과물을 공유하고, 누구나 참여할 수 있으며 공동의 지식공유를 지향하는 이 방식은 인터넷의 급격한 성장의 견인차 역할을 하였다.

    국가 정책적으로도 이러닝 산업의 발전을 위한 가이드라인이 발표되고 있다. 1,2차에 걸친 이러닝 산업발전법의 발표를 통해 이러닝 산업의 양적인 팽창에서 질적인 성장을 이룰 수 있도록 유도하고 있다. 특히 공급자 중심에서 수요자의 니즈를 반영한 새로운 이러닝으로의 전환을 요점으로 하는 부분에서는 이러닝 환경에서 교육 수요자인 학습자의 행동양상의 변화가 필요함을 알 수 있다. 따라서 Education 3.0의 패러다임 전환시대에 온라인의 기조인 참여와 소통의 효과를 불어넣은 새로운 방식의 학습모델이 필요함을 의미한다.

    본 연구에서는 대학의 이러닝 운영 현장에서 직접 데이터를 수집하였다. 또한 인터넷의 태생적 특성을 이러닝에 부합시킬 수 있는 이러닝 플랫폼 연구 모델을 개발하고 그 효과를 실증하기 위한 실험을 진행하였다. 이러닝 운영 모델에서 학습자에게 학습정책적인 제한을 최소화함으로써 실제적인 이러닝 클래스에서 학습자의 자연적인 행동양상을 파악하고자 하였다. 이로써 기존의 이러닝 학습 모델의 의도와 실제 양상을 비교한다. 또한 학습자 입장에서의 이러닝 클래스에 대한 인식을 파악하기 위해 학습자 커뮤니티의 자료를 수집하였고, 학습자의 이러닝 학습 행동양상을 파악하기 위해서는 온라인 로그 기록 파일을 통계적으로 분석하였다. 나아가 이러닝 클래스의 온라인 학습 플랫폼화를 통하여 학습자가 정보 생성에 참여하고 공유할 수 있도록 하려는데 목적을 두었다.

    마지막으로 QBS시스템[4]을 개발하여 학습자 참여를 유도하고 그 행동양상을 구체화 하였다. QBS는 ‘Quiz’를 도구로 하여 집단지성을 발현하게 함으로써 학습자간의 참여와 공유를 이루게 하는 플랫폼이다. 나아가 ‘Quiz’라는 수단이 학습 참여용 도구로써 적합한지 여부를 학습자 입장에서의 피드백 응답을 조사하여 그 효용을 조사하였다.

    Ⅱ. 선행 연구와 시사점

       2.1. 선행연구

    인터넷 네트워크를 활용한 웹기반 수업이 이루어지는 이러닝에서의 학습자 참여와 학업 성취도와의 관계에 대한 수많은 논의가 있다. 김정겸(2009)은 위키 기반의 프로그래밍 수업에서 자율적인 학습참여활동에 관한 연구를 진행하였는데, 주로 학습자들은 읽기 활동을 중심적으로 학습한다고 주장하였다[5]. 또한 우리나라 교육에서 성공적인 학습참여를 이끌어 내기 위해서는 학습자들의 동기를 고려하는 교수전략을 구안하여야 한다고 강조한다. 대부분의 학습법관련 연구들이 교육의 공급자인 교수자의 시각에서 논의되고 있는 점을 보았을 때, 교육의 수요자인 학습자의 시각을 고려한 방안이 필요하다고 볼 수 있다. 이와 관련하여 박상훈(2000)은 사전 동기가 낮은 학습자들에게 개별 메시지를 제공하는 것이 학습동기에 긍정적인 영향을 준다고 주장한다[6]. 반면 같은 연구에서 사전동기가 높았던 학습자들에게는 개별 메시지 제공이 오히려 부정적인 영향을 미친다는 점을 보았을 때, 개별 메시지 제공보다 더 일반적으로 활용될 수 있는 방안이 필요한 것으로 판단할 수 있다.

    김재영(2012)는 집단지성의 동인에 관한 연구에서, 우리나라의 문화적 측면을 고려하여 보았을 때 대중이 집단지성에 참여하는 이유는 공동체에 대한 구체적인 기여를 선호하기 때문이라고 주장하였다[7]. 또한 집단 지성에의 기여를 통해서 공동체 의식을 느끼며 유대감을 강화하는 특성을 보인다고 하였다. 따라서 학습자의 참여를 이끌어내기 위해서는 기여의 성과물을 함께 나눌 수 있는 ‘공유’의 특성을 띄어야 한다고 판단할 수 있다. 박성익/김연경(2006)는 온라인 학습의 학습동기 중에서 학습자 상호작용 관련 요인이 학습 성취도에 유의미한 영향을 준다고 밝혔다[8]. 장재경/김호성(2009)은 이러닝 환경에서 소셜네트워크를 이용하여 학습자가 컨텐츠를 생성하는 시스템을 통해 이러닝에서 자기 주도적 학습을 성취할 수 있는 모델을 제시하였다[9]. 같은 맥락의 연구로 최용훈/오상철/김성완(2010)은 온라인 학습에 위키 시스템을 도입하여 학습자의 참여도를 이끌어내는 연구를 진행하였다[10]. 이 연구에서 학습자는, 정확한 답이 존재하지 않아 학습자간의 상호작용으로 최선의 답을 도출해야하는 문제해결형과제나 토론학습형 과제에 비해 비교적 명확한 답이 존재하는 지식학습형 과제에 가장 적극적으로 학습자가 참여하고 활동하였다는 결론을 내렸다. 자율적인 선택권이 주어진 환경에서 학습자들은 최선의 해결책을 찾는 활동보다는 명확한 해결책이 있는 활동을 선호하는 것으로 볼 수 있다.

    인터넷 탄생의 특징은 ‘참여, 공유, 개방’ 라는 개념으로 정리할 수 있다. 인터넷 개발 커뮤니티에서는 RFC (Request for Comment)라는 방식이 주로 활용되었는데, 이것은 네트워크 개발 커뮤니티의 의사소통의 방식이었다. 이 방식에 인터넷 탄생의 원칙인 참여, 공유, 개방의 원칙이 담겨 있다. RFC는 프로젝트 연구의 참여에 있어서 누구나 가입을 할 수 있고 주제에 관한 어떠한 논의도 자유롭게 할 수 있는 모임이었다. 특히 RFC의 공개된 정보에는 누구나 접근할 수 있었고, 기술적 자료 또한 모두 공개가 되었으며 누구나 참여하여 정보 데이터베이스에 기여할 수 있었다. 이러한 방식은 전통적인 방식에 비해 신속하고 창의적이었기 때문에 대학에나 기업에서도 활발하게 퍼져 나갔다.

    이 원칙들은 인터넷의 정량적인 확장뿐만이 아니라 정성적인 발전에도 기여하였다. 최근에 널리 퍼져 활용되고 있는 집단지성 개념이나 Web2.0 개념 역시 인터넷 탄생의 특징에 그 뿌리를 두고 있다고 볼 수 있다.

    Tim O’Reilly(2005)는 2000년대 초 미국의 닷컴버블 위기때 살아남은 IT기업들의 공통점을 분석하고 그 특성들을 Web2.0이라고 명명하였다[11]. 성공적인 인터넷 기업들은 대부분 이용자들의 참여를 기반으로 하고 있다는 특징을 보였다. 이러한 모델들의 공통전인 전략으로 집단지성을 발현했다는 점과 Folksonomy 체계를 활용했다는 점인데, 이 개념들 역시 이용자의 참여를 기반으로 하고 있다.

    이러닝 역시 인터넷 네트워크를 기반으로 하는 온라인 환경에서 이루어지고 있다. 따라서 이러닝 운영에 있어서도 인터넷의 특성을 온전히 활용하는 것이 적합하며 개방, 참여, 공유 개념을 이러닝 학습에 활용할 수 있는 방안이 필요하다고 볼 수 있다.

       2.2. 시사점

    이러닝 학습이 보편화 되며 온라인 학습에 관한 여러가지 연구 결과들이 있다. 이러닝 환경에서 학습자의 적극적 참여와 학습 성취도를 효과적으로 만족시키기 위한 연구결과들을 종합하면 다음과 같다.

    첫째, 학습자의 자발적 동기를 유발할 수 있는 참여 방안이 필요하다. 학습에 있어 외부에서 비롯되는 동기가 아닌 학습자 내적에서부터 유발되는 동기가 더 효과적임을 알 수 있다. 따라서 교수자가 일방적으로 학습내용을 제공하는 것보다 학습자가 자발적으로 참여할 수 있는 방안이 모색되어야 한다.

    둘째, 학습자의 시각을 고려한 방안이 필요하다. 대부분의 연구결과들이 교육 공급자인 교수자의 입장에서 논의되어 왔다. 또한 교수자의 입장에서 학습자의 인식을 판단하고 학습 모델을 제공하려는 시도들이 많았다. 이런 고정관념에서 탈피하여 실제적인 학습자의 행동양상과 교육 수요자의 입장을 고려한 학습모델이 필요하다.

    셋째, 학습자의 상호작용을 통한 활동과 그 성과가 공유되어야 한다. 온라인 클래스에서 학습자의 단순 참여만 유도하는 것에서 벗어나, 상호작용을 통한 성과가 집단 내에서 재공유되는 것이 학습자의 참여 동기를 더욱 유발할 수 있다.

    넷째, 학습자의 적극적인 참여를 이끌어 내기 위해서 최선의 해결책을 찾는 활동보다 명확한 해결책이 있는 활동으로 유도하여야 한다. 개개인의 의견을 이끌어내는 정성적인 과제 혹은 최선의 답을 도출해내는 과제보다, 명확한 답이 존재하는 과제가 학습자들이 더욱 적극적으로 참여하는 행동양상을 보았을 때, 강의컨텐츠의 학습 개념을 복습할 수 있는 과제 등 구체적인 학습활동 모델이 필요하다고 볼 수 있다.

    Ⅲ. 현행 이러닝 운영 모델 분석과 시사점

       3.1. 현행 이러닝 운영 모델의 사례

    본 연구에서는 인천 소재 I 대학 교양 교과목 이러닝을 모델로 하였다. I 대학의 이러닝 클래스의 경우 매 주차별로 정해진 컨텐츠를 1주일의 기간 내에 자유롭게 수강할 수 있게 되어 있다[12]. 온라인상에 업로드되어 있는 학습 컨텐츠에 일정시간 이상 접속하고 있으면 출석확인이 이루어지는 방식으로 학습자의 학습참여를 확인하고 있다. 또한 학습컨텐츠를 멀티미디어로 구성하여 시청각 자료와 동영상 자료를 제시함으로 학습내용의 효과적인 전달을 의도하고 있다.

    하지만 이러한 이러닝 운영 시스템에는 몇 가지 맹점이 존재하고 있었다. 교수자 입장이 아닌 학습자 입장에서 이러한 운영 시스템이 어떻게 받아들여지고 과연 이러닝 클래스에서 의도한 바대로 효과적으로 적용되고 있는지 확인할 필요가 있다.

    첫째, 시간을 통하여 학습자의 학습 참여도를 측정하는 기존의 이러닝 출석인정 방식에 대한 효용성이다. 학습자가 온라인 컨텐츠에 접속한 시간을 학습참여의 기준으로 판단하는 방식은 양면성이 있다. 학습동기가 낮은 학습자의 경우에는 컨텐츠에 접속만 하여 놓고 다른 PC업무를 본다던지, 복수개의 컨텐츠에 동시 접속하여 일시에 출석인정을 받는 등의 사례가 발생할 수 있다.반대로 학습동기 높은 학습자의 경우는 주도적인 학습을 하고도 정보통신망의 오류나 여타의 오류로 인하여 학습인정을 받지 못하는 경우도 발생할 여지가 생긴다.

    오프라인 클래스에서 활용되던 출석참여확인 방식을 온라인 클래스에서도 원용함으로 인하여 발생하는 현상이다. 온라인 클래스의 비대면적인 특성이 이러닝 학습을 학습자의 자율성에 의존을 하게 함으로 인해 현상으로 몇 가지 부작용이 발생하게 된다.

    온라인 시험은 감독관 없이 학습자가 이러닝 클래스에 접속해서 시험을 치르게 된다. 이러한 점을 악용하여 여러 명의 학습자가 부분적으로 학습을 하고 모여서 시험을 본다든지 하는 부정행위가 발생한다. 이에 성실하게 학습을 하고 정당하게 평가를 받으려는 학습자는 역차별을 받을 수 있다. 오프라인 클래스와 온라인 클래스는 그 환경과 채널의 특성이 태생적으로 다름에도 불구하고 같은 잣대를 적용하다 보니 발생하는 문제이다. 송상호(2000)는 이러닝의 시공간을 초월한 비대면적 특성이 개인의 심리적 고립감을 유발하여 학습의 동기를 저하시킨다고 설명하였다. 따라서 온라인학습에서 정량적인 시간을 통해 학습도를 측정하는 방법에 대한 실증적 분석을 해보기로 한다.

    둘째, 이러닝에서 제공하는 멀티미디어 컨텐츠의 효용성이다. 실제 학습자들에게 있어서 이러닝의 멀티미디어 컨텐츠가 그 역할을 충실히 하고 있는지에 대한 의문이다. 인터랙티브한 환경과 화려한 설명, 시청각 자료를 활용하여 학습의 이해도를 더 높이는데 장점이 있는 것으로 알려진 온라인 멀티미디어 컨텐츠는 사실 그 쓰임새가 적절히 활용되지 않고 있는 것으로 보인다.

    학습자들은 이러닝 학습을 하는데 있어서 온라인의 멀티미디어 컨텐츠보다 인쇄된 물리적 자료를 선호하고 있었다. 그 수요가 많아 교내 복사실 등지에서 인쇄된 이러닝 컨텐츠를 비공식적으로 유통한다든지, 강의를 앞서 들었던 선배들에게 강의 자료를 물려받는 다든지 하는 경우가 많았다. 따라서 온라인 학습에서 멀티미디어 컨텐츠가 충분히 제공되고 있음에도 불구하고 여전히 실제적 학습자료로써 인쇄 학습 자료의 쓰임새가 학습자료로써 활발하게 활용된다는 점을 알 수 있다. 이러닝 학습에서 학습자의 참여를 이끌어내는 여러 가지 논의와 방법이 활용되고 있다. I 대학의 이러닝 클래스의 경우에는 온라인 강의 컨텐츠 챕터마다 문제 형식의 개념 정리 도구를 활용하고 있다. 질문과 5지선다형의 구성으로 되어 있는 문제라는 틀은 학습자에게 학습 개념 정리나 복습의 차원에서 유용하게 쓰이고 있다.

    나아가 대학 현장에서는 매학기 반복되는 수업의 특성상 시험문제가 비슷한 맥락으로 출제되는 점에 착안하여 지난 학기의 기출문제가 시험을 앞둔 학습자들에게 학습 자료로써 활발하게 쓰이고 있다. 기출문제는 문제 형태를 띈 학습자료인 동시에, 시험문제의 출제 경향 등을 파악하기에 적합한 자료로써 학생들 사이에 활용되고 있다.

    기출문제 학습 자료의 유용성으로 인해 온라인상에서 기출문제를 상품화하는 사이트도 생겨나거나 비공식적으로 학습자간의 거래가 이루어지기도 한다. 이른바 학습정보의 유통현상이 일어나고 있으며 또한 학습자들이 인맥에 의존하여 좋은 정보를 수집하는 경우가 발생한다. 따라서 상대적으로 사회관계가 부족한 학생들은 기출문제 자료를 학습에 활용하지 못하는 ‘정보 비대칭현상’이 발생하게 된다. 이는 문제라는 도구가 학습 자료로써 효과가 높다는 점을 반증하고 있기도 하다.

       3.2. 시사점

    대학에서 운영되는 이러닝 클래스는 시공간을 초월하며 반영구적인 학습 운영이 가능하다는 경제적인 효과로 인하여 활발하게 활용되고 있다. 하지만 교육 공급자의 입장이 아닌 교육 수요자인 학습자들이 실제적으로 이러닝 클래스에 대해서 어떻게 인식하고 있으며 이러닝의 순기능을 잘 활용하고 있는지에 대한 분석적 개선방안의 제안이 필요하다.

    3.1 의 운영 사례에서 살펴 본 멀티미디어 학습 컨텐츠 중심의 학습 방식은 개선이 필요하다고 볼 수 있다. 이러닝 클래스의 공급자는 실제적으로 학습자의 멀티미디어 학습 컨텐츠 의존도는 낮음을 간파하지 못하였고 ‘시간’ 이라는 개념을 통하여 비대면적인 온라인 공간에서의 학습자의 학습참여도 측정방법은 맹점을 가지고 있었다. 또한 사례 분석을 통해서 학습자들은 실제 학습자료로 ‘문제’ 형식의 학습자료를 선호하였고 이 학습정보는 음성적으로 활용되고 있는 것을 알 수 있다. 따라서 대학에서 이러닝 운영 모델이 학습자에게 더욱 효과적이기 위해서는 ‘시간’의 정량적인 개념에서 벗어나 ‘문제’ 형식을 통한 정성적인 학습 모델로의 변모가 필요하다고 볼 수 있다.

    Ⅳ. 바람직한 온라인 학습모델의 제안 : QBS

       4.1. QBS, Quiz Based Study 설계 모델

    본 연구에서는 이러닝에서 학습자의 참여를 유도하기 위하여 QBS(Quiz Based Study)라는 웹 플랫폼을 개발하였다. QBS는 학습자가 직접 학습문제를 만들어 온라인상으로 공유하고, 다수의 학습자들로부터 만들어진 학습문제 컨텐츠를 학습 자료로 활용할 수 있게 하는 웹 플랫폼이다.

    QBS는 이러닝 클래스 하에서 학습자들의 참여를 유도하기 위한 다음과 같은 조건들을 만족할 수 있도록 설계되었다.

    첫째, 학습자 입장에서 유용한 학습 자료인 ‘문제’를 도구로 한 설계가 이루어졌다. 학습 자료로써의 기출문제의 활용도나, 우리나라의 교육환경 특성상 지식 개념에 대한 질문과 5지선다형의 객관식 보기 중 정답을 고르는 방식에 익숙한 학습자들을 고려하였을 때 문제라는 수단을 적합한 도구로 활용하기로 하였다.

    둘째, 이러닝 클래스 상에서 제공된 학습 컨텐츠를 기준으로 한 비교적 명확한 정답이 존재하는 과제이어야 한다는 점을 충족하였다. 학습자들은 최선의 답을 찾는 과제보다 명확한 답을 찾는 과제를 더 선호하고 적극적으로 참여한다는 점에 있어서, 제공된 학습 컨텐츠에서 문제를 만들어 내는 방식은 참여 유도에 효과적이라고 할 수 있다.

    셋째, 학습전체 내용 중 흥미 있는 주제에 대해서 자율적으로 문제를 만들 수 있게 하였다. 다양한 전공과 관심사를 가진 학습자들마다 학습주제별로 배경지식이나 이해도가 다를 것이기 때문에 학습자 개별적으로 원하는 학습주제의 문제를 만들도록 하였다.

    넷째, 문제를 만들고 온라인상에 공개함으로써 그 성과를 학습자들 간에 공유할 수 있게 하였다. 개인이 만든 학습자료를 공동체가 함께 활용할 수 있게 함으로 자발적 집단지성에의 구체적인 기여를 이루게 하여 효과적인 참여 동기를 부여하였다. 또한 만들어진 문제의 논리성이나 다른 의견에 대한 토론을 통해 학습자간 상호작용을 할 수 있도록 하였다.

       4.2. QBS 학습 모델의 타당성 검토

    QBS는 학습컨텐츠를 학습자 주도적으로 생성하고 공유하는 플랫폼이다. 이 방식은 2장에서 다루었던 온라인 학습 모델의 연구결과들을 충족시킬 수 있는 방식이다. 온라인에서 제공되는 학습 개념 자료를 통해서 학습자는 정확한 학습자료를 재창출할 수 있게 된다. 또한 학습자 별로 전공과 관심사 등의 차이가 있음을 반영하여 자율적인 주제로 참여함으로써 내적 동기유발 효과도 기대할 수 있다. 또한 생성한 학습자료의 공유와 학습자간의 피드백, 토론 등의 상호작용을 통해서 QBS는 온라인 학습 모델의 개선 요건을 충족하고 있다고 볼 수 있다. 특히 QBS는 3장에서 다루었던 기존 이러닝 모델의 맹점으로부터 패러다임 전환을 시도하고 있다. 시간의 개념에서 벗어나서 자율적으로 원하는 만큼 공동의 과제에 참여할 수 있게 된다. 배경지식이 상대적으로 풍부한 학생은 학습 참여 시간이 줄어들 수 있게 되고 이해도가 부족한 학생은 원하는 만큼 학습할 수 있다는 점에서 학습자들의 수준별 학습도 가능하게 한다는 장점이 있다. 그 구체적 방식에 있어서 QBS는 학습자들에게 유용한 학습도구로 활용되는 ‘문제’라는 틀을 통해서 학습효과를 극대화 하여 기존 이러닝 모델이 갖고 있던 한계점을 타파하였다.

    Ⅴ. 학습자 참여형 학습모델 QBS 시스템의 실증분석

       5.1. 실험설계

    본 논문에서는 기존에 운영되고 있는 이러닝 클래스의 현황을 실증적으로 분석한다. 그리고 학습자들의 참여를 이끌어내는 방안을 설계하고 적용함으로써 그 효과를 통계적으로 분석한다. 무엇보다 인터넷 기반의 학습에서는 인터넷의 정신이 오롯이 발현되어야 한다는 아이디어를 기조로 한다. 온라인 환경의 장점으로 이러닝 클래스 학습자의 행동양상을 로그분석을 통해 가감없이 도출할 수 있었으며, 실제 1개 학기동안 운영된 이러닝 클래스에서의 학습자의 최종성적과도 연계하여 현장 실제적인 실험을 진행하였다.

    연구의 대상은 인천의 A대학에서 2013년 봄학기에 개설된 이러닝 강좌를 모델로 하였다. 약 400여명의 학습자가 수강을 한 교과목이며, 학습자의 학번, 학년, 전공별 분포는 다음과 같다.

    [표 1.] 수강자 현황 - 학번별 분포

    label

    수강자 현황 - 학번별 분포

    [표 2.] 수강자 현황 - 학년별 분포

    label

    수강자 현황 - 학년별 분포

    [표 3.] 수강자 현황 - 전공별 분포

    label

    수강자 현황 - 전공별 분포

    연구대상인 이러닝 교과목은 400명 이상의 학습자가 수강하는 대형 강의로, 학번별, 학년별 그리고 전공별로 다양한 학습자들이 대상이 되었다.

    이러닝 클래스에서는 무선산업과 관련한 내용을 온라인 컨텐츠를 통해 강의하였으며, 15주에 걸쳐 1주일에 약 1시간 분량의 학습 컨텐츠를 제공하고 16주차에는 기말고사를 통해 학습자들의 성취도를 평가하는 방식으로 운영 되었다. 매 주차별 제시된 학습컨텐츠를 매주 월요일 0시~ 일요일 24시 기간 내에 미리 지정해 놓은 시간만큼 접속을 하면 출석으로 인정이 되는 시스템이다. 본 연구에서는 학습자들이 자율적인 환경에서 학습컨텐츠를 이용하는 양상을 파악하기 위해 출석인정시간을 1분으로 조정하였다. 정해진 학습시간에 구애받지 않도록 하여 학습자의 실제적인 학습시간을 파악 하고자 하였다.

    학기말의 기말고사 주차를 제외하고 15개 주차동안 약 400여명의 학습자들이 1주일에 얼마나 학습컨텐츠에 접속하는지를 온라인 로그파일 분석을 통해 파악하였다. 분석결과를 토대로 실제 학습시간과 최종 학업성적 간에 연관이 있는지를 연구하기로 한다.

    마지막으로 학습자 참여를 위한 방법으로 QBS시스템을 활용하였다. 학습컨텐츠를 참고하여 학습자가 자기 주도적으로 학습문제를 만들도록 하였고, 그 성과물을 학습자료로 활용할 수 있게 공개하였다. 이에 따른 QBS 참여집단과 비참여집단의 최종 학업성적을 비교분석 하였다. 또한 문제를 통하여 참여를 유도한 QBS시스템에 대한 학습자들의 의견를 피드백 받아 그 효용에 대해서 파악하였다. 실험을 위하여 몇 가지 가설을 설정하였다.

    가설1 : 온라인 클래스에서 ‘시간’으로 학습 참여도를 측정하는 방식은 형식적으로 사용될 것이다.

    1주일 중 원하는 시각에 출석을 할 수 있다는 점과 학습인정시간을 최소로 정한 상황에서 학습자들은 출석 체크만을 위한 행동양상을 보일 것이라고 가설을 설정하였다. 수치데이터적인 결과물로 매주 꾸준히 학습시간을 채운 학습자들이 실제로 정성적인 학습을 진행하였는지 확인할 수 없는 바, 접속시간을 통한 정량적 학습 확인 방법의 학습자 행동 양상을 통계적으로 파악하기로 한다.

    가설2 : 좋은 성적을 받은 집단은 학습 접속 시간이 더 길 것이다.

    이러닝 시스템에서 매주차별 학습 컨텐츠에 접속한 시간을 분석하여, 학습시간이 길고 꾸준히 학습하는 학습자, 이른바 ‘착실한’ 학습자는 좋은 성적을 받을 거라고 예상하였다. 임연욱/이옥화(2008)는 사이버 클래스 학습자의 학습참여도와 학업성취도는 정의 상관관계 및 인과관계를 보인다고 주장하였다. 이를 확인하기 위하여, 학습자의 최종 학업 성적과 학습시간의 연관성을 분석하였다. 또 학습자를 성적별로 세 집단으로 구분하여, 상위 약 30%는 A학점, 다음 약 40%는 B학점, 나머지 약 30%는 C학점을 부여하고 성적 집단별로 차이점이나 연관성이 있는지를 분석하였다.

    가설3 : QBS를 통해 학습자 참여를 이끌어낸 집단의 성적은 더 좋을 것이다.

    본 연구에서는 이러닝 클래스에서 학습자 참여를 유도하고 그 효과를 분석하기 위해서 QBS시스템을 개발, 도입하였다. 사례 연구에서 다루었듯이, 참여의 효과를 학습 분야에 적용 하기 위해서 대학 교양 교과목 이러닝 클래스에 적합한 QBS시스템을 활용하였다. QBS에 참여한 집단과 비참여집단의 최종 학업성적을 비교하여 이러닝 학습에 있어서 참여의 효과를 통계적으로 실증하고자 하였다.

       5.2. 실험결과

    약 400여명의 학습자의 15개 주차 동안 주차별 학습시간 데이터를 도출하고, 집단별 혹은 성적별 학습시간의 통계치를 구하는데 몇 가지 가정이 필요하였다.

    우선 F학점 취득자의 데이터는 제외하였다. 학기 중 여타의 이유로 학습을 중도포기하거나 기말고사에 응시하지 않는 학습자의 경우에는 교칙상 F학점을 부여하도록 되어 있다. F학점 취득자들은 특정 기간이후 학습을 하지 않는 경우가 많았기 때문에, 집단의 접속시간 통계 값을 도출하는데 의미가 없어 데이터 산출에서 제외하였다.

    둘째로 학습시간이 비이성적으로 긴 데이터는 최댓값을 지정하였다. 이러닝 학습시간이 온라인 컨텐츠에 접속하고 있는 시간을 기록하다 보니, 실제 학습과 무관하게 학습시간이 기록되는 경우가 발생한다. 학습컨텐츠에 접속을 하고 외출을 한다든지 하는 이유로 학습시간이 수백분에 이르는 데이터가 간혹 발생하였기 때문에, 학습시간의 최대치를 120분으로 지정하고 그 이상의 값은 모두 120분으로 조정하였다.

    셋째로 학습시간의 주차별 표준편차가 큰 데이터를 상위 약 10% 제외하였다. 한명의 학습자의 학기 중의 학습시간 기록을 분석하는데 있어서, 학습자간의 학습 시간에는 차이가 분명히 존재하지만 한명의 학습자의 학습시간의 편차가 비이성적으로 큰 경우에는 유의미한 데이터가 아닐 것으로 판단하였다. 따라서 학습자들의 15개 주차의 학습시간의 표준편차를 구하여 표준편차가 큰 상위 10%의 데이터를 다루지 않기로 하였다.

    F학점 취득자의 데이터 제외, 학습시간 최댓값 120분으로 조정, 학습시간 표준편차가 큰 상위 10% 데이터를 제외하여 총 374명의 학습시간 데이터로 집단별 학습 시간을 비교하기로 한다.

    [표 4.] 1주일 중 출석체크 시각 분석

    label

    1주일 중 출석체크 시각 분석

    실험결과1. 출석체크 시각이 출석인정 데드라인에 몰리는 경향이 있다.

    학습자들이 매 주차 출석인정을 완료하는 시각을 분석하였다. 2013년 3월부터 6월까지 총 15개 주차에 월요일 0시부터 일요일 24시까지 6시간 단위로 출석체크가 되는 시점을 환산하여 정리 분석하였다. 분석 결과 출석인정 시작일인 월요일과 출석인정 종료일인 일요일에 약 45%의 출석체크가 몰려있음을 확인할 수 있다. 특히 총 28개 구간에서 학습 인정 데드라인 마지막 구간인 일요일 오후 2개 구간에 약 20%의 출석체크가 몰려 있음을 확인할 수 있었다. 또한 학습시간의 자율성을 보장한 환경에서 전체 학습자의 평균 1주일 학습시간은 약 15.73분에 그쳤다.

    일반적으로 대학생들의 생활 패턴은 평일에 강의 등 학업에 시간 할당을 하고 주말에 휴식이나 취미생활을 하는 경우가 많은데, 휴일인 일요일에 출석체크 시점이 몰려있다는 점은 학습자들이 학습인정 데드라인을 의식하고 학습컨텐츠에 접속하였다고 볼 수 있다.

    또한 접속시간의 평균이 약 16분으로, 이는 일반적인 대학 교과목의 1주일 수업 시수와 비교하여 보았을 때 상당히 낮은 수준이다. 따라서 기존 이러닝의 접속시간을 통한 학습 인정 방법은 실제 학습자의 학습정도보다는 형식적인 출석인정자체에 집중됨을 알 수 있었다.

    실험결과2. 학습자의 성적과 학습시간은 연관성이 없다.

    학습자들의 최종성적을 등급에 따라 세 집단으로 나누어 각 집단별로 평균 학습시간을 분석하여 비교하였다.

    [표 5.] 성적 등급 집단별 접속시간 비교

    label

    성적 등급 집단별 접속시간 비교

    성적 등급별 학습시간에는 큰 차이가 없다는 것을 알 수 있다. 전체 학습자의 접속시간 평균이 15.73분인 것에 비해 A등급 집단은 14.96분, B등급 집단은 16.54분, C등급 집단은 15.44분으로 거의 차이가 없었다. 좋은 성적을 받은 학습자 집단의 학습시간이 더 높을 것으로 예상하였는데, 오히려 작은 차이이긴 하지만 세 성적등급 집단 중 가장 낮은 학습시간을 보였다. 가장 긴 평균 학습시간을 보인 B등급 집단과 A등급 집단의 접속시간 평균은 1.58분의 차이를 보였다.

    연속적인 성적 점수와 접속시간의 관계를 Pearson 상관분석한 결과는 다음과 같다.

    [표 6.] 성적 등급 집단별 접속시간 비교

    label

    성적 등급 집단별 접속시간 비교

    학습 컨텐츠 접속 시간과, 최종 성적 점수의 상관관계를 Pearson 상관계수를 이용하여 통계적으로 비교하여 본 결과, 접속시간과 점수 간의 유의확률은 0.442 이고, Pearson 상관계수는 0.04로 접속시간과 성적 점수의 상관관계는 없다고 판단할 수 있다.

    실험결과3. QBS 참여집단의 성적이 확연히 좋았다.

    본 연구에서는 이러닝 클래스에서 학습자의 참여의 영향을 분석하기 위해 QBS라는 시스템을 개발하여 도입하였다. QBS에서는 강의컨텐츠를 기본으로 하여 학습자가 자율적으로 주제를 선택하여 문제를 제작하도록 하였다. QBS 참여 또한 자율적으로 하고 비참여 학습자에게 패널티가 없게 하여 자발적인 참여의 환경을 조성하였다. 또한 QBS를 통해 만들어진 문제들 중 좋은 문제를 선별하여 약 5문제 이내로 기말고사 시험에 출제하기로 하여 학습자들의 동기부여를 유도하였다.

    그 결과 총집단 정원 427명 중 QBS시스템에는 54명이 참여하여 약 12.56%의 참여도를 보였다. QBS 참여집단과 비참여 집단의 학점분포를 비교하면 다음과 같다.

    [표 7.] QBS 참여집단과 비참여 집단의 성적등급 분포

    label

    QBS 참여집단과 비참여 집단의 성적등급 분포

    QBS 참여집단과 비참여집단 간의 성적 등급 차이는 확연하게 차이가 났다. QBS에 참여한 54명의 학습자중에서는 35명의 학습자가 A등급을 받았다. 이는 약 64.81%의 수치로, QBS 비참여 집단에서의 A등급 집단의 비율인 약 25.20%에 비하면 현저하게 높은 수준이다. 또한 학습 중도포기 학습자인 F등급 취득 학습자가 QBS 참여집단에는 0명으로 포기한 학습자가 없었다는 점 또한 학습효과로써 고무적이라고 할 수 있겠다. QBS 참여여부와 성적 등급별 집단의 차이를 교차분석하면 다음과 같다.

    [표 8.] QBS 참여여부와 성적등급 간의 카이제곱검정

    label

    QBS 참여여부와 성적등급 간의 카이제곱검정

    교차분석 결과, QBS 참여여부와 성적등급 간의 관계는 유의확률 0.00 으로 유의한 차이점이 있는 것으로 나타났다. 따라서 QBS시스템에 참여한 집단이 참여하지 않은 집단보다 더 나은 학업성취도를 보인다는 것이 통계적으로 증명되었고, 이는 곧 QBS시스템의 학습적인 효용도가 높다는 것을 설명한다.

       5.3. QBS시스템 활용에 관한 학습자 피드백 응답

    15주차 동안의 학습이 종료된 후, 연구 모델 이었던 QBS에 관한 학습자의 응답조사를 하였다. 응답조사에는 131명이 참여하였다.

    [표 9.] QBS 관련 학습자 응답

    label

    QBS 관련 학습자 응답

    설문 참여 학습자중 약 80%는 QBS를 실제 시험공부에 활용하였다고 응답하였다. 또한 약 76%의 학습자가 QBS에 대해 긍정적인 생각을 가지고 있는 것으로 나타났다. 기출문제와 QBS의 학습자료 효용에 관해서는 기출문제보다 QBS가 더 도움이 된다고 응답한 학습자가 약 42%로 나타났다. QBS에 관한 장점에 관한 추가 의견으로는 다음과 같은 의견들이 있었다.

    [표 10.] QBS 관련 긍정적 의견 예시

    label

    QBS 관련 긍정적 의견 예시

    QBS와 관련한 긍정적 의견들로는, 학습자가 직접 학습자료 제작에 참여할 수 있어서 좋았다는 의견과, 기출문제를 대체하는 수단으로써의 만족도에 관한 의견이 많았다. QBS 관련 부정적 의견을 다음과 같은 의견들이 있었다.

    [표 11.] QBS 관련 부정적 의견 예시

    label

    QBS 관련 부정적 의견 예시

    QBS관련 부정적 의견으로는, 학습자 수준에서 문제를 출제하다 보니 문제 자체의 퀄리티에 대한 우려 의견이 많았다. 또한 QBS에서 만들어진 문제가 수백 문제에 달하여 학습 분량이 너무 많다는 지적도 있었다.

    Ⅵ. 결론 및 과제

    본 논문에서는 기존의 이러닝 운영 모델의 실제 현장에서의 활용양상을 분석하고 한계점을 파악하여 개선안에 관한 연구를 진행하였다. 특히 이론적인 연구에 그치지 않고 실제로 시스템을 개발하여 이러닝 현장에 도입하여 그 효과를 검증하였다.

    본 논문의 연구 주안점을 정리하면 다음과 같다.

    첫째, 시간이라는 정량적 개념이 학습자의 참여를 확인하는데 적합하지 않다는 점을 확인하였다. 온라인 클래스의 특징인 시간과 공간을 초월할 수 있다는 장점이 역이용 될 수 있다는 점을 확인하고, 학습자의 입장에서 이클래스의 운영 모델을 바라보았다. 실험을 통해 매 주차별로 자율적으로 학습자가 학습에 출석을 하는 양상을 분석한 결과, 평일, 주말을 막론하고 학습인정 데드라인을 의식하여 출석인정을 체크하는 모습을 보였다. 또한 학습자 자율에 의존한 학습시간의 분석결과는 매주 평균 약 16분에 그쳤다. 학습자의 실제 학습시간에 관한 실험에서는, 학습시간과 성적 간에는 연관성이 없는 것으로 나타났다. 성적 등급을 A, B, C의 세 집단으로 나누었는데 각 집단간의 학습 시간에는 유의미한 차이점이 없는 것으로 나타났고, 연속적인 성적점수와 학습시간에도 연관성은 없는 것으로 나타났다.

    따라서 이러닝에서의 학습효과를 높이기 위해서는 오프라인의 방식을 원용한 정량적인 측정방안이 아닌 정성적인 측정방안이 필요하다는 결론을 얻을 수 있다.

    둘째, 기존의 이러닝 운영 모델에 인터넷의 태생적 특징을 가미함으로써 학습자와 교수자의 상호작용을 유도하였다. 정부의 정책적 지원 방향과, 인터넷 시대의 성공적인 모델들의 분석을 통하여 ‘참여’라는 개념이 기존의 이러닝 클래스에 부재함을 확인하고 ‘참여’를 이러닝에 도입시키는 방안을 모색하여 학업성취도와의 연관성을 분석하였다. 참여 효과를 접목시킨 이러닝 클래스에서 교수자는 일방적으로 학습 컨텐츠를 제공하는 입장에서 벗어나 학습자들의 행동양상을 실시간적으로 파악하고, 클래스를 운영하는 역할을 맡게 된다. 학습자 역시 일방적으로 컨텐츠를 전달받는 것에서 벗어나 적극적으로 학습 컨텐츠 생산에 참여하고, 다른 학습자들과 소통함으로써 학습효과를 높이게 된다.

    본 연구에서는 QBS라는 시스템을 개발하여 수업에 적용하였다. QBS를 통해 학습자가 자기 주도적으로 문제를 만들고 공유하도록 하였다. QBS를 이러닝 클래스에 적용시킨 결과 QBS를 통한 참여집단은 비참여집단에 비하여 유의미한 학업성취도 차이를 보였고, 특히 참여집단 내에서는 학습 중도포기자가 없는 성과가 나타났다. 이는 학업 경쟁이 치열한 우리 학습 환경에 고무적인 결과라 할 수 있다. 실험 결론을 통해 학습자의 발적인 참여가 이루어지는 이러닝 환경에서는 기존의 이러닝 운영 모델보다 학습효과가 높은 점을 알 수 있는 바, 점진적으로 학습자 참여형 학습모델의 연구와 실제적 적용이 필요한 것을 알 수 있다.

    QBS에서는 ‘문제’라는 수단을 통해서 이러닝에서의 학습자 참여를 구체화 하였다. 실제로 문제라는 수단은 우리나라 교육환경에서 대부분의 학습자들에게 익숙한 도구이며, 대학 현장에서도 학습자들에게 기출문제 등의 자료가 활발하게 이용되고 있었다. 또한 학습자들의 QBS시스템에 대한 피드백 결과를 보더라도, ‘문제’라는 수단을 통한 학습자 참여형 방법은 우리 학습 환경에 거부감 없이 유용하게 활용될 수 있는 수단이라고 평가할 수 있다. 문제를 통하여 학습자의 참여를 유도한 QBS의 한계점으로는 학습자가 학습 컨텐츠를 제작함으로 인하여 발생하는 문제의 질 저하 문제 등이 있을 수 있다. 또한 다량으로 만들어지는 문제 중 효과적으로 좋은 문제를 선별해 내는 방안이나 중복 문제 필터링 방법도 개선 연구해야 할 점이다.

    셋째, 인터넷의 시각에서 교육분야를 연구함으로써, 교육 철학적인 내용보다는 온라인 환경에서의 클래스의 운영방안의 개선에 중점을 두었다. 기존의 이러닝 운영 모델에서 탈피하여 새로운 운영 방법을 도입하였고, 학습자들의 실제적인 행동양상을 로그파일을 통하여 분석함으로써 구체적이며 신뢰도가 높은 연구결과를 도출하였다.

    본 연구에서는 ‘문제’라는 수단을 통하여 학습자의 참여를 구체화 시켰으나, ‘문제’ 이외에도 적절한 방법은 다양하다. 학습자 집단지성을 발현하여 학습 컨텐츠를 구성한다거나, 학습의 질의응답을 학습자간 상호작용을 통해서 이루어지도록 하는 학습 플랫폼 구성 등이 있을 수 있다. 예를 들어 학습정도 측정의 방법으로 단계별 진도 확인 방법이 있다. 미국의 무료학습 사이트로 유명한 ‘칸 아카데미’의 수학교습에는 단계별 문제를 통한 학습정도 확인시스템을 도입하고 있다. 다양한 학습자 참여 방식들은 충분한 검증을 거친 후 우리나라 이러닝 환경의 실정에 맞게 적용할 필요성이 있다. 추후 연구로는 인터넷의 시각 뿐만이 아닌 실제 교육적인 효과에 대해서도 실증적으로 검증할 수 있는 구체적인 방안을 모색함으로써 다가오는 시대에 효과적인 교육 모델 수립을 위한 연구가 필요할 것이다.

참고문헌
  • 1. Jang S. H. 2013 “The Case Study on SMART education of Converging with Education3.0 and ICT” [The Korea Contents Association Review] Vol.11 P.35-39 google
  • 2. SNUON [Online] google
  • 3. MIT OpenCourseWare, Wikipedia the free encyclopedia google
  • 4. Park J. C., Lee D. Y. Study system based on Questions google
  • 5. Kim J. K. 2009 "Wiki-based Instruction, Activity of Learner`s Learning Participation, Learning Effect" [Korean Technology Education Association] Vol.9 P.181-198 google
  • 6. Park S. H., Kwon S. H. 2000 "The Effects of Tutor`s motivational strategy on earning Motivation in Web-Based Instruction focused on personal relevance message - " [Korean Association for Educational Information and Broadcasting] Vol.6 P.51-82 google
  • 7. Kim J. Y., Yang S. H. 2012 “Motives for Collective Intelligence : Case Study of Citizen Journalists of Chungcheongnamdo” [Journal of social science] Vol.23 P.181-205 google
  • 8. Park S. I., Lee Y.K. 2006 "An Inquiry on the Relationships among earning?Flow Factors, Flow evel, Achievement under On?line Learning Environment." [The Journal of Yeolin Education] Vol.14 P.93-115 google
  • 9. Jang J. K., Kim H. S. 2006 "E-learning System using Learner Created Contents based on Social Network." [The Korea Contents Association Review] Vol.9 P.17-24 google cross ref
  • 10. Choi Y. H., Oh S. C. 2010 "A Study on the Learning Participation and Communication Process by Learning Task Types in Wiki-Based Cooperative Learning System" [The Journal of Educational Information and Media] Vol.16 P.1-21 google
  • 11. O’ Reilly Tim "What is Web 2.0; Design Patterns and Business Models for the Next Generation of Software." google
  • 12. INHA Univ Sugang google
이미지 / 테이블
  • [ 그림 1. ]  기존 이러닝 시스템의 시간을 사용한 학습 참여 인정 방법
    기존 이러닝 시스템의 시간을 사용한 학습 참여 인정 방법
  • [ 그림 2. ]  시간을 사용한 학습 진도율 체크 환경에서의 학습자 고충의 사례
    시간을 사용한 학습 진도율 체크 환경에서의 학습자 고충의 사례
  • [ 그림 3. ]  이러닝의 오프라인 클래스 운영방식 원용의 폐해
    이러닝의 오프라인 클래스 운영방식 원용의 폐해
  • [ 그림 4. ]  이러닝 학습 자료의 현실1 - 물리적 컨텍스트
    이러닝 학습 자료의 현실1 - 물리적 컨텍스트
  • [ 그림 5. ]  이러닝 컨텐츠에서 활용되는 Quiz 형식이 학습자료
    이러닝 컨텐츠에서 활용되는 Quiz 형식이 학습자료
  • [ 그림 6. ]  이러닝 학습 자료의 현실2 - 기출문제
    이러닝 학습 자료의 현실2 - 기출문제
  • [ 그림 7. ]  QBS 메인화면
    QBS 메인화면
  • [ 그림 8. ]  QBS에서의 문제를 통한 학습자 상호작용
    QBS에서의 문제를 통한 학습자 상호작용
  • [ 표 1. ]  수강자 현황 - 학번별 분포
    수강자 현황 - 학번별 분포
  • [ 표 2. ]  수강자 현황 - 학년별 분포
    수강자 현황 - 학년별 분포
  • [ 표 3. ]  수강자 현황 - 전공별 분포
    수강자 현황 - 전공별 분포
  • [ 표 4. ]  1주일 중 출석체크 시각 분석
    1주일 중 출석체크 시각 분석
  • [ 표 5. ]  성적 등급 집단별 접속시간 비교
    성적 등급 집단별 접속시간 비교
  • [ 표 6. ]  성적 등급 집단별 접속시간 비교
    성적 등급 집단별 접속시간 비교
  • [ 표 7. ]  QBS 참여집단과 비참여 집단의 성적등급 분포
    QBS 참여집단과 비참여 집단의 성적등급 분포
  • [ 표 8. ]  QBS 참여여부와 성적등급 간의 카이제곱검정
    QBS 참여여부와 성적등급 간의 카이제곱검정
  • [ 표 9. ]  QBS 관련 학습자 응답
    QBS 관련 학습자 응답
  • [ 표 10. ]  QBS 관련 긍정적 의견 예시
    QBS 관련 긍정적 의견 예시
  • [ 표 11. ]  QBS 관련 부정적 의견 예시
    QBS 관련 부정적 의견 예시
(우)06579 서울시 서초구 반포대로 201(반포동)
Tel. 02-537-6389 | Fax. 02-590-0571 | 문의 : oak2014@korea.kr
Copyright(c) National Library of Korea. All rights reserved.