검색 전체 메뉴
PDF
맨 위로
OA 학술지
A Study on the Effectiveness of CHI-Related Education for Public Librarians*
  • 비영리 CC BY-NC
  • 비영리 CC BY-NC
ABSTRACT
A Study on the Effectiveness of CHI-Related Education for Public Librarians*

헬스리터러시(Health Literacy)는 적절한 건강진단을 위한 기본적인 건강정보 및 서비스를 획득하고 처리하고 이해할 수 있는 능력으로서, 사서들은 이용자뿐만 아니라 자신들의 헬스리터러시도 향상 시켜야 한다. 이에 본 연구에서는 국내 공공도서관 사서에게 적합한 건강정보활용교육 프로그램 개발에 기여하고자 건강관련 교육프로그램을 개발하고 이를 사서교육에 적용하였으며, 그 효과를 측정하고 개선사항도 발견하였다. 그 결과, 공공도서관 사서의 CHI(Consumer Health Information) 관련 용어에 대한 친숙도 증가, 교육후 이용자에 대한 교육증가 및 내용의 다양화, CHI관련 서비스를 수행하기 위해 활용하는 정보원의 다양화 및 전문화, 참고서비스에 걸리는 시간 절감 및 전문지식 부족의 한계에 대한 부담 감소 등의 부분에서 효과가 있었던 것으로 나타났다. 그러나 본 연구는 사서대상 CHI관련 교육과 관련하여 국내에서 최초로 수행된 연구로 교육강사 및 주제의 다양성, 방법론 부분에서 많은 한계가 있었으며, 향후 보다 발전된 CHI관련 교육 프로그램의 개발이 요구된다고 할 수 있다.

KEYWORD
Health Literacy , Public Library , Education , CHI , Consumer Health Information , Librarians’ Perception
  • 1. 서 론

    헬스리터러시(Health Literacy)란 ‘Healthy People 2010' 보고서에 따르면 ‘적절한 건강진단을 위한 기본적인 건강정보 및 서비스를 획득하고 처리하고 이해할 수 있는 능력'이다(U.S partment of Health and Human Services 2000). 즉 헬스리터러시는 이용자들이 건강정보가 필요한 때를 인식할 수 있는 능력, 적합한 정보를 검색하기 위해 정보원이 될 만한 것을 식별하고 그것을 활용할 수 있는 능력, 정보의 질을 평가할 수 있는 능력, 특정 상황에 적절한 정보를 적용할 수 있는 능력, 적합한 건강의사 결정을 내리는데 필요한 정보를 분석하고, 이해하고, 활용할 수 있는 능력을 갖출 수 있도록 하는 것이다(MLA Net 2003). 교육내용은 인터넷 상의 정보자원을 찾는 방법, MedlinePlus나 National Library of Medicine 등 온라인 데이터베이스를 탐색하는 방법, 웹 정보자원 중 질 높고 신뢰할만한 CHI(Consumer Health Information) 정보원을 파악하고 평가하는 방법, 질병이나 장애에 대한 최신 연구 정보를 찾는 방법, 의사를 포함한 다른 의료공급자의 자격증 정보를 찾는 방법 등이 될 수 있다(Schwartz et al. 2002; Helpner 2006; Richetelle 2003). 교육방법으로는 웹기반, 워크숍, 교육용 툴킷, 비디오 교육 등이 있다(Wu. et al. 2006).

    건강정보관련 교육은 교육 대상자의 건강정보에 대한 지식을 향상시키는 활동으로, 이를 소비자건강정보 리터러시(Consumer Health Information Literacy, CHI literacy)라 하며, CHI 리터러시는 사서대상과 이용자대상으로 구분될 수 있다.

    공공도서관이 이용자들의 CHI 리터러시를 향상시키기 위해 노력해야 하는 이유는 건강정보를 찾기 위해 도서관을 방문하는 이용자 수가 증가하고 있고, 많은 이용자가 공공도서관을 CHI를 위한 선호 정보원으로 생각하고 있기 때문이다(Derring and Harris 1996). 따라서 연구자들은 이러한 이용자를 지원하기 위해서, 공공도서관이 CHI 정보원을 일반인과 연결시키는 중개자의 역할, CHI 서비스 코디네이터 역할을 수행해야 한다(Rees 1982; Gillaspy 2000).

    이와 같이 이용자들의 CHI에 대한 관심과 공공도서관의 CHI 서비스에 대한 기대치는 계속 증가하고 있지만, 건강정보상담에 대한 훈련을 받을 기회가 적은 공공도서관 사서들에게 효율적인 CHI 서비스를 제공하는 것은 많은 부담이 된다. Benedetti(2002)는 공공도서관 사서들이 CHI 참고서비스를 제공해야 하는 상황에 상당한 공포감을 느끼고 있는데, 그 이유는 공공도서관은 의학 및 CHI관련 장서를 확장할 여유가 없고, 의학 전문지식이 상대적으로 부족한 사서들이 잘못된 의학적 ‘충고', 혹은 ‘답변’을 제공할까봐 걱정하기 때문이라고 하였다.

    이러한 현실의 공공도서관 사서들을 지원하기 위해, Gillaspy(2000)는 공공도서관 사서는 전문적인 의학사서가 아니기 때문에, 이들을 위한 CHI 서비스를 기획하고 실현하기 위한 단계적 가이드라인을 제공해야 한다고 하였다. 그가 제시한 가이드라인은 상당히 구체적인데, 서비스 대상 결정, 비전 및 미션 결정, 서비스범위 결정, 장서범위 결정, 물리적인 시설 계획, 직원요건 결정, 미션수행을 위한 충분한 예산, CHI 사서고용, 서비스에 필요한 정보기술 결정, 정책 및 절차 개발, 장서 선정, 마케팅 기획, 지속적 PR계획, 문서형식 및 통계형식 개발, 서비스 평가계획, 서비스오픈 등이 해당된다.

    이에 본 연구에서는 이전 연구에서 개발된 건강정보원 평가기준 및 이 평가기준에 따라 평가된 건강정보원들 중 비교적 높은 순위에 있는 정보원에 대한 이용교육과 소비자건강정보원에 대한 전반적인 지식에 관련된 교육을 실시한 후 공공도서관의 CHI 서비스에 대한 사서의 인식변화를 측정하고자 하였다. 즉, 건강 정보활용교육 프로그램을 개발하고 이를 공공도서관 사서에게 적용한 후 그 적용효과를 측정하였으며, 제공된 교육프로그램 만족도를 분석한 후 최종적으로 국내 공공도서관에 적합한 건강정보활용교육 프로그램 개발에 기여하고자 하였다. 또한 교육프로그램을 홈페이지로 개발하여 제시함으로써 전국의 공공도서관 사서들이 활용할 수 있도록 하였다.

    본 연구결과의 기대효과는 첫째, 교육후 사서의 CHI에 대한 인식변화 및 서비스 품질의 향상 정도를 측정할 수 있으며, 문제점 및 개선방안을 모색하여 국내 CHI 교육 프로그램으로 제안할 수 있다.

    둘째, 교육을 받은 사서는 CHI에 대한 전문지식, CHI 정보원에 대한 폭넓은 지식 습득으로 CHI관련 서비스를 수행하는데 있어서 자신감을 가지고 CHI 서비스를 수행할 수 있을 뿐만 아니라 이용자 대상 CHI활용교육까지 수행할 수 있을 것이다.

    2. 이론적 배경

       2.1 선행 연구

    인터넷상에서 이용할 수 있는 소비자건강정보원의 양이 늘어남에 따라 신뢰할 수 있는 CHI 정보원의 평가자 및 제공자로서의 사서의 역할은 그 어느 때보다 중요해졌다고 할 수 있다. 이에 피츠버그의 카네기 도서관(Carnegie Library of Pittsburgh, CPL)은 CHI 서비스 개선에 중점을 두고 일관성 있고 고품질의 소비자건강보조를 위한 사서교육프로그램을 계획했다. Clark(2003)은 CPL이 소비자건강정보와 관련한 직원교육을 최우선순위로 놓고, 지역사회와 직원의 요구에 대해 연구하며, 식별된 요구를 충족시킬 수 있도록 교육한 것에 대해서 개략적으로 설명하고 있다. 또한 이 공공도서관의 직원훈련 후에 직원경쟁력이 제고되었다고 평가했고, 훈련을 위해 개발한 교육내용 및 과정에 대해서도 분석하여 제시하고 있다.

    텍사스여자대학(Texas Woman’s University)과 달라스공공도서관(Dallas Public Library, DPL)이 수행한 협력프로젝트는 공공 도서관내 CHI자원을 널리 알리기 위한 노력의 표현이다. 이 프로젝트의 목적은 웹기반교육자료 개발을 지원하고 훈련을 제공함으로써 공공도서관 사서와 도서관 이용자들의 교육요구를 충족시키는데 있다. 이 훈련 프로그램은 실무교육 및 웹기반 교육을 목표로 설계 및 구현되었으며, 공공도서관 참고사서는 이용자에게 CHI서비스를 제공할 수 있는 교육과 지원을 받았다. Snyder, Huber, Wegmann(2002)는 연구를 통해 DPL직원들에게 질 높은 CHI관련 훈련을 제공하기 위한 이 협력프로그램에 대해서 분석하고 공공도서관과 대학도서관간의 성공적인 협력프로젝트로서 평가하였으며, 협력 노력의 결과는 CHI에 있어서 문화적, 언어적, 문맹적 문제를 인지하고 개선하는데 기여하였다고 하였다.

    미국 의학도서관협력협회(National Network of Libraries of Medicine, NNLM)는 CHI를 효과적으로 찾는 방법을 알고자 하는 사람 및 이용자를 교육하기를 원하는 사서들을 위해 교육자원 및 아웃리치서비스를 개발했다. NNLM 웹사이트에서는 CHI와 관련한 다양한 정보원을 제공하며, 지역의학도서관(Regional Medical Libraries, RMLs)들에 대한 정보를 포함하여 무료훈련프로그램 등을 제공하고 있다. 또한 Educational Clearinghouse 데이터베이스는 생물의학 및 건강관련 문제에 대한 교육자료를 제공한다(Champ-Blackwell and Weldon 2005). NNLM 산하의 국가직업훈련센터(National Training Center Clearinghouse, NTCC)가 제공하는 일부 CHI 워크숍 시리즈는 다음과 같다.

    Prescription for Success: Consumer Health Information on the Internet

    From Snake Oil to Penicillin: Evaluating Consumer Health Information on the Internet

    Looking in All the Wrong Places: PubMed for Public Librarians

    Beyond an Apple a Day: Providing Consumer Health Information in a Public Library

    An Evidence Based Approach to Complementary and Alternative Medicine

    MedlinePlus

    Consumer Health: An Online Manual

    PubMed in Your Pocket … Medical Research at Your Fingertips

    Making PubMed Work for You

    1998년에 쿠퍼대학 의학센터 소속의 L. Sharp 의학도서관(L. Sharp Health Sciences Library at Cooper Hospital/University Medical Center)의 사서들은 ‘Consumer Health Resources on the Web'이라는 강의의 교육도구로 사용하기 위해 웹페이지를 개발하기 시작했다. CHI관련 정보자원은 물론 교육팁(teaching tips)을 포함하는 이 웹페이지는 다양한 추가 강의를 지원하게 될 때마다 확장되고 개정되어 왔으며, 이제는 환자와 직원을 위한 교육 자료로서 필수적인 자원이 되었다(Calabretta, Cavanaugh, and Swartz 2003). 이 교육에 참여한 참고사서는 공공도서관, 대학도서관, 의학도서관 등 매우 다양한 관종의 도서관 소속 사서들이다.

    매사츄세츠 종합병원(Massachusetts General Hospital) 소속 의학도서관인 트레드웰 도서관(Treadwell library)은 소비자건강정보 참고서비스센터(Consumer Health Reference Center, CHRC)를 설립하여 사서들간 협력서비스를 제공하며, 모든 관종의 도서관 직원들이 이용할 수 있도록 하고 있다. CHRC의 업무에 관한 정보, 뉴스레터, 웹사이트, 인쇄 및 전자장서, 계속교육워크숍 등에 대한 정보가 제공되며, CHI관련 샘플 질문 및 각종 통계정보들이 제공되고 있다(Stone 2004).

    인터넷상에서 유통되는 정보자원의 폭발적인 증가로, 전자형태 또는 책자형태의 정보자원으로부터 품질 높은 CHI 자료를 검색하는 것은 매우 도전적인 문제가 되었다. 어떤 사이트가 다른 사이트보다 더 좋은지, 어린이를 위한 자료, 청소년을 위한 자료, 보호자를 위한 자료는 어디에 있는지, 어떤 경우에 책자 자원을 참조해야 하고 어떤 경우에 전자자원을 참조해야 하는지, 자원의 신뢰성, 편견, 정확성은 어떻게 결정할 수 있는지 등 다양한 질문에 봉착하게 된다. Kakuk(2003)은 이러한 복잡한 의문을 가지고 있는 다양한 관종의 사서들을 지원하기 위해 CHI관련 워크숍들에 대해 소개하고 있다. 주제는 CHI 탐색자들의 이용패턴, 인쇄 및 전자장서개발, 질 높은 의료관련 참고 면담실시방법, 질 높은 정보자원 찾기 및 평가하기, 그리고 네트워크 자원(동료, 지역 CHI 도서관, 리스트서브, 전자 우편그룹 등) 개발등이다.

    Benedetti(2002) 공공도서관 사서들이 CHI관련 참고서비스를 제공해야 할 상황에 놓여 있음에도 불구하고 도서관은 의학 및 CHI관련 장서를 확장할 여유가 없으며, 게다가 사서들은 잘못된 의학적 ‘충고'를 제공하거나 답변을 제공할 수 있다는 것에 공포감을 느낀다고 말하고 있다. 충분한 사서훈련을 제공하는 도서관에 소속된 사서는 거의 모든 분야의 정보자원을 관리하고 참고서비스를 수행하는데 능하지만, CHI관련 질문을 해결하는 데는 어려움을 겪고 있다고 하였다. Benedetti는 CHI 참고면담의 본질적 어려움을 해결하기 위한 3시간훈련 세션을 공공도서관 사서용으로 개발하여 제시하고, 수많은 신뢰성 있고 사용하기 쉬운 웹사이트를 사용해서 CHI참고면담의 어려움이 극복될 수 있는 방안을 제시하였다.

    2000년 2월, 피츠버드 대학의 의학도서관(Health Sciences Library System, HSLS)은 NLM으로부터 펀드를 받아 일반인이 접근할 수 있는 CHI관련 전자자원개발 프로젝트를 시작했다. 펜실베이니아 16개 카운티내 공공도서관 사서들에게 CHI관련 훈련을 제공하는 ‘Access to Electronic Health Information'의 기본적인 목표는 첫째, 서부 펜실베이니아 내 소비자들이 CHI 자원에 대해서 보다 잘 알고, 이들의 접근성을 향상시키는 것, 둘째, 신뢰성있고 권위 있는 CHI자원을 검색하는 방법을 교육함으로써 CHI 리터러시를 향상시키는 것, 셋째, CHI 검색에 있어서 MedlinePlus와 PubMed의 역할을 규명하는 것이다. Wessel, Wozar, Epstein(2003)은 이 프로그램을 평가하는 연구를 행했으며, 그 결과 대학의 의학도서관은 공공도서관 사서에게 CHI관련 교육을 제공함으로써 지역사회에 긍정적인 영향을 미쳤다고 평가하였다. 또한 이 프로젝트는 참여자의 수, 긍정적인 교육코스 평가, 그리고 MedlinePlus를 포함한 다른 정보자원의 이용률 증가 측면에서 성공적이라고 평가하였다.

       2.2 사서대상 교육프로그램 사례

    한편, 공공도서관 사서들에게 건강관련 교육을 제공하기 위한 프로젝트 및 프로그램들이 개발되었으며, 대표적인 것이 ‘The Librarian Is In’과 ‘Crandall/Langeloth Program’이다.

    2.2.1 The Librarian Is In

    ‘The Librarian Is In; Facing Modern Consumer Health Issues in the Public Library'라는 교육 비디오는 편람과 함께 이용할 수 있으며, 공공도서관 사서에게 유용한 교육 자료이다. 비디오에는 의사의 자격증명서, 암치료, 대체의학, 의약품 및 감정적 사용자 등과 같은 주제를 다루는 참고면담 시뮬레이션 장면이 수록되어 있다(Helms 2001).

    2.2.2 Crandall/Langeloth Program

    Crandall/Langeloth 프로그램은 질병이 회복되고 있는 도서관 이용자에게 건강관련 정보를 제공하고, 선도적 기관의 사서에게 교육 및 훈련의 기회를 제공한다. 또한 뉴욕 전역에 걸쳐 소비자건강정보관련 질문에 답변하는 공인참고사서의 수준을 향상시키며, 참여도서관들의 소비자건강정보관련 핵심장서를 개발하도록 지원한다.

    1998-1999년에 Langeloth Foundation으로부터의 기금이 시골지역에 위치한 크랜달공공도서관(Crandall Public Library, CPL) 내 Langeloth Convalescent Education and Information Center와 도심인 뉴욕시의 퀸즈 공공도서관(Queens Public Library, QPL)에 기부되었다. 초창기의 목적은 질병회복시기에 있는 환자들에게 정보를 제공하기 위한 것이었다. 이 재단은 2001년에 교육과 서비스의 기초를 확립할 Langeloth Center를 설치하는데 $120,000의 기금을 기부했다.

    Langeloth Center에서 전화, 이메일, 대면, 정보패킷 형태로 요청된 질의는 일반적으로 24시간 안에 처리된다. 그 센터는 도서, 연속간행물, 비디오, 온라인데이터베이스, 소비자건강 정보관련 웹사이트를 포함하여 핵심 참고자료장서를 소장하고 있다. Langeloth Foundation으로부터의 추가 기금은 크랜달공공도서관이 해당 서비스를 사서를 포함하여 일반인에게까지 확장시키기 위한 것이며, 또한 선별된 뉴욕도서관들 내에 Langeloth Center를 설치하기 위한 것이다. NLM은 뉴욕의 공공도서관 사서들을 훈련시키는 부분에서 협력을 해주었다. LSTA 그랜트는 “Link to Better Health: Consumer Access to Electronic Health Information"를 지원한다. 이 사이트는 건강관련 도서관 웹사이트는 물론 10개의 건강관련 웹페이지를 포함하고 있다. 크랜달공공도서관은 2002년에 Albany, Brooklyn, Utica의 공공도서관들에 Langeloth Center를 설치하도록 도왔으며, LSTA 그랜트는 MedWeb(Online Consumer Health Training for the Clinton-Essex-Franklin Library System)을 위한 자금을 투자했다. Langeloth Foundation 그랜트는 ‘성공 규칙: 인터넷상의 소비자건강정보’, ‘만병통치약에서부터 페니실린까지: 인터넷상의 소비자건강정보원 평가'와 같은, 사서를 위한 다양한 교육 프로그램을 개발하도록 지원하기도 했다.

       2.3 시사점

    위의 선행 연구 및 공공도서관이 운영하는 사서대상 교육프로그램을 분석한 결과 다음과 같은 시사점을 도출할 수 있었다.

    첫째, CHI 서비스에 관심이 있는 공공도서관들은 CHI의 평가자 및 제공자로서의 사서의 역할을 매우 중시하고 있으며, 사서들의 이러한 역량을 강화하기 위해 사서들을 대상으로 CHI관련 교육을 제공하고 있다.

    둘째, CHI관련 교육을 제공하기 위해 대학도서관 및 공공도서관 등 다양한 관종의 도서관과 협력적 교육프로그램을 운영하고 있다.

    셋째, 미국 의학도서관협력협회가 사서교육을 직접 지원하고 있으며, 다양한 훈련프로그램을 무료로 제공할 뿐만 아니라, 교육데이터베이스를 구축하여 제공하고, CHI 워크숍 시리즈 및 웹사이트도 개발하여 제공하고 있다.

    넷째, 의학도서관이 다양한 관종의 도서관 참고사서들을 대상으로 교육을 실시하는 사례가 많으며, 교육자료는 웹사이트로 개발하여 제공하고 있다. 특히 매사츄세츠 종합병원의 트레드웰 도서관은 뉴스레터, 웹사이트, 인쇄 및 전자장서, 계속교육워크숍 등에 대한 정보, CHI관련 샘플 질문 및 각종 통계정보들을 제공하고 있는 것이 특징적이다.

    3. 연구질문

    본 연구는 공공도서관 사서들을 대상으로 교육을 실시하고 그 효과를 측정하는 것이며, 더불어 CHI관련 교육 프로그램의 활성화를 위해 교육관련 요구 사항을 파악하는 것이다. 본 연구에 앞서 수행된 연구를 통해 CHI관련 서비스 제공여부, CHI 장서 및 정보원 구축여부, CHI참고서비스 제공여부, CHI관련 교육 경험 여부, CHI관련 취약계층에 대한 서비스 제공여부 등에 대해서 파악하였다(노영희 2011; 노영희, 오상희 2011). 그 중에 교육과 관련된 결과를 보면, CHI관련 교육을 받은 경험이 있는 사서는 거의 없는 것으로 나타났다.

    이에 본 연구에서는 CHI관련 교육경험을 제공하고 그 효과를 측정하고자 하였으며, 다음과 같은 연구질문과 함께 연구를 진행하였다.

    RQ1: 공공도서관 사서들은 가장 기본적이라고 할 수 있는 소비자건강정보관련 용어에 익숙할 것인가?

    RQ2: 공공도서관 사서들이 CHI관련 참고서비스를 제공할 때 가장 어려워하는 점은 무엇이며, 교육은 어떤 점에 주안점을 두어야 할 것인가?

    RQ3: 공공도서관 사서들은 CHI관련 교육을 원하는가? 원한다면 어떤 종류의 교육프로그램이 적절하다고 생각할 것인가?

    RQ4: CHI관련 교육이 사서들의 인식에 유의한 영향을 미칠 것인가?

    위 연구질문에 대한 것은 설문 문항으로 개발하여 조사?분석함으로써 논의를 통해 그 답변을 제시하고자 하였다.

    4. 연구설계 및 방법론

    건강정보에 대한 관심이 증가하고 노령인구의 증가로 건강관련 정보를 요구하는 이용자들이 증가하고 있으며, 이러한 변화를 가장 먼저 느끼는 곳이 공공도서관이라 할 수 있다. 그러나 국내 공공도서관의 경우 CHI에 대한 서비스 경험이 부족할 뿐만 아니라 사서들은 이용자들의 요구에 당황해 하고 있으며, 이와 관련된 질 높은 서비스를 제공하고 있지 못하다.

    공공도서관 사서들은 이용자에게 신뢰성 있는 건강정보를 신속하게 제공하기 위하여 관련 지식을 획득해야 하는데, 국내 어떤 기관에서도 공공도서관 사서들을 대상으로 한 CHI관련 교육을 제공하지 못하고 있는 것이 현실이다.

    이에 본 연구에서는 사서들을 대상으로 한 CHI관련 교육을 제공할 뿐만 아니라 이러한 교육이 현 공공도서관 사서들의 인식에 어떠한 변화를 주는지를 알아보고자 하였다. 즉 사서대상 교육 프로그램을 개발하고, 교육 이수전과 후의 차이를 분석하여 사서의 인식변화를 측정하고자 하였다. 또한 이를 통해서 교육프로그램의 장단점 분석 및 개선방향 모색을 기반으로 국내에 적합한 사서대상 교육프로그램을 제안하고자 하였다. CHI 교육방법으로 온라인, 오프라인, 워크숍 등의 다양한 교육방법이 있으나, 이들 교육 방법간의 비교는 본 연구에서는 한계가 있을 것으로 생각되어 생략하였다.

       4.1 사서교육 프로그램 설계

    본 연구과정에서 제공되는 사서대상 교육프로그램은 CHI관련 주제가 국내에 생소하고 공공도서관에서 CHI 서비스를 제공해야 하는지에 대해 아직 공감대가 형성되지 않은 상황에서 수행되기 때문에 교육프로그램의 주제는 비교적 쉽게 잡았다. 즉 CHI 서비스의 의미 및 왜공공도서관에서 소비자건강정보서비스를 제공해야 하는지, 소비자건강정보서비스를 제공하고 있는 국내외 사례 및 현황, 그리고 10여개의 소비자건강정보원 활용방법 등이다. 이러한 연구주제는 본 연구의 연구자와 강사진이 서너번의 심도 있는 토론을 통해 정하였으며, 한 달 간의 준비기간을 통해 완료하였다.

    사서들을 위한 교육방법으로는 세미나 및 토론 방식을 선택했다. 강사가 강의를 제공하고 그 주제에 대해 질문과 토론을 통해 공공도서관이 CHI와 관련하여 어떤 서비스를 제공해야 하고, 이용자의 CHI 리터러시를 향상시키기 위한 방안은 무엇인지에 대해서도 논의하였다.

    강사진은 건강정보원에 대해서 비교적 관심이 있는 공공도서관 사서들로 구성하였으며, 총 3명의 강사가 2개월간의 준비기간을 거쳐 약 1시간씩 강의를 진행하였다.

    교육교재로는 건강관련 지식정보원 시리즈 총 4권(노영희 2012a~d), 10개의 CHI 관련 웹정보원 활용매뉴얼, 교육을 위해 개발된 CHI 정보원 홈페이지(각종 건강정보원 웹사이트 링크 제공 및 개념에 대한 소개), 그리고 강사가 제공하는 강의록이다(<표 1> 참조).

    CHI 정보원 홈페이지는 사서들에 대한 교육을 보다 효과적으로 수행하기 위해 개발된 사이트이다(<그림 1> 참조). 소비자건강정보원포털(HPK, HealthPortal-Korea, 헬스포털코리아)은 한국의 도서관에서 품질 높은 소비자건강정보서비스를 제공할 수 있도록 국내 최초로 구축된 것으로, 소비자건강정보원을 체계

    [표 1] 사서대상 CHI 교육설계 내용

    label

    사서대상 CHI 교육설계 내용

    적으로 수집하여 건강정보원의 매개체 역할을 하는 사이트이다. 본 사이트에서는 국내와 국외의 건강정보원을 소개하고, 이와 관련된 책자와 논문뿐만 아니라 교육자료를 제공한다.

    사이트 소개부분에서는 HPK는 ‘한국 도서관에서 소비자건강정보서비스 제공 운동(CHI Service Movement in Korean Libraries)'이라고 소개하고 있다. 건강정보원 부분에서는 111건의 국내 정보원, 80건의 해외 정보원, 총 191건의 정보원을 제공하고 있고, 이용자가 각각의 사이트에 별점 평가를 할 수 있는 기능을 제공하고 있다. 관련도서 및 논문 부분에서는 건강정보와 관련된 도서 및 논문을 소개하고 있으며, 교육자료 부분에는 사서 및 이용자들을 교육하기 위한 자료들이 게재되어 있다. 또한 커뮤니티 부분에서는 사서나 이용자가 건강정보와 관련하여 질문답변을 하거나 관련 정보를 공유할 수 있도록 하고 있다.

       4.2 표집 방법 및 데이터 수집절차

    국내 공공도서관 사서들에게 CHI 서비스는 매우 새로운 서비스이며, 더구나 CHI 교육 및 세미나는 경험해 보지 못한 것이다. 따라서 CHI에 대해 잘 알지 못하는 공공도서관 사서들을 교육대상으로 섭외하는 것은 쉽지 않은 일이었다. 따라서 다음과 같은 절차를 통해 본 연구를 위해 CHI 교육에 참여할 사서를 섭외하였다.

    먼저, 2011년에 수행된 ‘국내 공공도서관의 소비자건강정보 제공현황 조사분석 연구’(노영희 2011)에서 ‘2010년 도서관연감’에 등재된 약 748개 기관 중 CHI관련 서비스를 제공하고 있는 129개의 공공도서관 홈페이지를 분석하였고, 같은 해 ‘공공도서관에서 소비자건강정보를 제공하는 것에 대한 사서의 인식 조사연구’에서 이들 129개 도서관의 참고사서들을 대상으로 설문조사를 하였으며 총 56명의 사서가 설문에 응답하였다. 본 연구에서는 56명의 사서가 CHI관련 교육 참여에 다소 긍정적인 생각을 가지고 있을 거라 생각하고, 이들을 대상으로 교육의 목적과 방향을 설명하고 교육에 참여할 것을 전화로 요청하였다. 이중 교육 참여의사를 밝힌 사서는 12명이다.

    이번 교육은 공공도서관 사서를 대상으로 제공되는 한국 최초의 CHI관련 교육으로서, 그 의미를 부여하기 위해 ‘한국 도서관에서 소비자건강정보서비스 제공 운동(CHI Service Movement in Korean Libraries)’을 모토로 정하였으며, 이 의미를 좀 더 부각시키기 위해 다른 매체를 통해서 홍보를 하였다. 즉, 문헌정보학을 전공하거나 도서관에서 근무하는 사람이 회원으로 가입되어 있는 도메리를 통해 2회에 걸쳐 적극적으로 홍보하였으며, 참고정보원 수업에 참여하는 학생들에게 이 교육에 참여할 수 있는 기회를 부여하였다.

    그 결과 세미나에 참석한 공공도서관 사서의 총 수는 16명이고, 공공도서관 사서가 아닌 학부생 및 대학원생의 수는 40여명 정도로 총 60여명이 교육에 참여하였다. 이 중 설문은 공공도서관 사서들만을 대상으로 이루어졌으며, 교육전후의 설문에 응답한 공공도서관 사서는 교육전 12명, 교육후 14명이다. 회수된 설문지는 통계분석을 위하여 문항별로 코딩되었다.

       4.3 설문 내용과 문항 구성

    본 연구에서 사용되는 설문지의 문항은 해외에서 CHI 서비스 교육을 한 후 교육효과를 측

    [표 2] 설문지의 내용과 문항 구성

    label

    설문지의 내용과 문항 구성

    정한 설문연구자료, 공공도서관 현장에서 CHI교육의 효과를 측정한 연구 등을 포괄적으로 참조하여 개발하였다. 설문개발을 위해 집중적으로 분석된 논문은 웹기반, 워크숍, 교육용 툴킷, 비디오 교육 등 다양한 교육방법을 소개한 논문(Wu, et al. 2006), 공공도서관과 대학도서관간의 성공적인 협력프로젝트로 평가?연구한 논문(Snyder, Huber, and Wegmann 2002), 그리고 펜실베이니아 16개 카운티내 공공도서관 사서들에게 CHI관련 훈련을 제공하고 그 성과를 평가한 연구(Wessel, Wozar, and Epstein 2003)이다. 최종적으로 CHI 서비스 제공현황, CHI 교육효과 및 개선요구사항, 그리고 개인적 배경을 묻는 질문으로 구성된 설문지가 작성되었다. 설문지의 내용과 문항구성을 정리하면 <표 2>와 같다.

       4.4 통계분석기법

    본 연구에서는 데이터의 통계분석을 위하여 SAS 통계 패키지를 사용하였으며, 설문 문항 각각에 대하여 빈도분석과 기술통계를 산출하였다. 분석기법으로 맥니마 검정과 윌콕슨 순위합 검정을 사용하였다.

    4.4.1 맥니마 검정

    맥니마 검정(McNemar test)은 서로 상관관계가 있는 두개의 이항반응 변수의 성공확률을 비교할 때 사용된다. 맥니마 검정이 필요한 가장 대표적인 예는 짝지은 표본에서의 이항반응 문항에 대한 응답비율 비교이다. 본 연구에서는 교육전/후의 피교육자들의 응답을 비교해 교육효과를 측정하는데 맥니마 검정이 사용되었다. 맥니마 검정의 기본 원리는 다음과 같다. 이항 반복측정 자료를 <표 3>과 같이 나타내었을 때, 1번째 측정과 2번째 측정의 성공확률이 같다는 귀무가설은 p1 + p2 = p1 + p3로 표현될 수 있다(pi는 응답자가 ni에 속할 확률).

    [표 3] 이항 반복측정 자료

    label

    이항 반복측정 자료

    따라서 가설검정의 문제는 p2 = p3 에 대한 검정으로 단순화된다. 이를 위한 맥니마 검정 통계량은 다음과 같다.

    image

    이 때 맥니마 검정통계량은 대표본에서 자유도 1인 카이제곱분포를 따른다. 소표본에서는 이 같은 분포 근사가 정확하지 않으므로 이항확률을 이용한 정확 분포를 구하여 유의확률을 계산할 수 있다.

    4.4.2 윌콕슨 순위합 검정

    윌콕슨 순위합 검정(Wilcoxon rank sum test)은 1표본 위치문제에 대한 비모수 검정으로 맨 휘트니 검정(Mann-Whitney)이라고도한다. 이 검정은 표본의 크기가 작아 정규분포에 대한 대표본근사를 사용할 수 없거나 자료의 정규성을 가정할 수 없어 T검정을 사용할수 없을 때 사용한다. 본 연구에서는 많은 경우에 정규분포를 가정할 수 없어 교육전후 효과를 비교할 때 짝지은 T검정을 사용할 수 없다. 따라서 교육전후 응답 차이에 대한 윌콕슨 순위합 검정을 실시하였다. 윌콕슨 순위합 검정 절차는 다음과 같다. 우선 각 관측치의 절대값에 대해 순위를 부여한 후, 원래 관측값이 귀무가설에서 가정하는 값(본 연구의 경우 0)보다 큰지 작은지에 따라 부호를 부여한다. 그 다음 이를 모두 더한 값이 검정통계량이 되며, 유의확률은 정확분포를 사용하여 비모수적으로 구한다.

    5. 결 과

       5.1 응답자의 인구통계학적 분석

    본 연구의 교육에 참여한 피교육자 수는 16명의 공공도서관 사서와 참고정보원 수업을 듣는 문헌정보학과 학생 약 40여명이며 교육을 제공한 강사는 총 3명이었다. 이 중 교육전에 설문에 참여한 사서 수는 12명, 교육후에 설

    [표 4] 응답자의 담당업무 분포(우선순위대로 2개만 선택)

    label

    응답자의 담당업무 분포(우선순위대로 2개만 선택)

    문에 참여한 사서 수는 14명이었다. 교육전후 교육효과 측정을 위해 교육전 설문에 참여하지 않은 사서의 응답은 제외하고 12명의 설문결과에 대해서만 분석을 하였다. 또한 40여명의 학생이 교육에 참여하였으나 이번 교육의 목적은 현직 공공도서관 사서들을 대상으로 수행된 것이므로 설문을 하지 않았으며, 다만 공공도서관에서의 CHI 서비스 제공에 대한 인식을 확산시키는데 의의를 두고자 하였다.

    설문에 참여한 12명의 공공도서관 사서의 인구통계학적 특징을 간단히 기술하면 다음과 같다. 피교육자 중 설문에 참여한 사서의 성별조사에서 남성은 16.7%, 여성은 83.3%로 여성의 비율이 높게 나타났고, 응답자의 연령대 분포에서, 20-29세의 비율은 16.7%, 30-39세 33.3%, 40-49세 25%, 50-59세 16.7%로 나타났다(무응답자 8.3%). 응답자의 문헌정보학교육정도를 조사한 결과 대학원 박사 졸업자 8.3%, 석사 졸업자 25%, 4년제 학부 졸업자 50%, 사서교육원 8.3%, 무응답자 8.3%로 나타났다. 또한 응답자가 담당했던 업무 중 가장 오랫동안 담당했던 업무는 무엇인지 우선순위대로 2개만 선택하도록 한 결과, 참고봉사업무와 경영?기획업무가 각각 41.7%로 가장 높게 나타났다. 다음으로 수서업무 33.3%, 이용자 교육업무 25%, 분류목록업무 16.7% 순으로 나타났다(<표 4> 참조).

       5.2 교육효과 분석

    본 연구는 교육효과를 측정하기 위한 것으로, 교육 효과를 측정하기 위해 총 10개의 문항은 교육전후에 배포된 설문문항에 동일하도록 하였다. 즉 교육효과 측정을 위한 질문은 소비자 건강정보 용어에 익숙한 정도, 이용자가 건강정보를 요구했을 경우 주로 제공하는 자료, 이용해 본 CHI관련 정보원, CHI관련 정보원을 이용하는 빈도, 건강관련 질문답변에 걸리는 시간, 업무 수행에 도움이 될 CHI관련 교육내용, 건강정보와 관련하여 이용자의 질문에 답변을 할 때 어려웠던 점, 이용자들의 건강정보활용능력을 위한 교육 프로그램 제공여부, 건강정보 관련 세미나/강의/워크숍참여의사, 건강관련 교육프로그램이 업무 수행에 유익할지에 대한 사항 등이다.

    5.2.1 소비자건강정보 용어에 익숙한 정도

    소비자건강정보 관련 용어에 익숙해진 정도를 측정하였으며, 익숙해진 사서의 수는 늘어난 반면, 익숙하지 않다고 응답한 비율과 매우 익숙하지 않다고 응답한 비율은 상당히 줄어든 것으로 나타났다. 즉 익숙하다는 8.3%에서 25%로 증가하였고 익숙하지 않다는 75.0%에서 33.3%로 줄어들었다. 통계적 유의성을 검정하기 위해 p값을 분석하였으나 교육전후의 설문에 참여한 사서의 수가 총 12명으로 통계적 유의성을 판정하기는 힘들다고 할 수 있다 (<표 5> 참조). 한편, 매우 익숙하다는 응답은 교육후에도 없었는데 이는 건강정보교육이 국내에서 최초로 수행되었고 교육시간이 길지 않았기 때문에 사서들이 자신 있게 매우 익숙하다고 응답하는데 무리가 있었을 것으로 사료된다.

    [표 5] CHI관련 용어에 익숙한 정도

    label

    CHI관련 용어에 익숙한 정도

    [표 6] 이용자들의 건강정보활용능력을 위한 교육 프로그램 제공여부

    label

    이용자들의 건강정보활용능력을 위한 교육 프로그램 제공여부

    5.2.2 이용자들의 CHI 리터러시 향상을 위한 교육여부

    이용자들의 건강정보활용능력을 향상시키기 위해 각 공공도서관에서 교육 프로그램을 제공하고 있는지 질문하였다. 전체적으로 교육전보다 교육후에 교육프로그램을 제공한다는 숫자가 늘어났으나 그 숫자가 미미하며, 의료관련단체 활용방법 및 건강정보 데이터검색 및 활용방법에 대한 것은 교육후에도 한 도서관에서도 제공하지 않은 것으로 나타났다. 또한 교육후에도 건강관련 교육프로그램을 제공하지 않을 계획이라고 응답한 도서관이 91.7%나 되는 것으로 나타났다(<표 6> 참조). 기타사항에 입력한 내용의 의견을 보면, 일단 사서 자신이 건강정보에 대한 지식이 충분하지 않으며, 이러한 교육 프로그램을 제공하기 위해서는 도서관 전체 직원의 공감대가 형성되어야 한다는 의견이 많았다.

    위 설문 결과 및 도서관 사서의 의견을 종합적으로 정리해보면, 교육후에 이용자들의 건강정보활용능력 향상을 위한 교육 프로그램이 늘어나고 그 내용도 다양해 졌음이 미미하게 나마 나타났다. 따라서 사서들을 대상으로 한 CHI관련 교육이 늘어나면 이용자들에 대한 교육도 늘어날 것이라고 예측할 수 있다. 그러나 이러한 프로그램을 제공하기 위해서는 사서들의 지식과 공감대가 전체적으로 향상되어야 하는데, 이를 위해서는 이용자들의 건강정보에 대한 요구가 증가하고 있음(Derring and Harris 1996)과 정확하고 신속한 건강정보를 제공해야

    [표 7] 이용자가 건강정보를 요구했을 경우 주로 제공하는 자료

    label

    이용자가 건강정보를 요구했을 경우 주로 제공하는 자료

    할 공공도서관의 의무(Rees 1982; Gillaspy 2000)와 해외에는 이미 건강정보관련 교육사이트와 전문교육기관이 많이 있음(Champ-Blackwell and Weldon 2005; Stone 2004)을 관장을 비롯한 국가기관에 알릴 필요가 있다고 본다.

    5.2.3 건강정보서비스를 위해 활용하는 자료

    <표 7>을 볼 때 이용자의 건강정보에 대한 요구가 있을 때 활용하는 자료가 교육전보다 교육후가 훨씬 다양해졌음을 알 수 있다. 특히 전혀 이용되지 않았던 의학관련 데이터베이스를 활용하는 비율이 8.3%로 증가하고 뉴스나 미디어 매체 활용비율이 33.3%로 증가하였다. 그 외 의학관련 참고정보원 이용비율이 16.7%에서 41.7%로, 웹사이트 정보 이용비율이 8.3%에서 58.3%로 증가한 것으로 나타났다. 특히 웹사이트 부분에서 p값이 0.03125로 유의수준 0.05보다 낮아 유의하게 교육효과가 나타난 부분이라 할 수 있다.

    이용자가 사서에게 건강정보를 요구했을 때 주로 활용하는 자료에 대해 교육전후의 차이를 분석하였으며, 이용자에게 자관 또는 타관의 다른 사서들을 소개해 준다는 것만 교육전후에 전혀 차이가 없었고 다른 항목에서는 변화가 있는 것을 알 수 있다. 다른 사서들을 소개해 주기 위해서는 자신이 그 분야에 대한 지식이 별로 없는 경우, 그리고 그 분야에 대한 전문서비스를 제공해 줄 사서를 알고 있는 경우, 적어도 그 분야에 전문화된 도서관을 알고 있는 경우에 가능하다고 본다. 그러나 이 또한 국내에 소비자건강정보서비스가 도입단계에 있기 때문에 이 분야에 전문지식을 가지고 있는 전문사서나 도서관을 아는 것은 어려울 것이며, 아직까지 이 분야에 전문화된 도서관이나 전문사서가 별로 없을 것으로 추정된다.

    이로 볼 때 소비자건강정보 전문사서의 양성과 소비자건강정보에 특성화된 도서관의 필요성이 요구된다고 할 수 있다. 해외의 소비자 건강정보 참고서비스센터(CHRC)가 그 좋은 사례가 될 수 있으며, 이 기관은 사서들간 협력서비스를 제공하며, 모든 관종의 도서관 직원들이 이용할 수 있도록 하고 있다.

    5.2.4 이용해본 CHI관련 정보원

    공공도서관 사서들이 소비자건강정보와 관련된 정보원을 이용해 본 경험정도에 대해 질문하였다. 이용경험 정도에 대한 질문을 위해 제공된 정보원은 2012년에 개발된 CHI 정보원 평가기준(Oh and Noh 2012)을 기반으로 20여명의 사서 및 50여명의 이용자들을 대상으로 실제 정보원을 평가한 연구결과(Noh 2013)에서 상위 순위에 나타난 15건의 국내 CHI 정보원 사이트를 선정하였다. 추가적으로 본 연구를 위해 개발된 헬스포털코리아(HealthPortal-Korea, HPK)와 미국에서 이용자 교육내용으로 가장 많이 들어가는 사이트인 PubMed와 MedLinePlus를 포함시켰다(Champ-Blackwell and Weldon 2005; Wessel, Wozar and Epstein 2003). 교육기간에 이들 사이트들에 대해 소개하고 특징에 대해서 설명하였다. 그러나 시연 및 교육은 헬스포탈코리아(HPK), 365홈케어, 하이닥, 비타민 MD, 건강샘, 코메디 닷컴, 조인스 MSN 건강, 매경헬스, 메드시티, 헬스조선 등 10개만을 대상으로 하였다.

    교육전후에 공공도서관 사서들이 CHI 정보원을 이용하는 정도를 측정하였으며, 그 결과 전체적으로 CHI 정보원 이용비율이 증가했다는 것을 알 수 있으며, 특히 시연 교육을 했던 10개의 사이트에 대한 이용비율의 증가폭이 큼을 알 수 있다. 반면에 교육내용으로 포함시키지 못했던 eHospital, 닥터, 닥터크레지오, PubMed, MedLinePlus 등의 사이트에 대한 이용비율은 거의 증가하지 않았거나 아예 이용하지 않은 것으로 나타났다(<표 8> 참조). 이는 다양한 CHI 정보원에 대한 교육은 해당

    [표 8] 이용해 본 소비자건강정보 관련 정보원

    label

    이용해 본 소비자건강정보 관련 정보원

    사이트에 대한 지식과 이용률을 높일 수 있으며, 이는 곧 이용자 교육에도 영향을 미칠 수 있음을 의미한다.

    5.2.5 CHI관련 정보원을 이용하는 빈도

    위 문항에서 제시된 CHI관련 정보원들을 얼마나 자주 이용하는지 질문하였으며, 전혀 이용하지 않는다는 비율이나 몇 달에 한번 이용한다는 비율이 줄어들고, 한 달에 한번이나 한 달에 여러번이라는 비율은 어느 정도 증가하였다 (<표 9> 참조). 그러나 질문에 제시된 빈도 중 하루에도 여러 번, 하루에 한번 정도, 일주일에 2-3번 정도라는 항목에 대해서는 그 빈도가 0으로 나타났으며, 이는 아직도 건강정보원 이용빈도는 그다지 높지 않음을 시사하고 있다.

    5.2.6 CHI관련 질문에 답변하는 시간

    공공도서관 사서가 이용자로부터 받은 건강

    [표 9] CHI관련 정보원을 이용하는 빈도

    label

    CHI관련 정보원을 이용하는 빈도

    [표 10] 건강정보 관련 질문의 유형

    label

    건강정보 관련 질문의 유형

    정보관련 질문들을 총 100%로 했을 때, 그 질문들의 범주를 즉답형 질문(0-3분 걸리는 질문), 참고데스크나 전화로 해결할 수 있는 질문(4-10분 걸리는 질문), 며칠이 걸리는 질문(사서가 전화요청을 통해, 컨설턴트 받은 후, 또는 추가적인 연구를 수행한 후 이용자에게 답변해 주는 질문)으로 구분하여 이용자의 참고질의 유형에 대해 질문하였다. 그 결과 평균값으로 비교했을 때, 교육전보다 교육후에 이용자들의 건강정보관련 참고질의에 응답하는 시간이 길어졌음을 알 수 있다. 즉, 교육전에는 하지 않았던 것으로 교육후에는 타 기관에 대한 요청이나 컨설턴트를 받는 것, 그리고 추가적인 연구를 수행하는데 도움을 주는 연구 지향적, 장기적 참고서비스는 0%에서 0.3%정도로 증가한 것으로 나타났다. 이는 사서들의 건강정보질문에 대한 관심의 증가 및 자신감의 증가와 관련이 있다고 볼 수 있다(<표 10> 참조). 이 경우 교육전후의 평균값에 있어서 유의한 차이는 발견되지 않았으나, 교육후 표준편차가 크게 증가한 것으로 보아 피교육자에 따라 매우 상이한 결과를 보이고 있는 것으로 보인다.

    5.2.7 업무수행에 도움이 될 교육내용

    CHI관련 업무를 수행하는데 도움이 될 교육 내용에 대해 질문하였으며, 특정 질병이나 증세에 관한 정보, 의료 보험 및 의료 혜택에 관한 정보, 특정 병원이나 의료 기관에 관한 정보, 처방전이나 약의 부작용에 관한 정보 부분에서 응답자의 수가 증가하는 것으로 나타났다. 반면에 절주 및 음주에 관한 정보, 식이 및 영양에 관한 정보, 금연에 관한 정보 등의 부분에서는 응답자 수가 줄어드는 것으로 나타났다. 이로 보아 사서들은 교육전에 공공도서관에서는 건강과 관련된 비교적 가벼운 정보만을 제공할 수 있다고 생각하고 있었으나 교육후에 질병과 관련된 비교적 깊이 있는 정보까지 제공할 수 있고, 해야 한다고 인식의 변화가 일어났다고 할 수 있다(<표 11> 참조).

    해외 사례에서 살펴보았듯이 해외 공공도서관 사서들은 이미 특정 질병의 치료와 관련된 자료까지 제공하고 있고(Champ-Blackwell and

    [표 11] CHI관련 업무수행에 도움이 될 교육내용

    label

    CHI관련 업무수행에 도움이 될 교육내용

    Weldon 2005), 그와 관련된 교육을 받고 있음을 알 수 있다. 특히 이용자들은 마약이나 성에 대한 정보(임신, 성병), 우울증, 스트레스, 정신질환에 관한 정보를 얻기 위해 병원에 바로 가기보다는 그에 대한 정보를 인터넷이나 도서관에서 미리 학습한다고 하였다. 따라서 도서관은 이용자들이 인터넷의 검증되지 않은 정보보다 품질 높은 정보원을 접할 수 있도록 해야 한다. 이는 사서들이 CHI 정보원 평가기준에 대한 교육이나 관련 정보원에 대한 교육을 받아야 하는 이유이기도 하다.

    5.2.8 답변시 어려웠던 점과 해결방안

    소비자건강정보와 관련하여 이용자의 질문에 답변을 할 때 어려웠던 점과 그 해결방법에 대해서 질문하였다. 이와 관련하여 총 네 개의 항목으로 구분하여 질문하였다.

    첫째, 건강정보관련 질문에 대해 답변할 때 시간이 많이 걸리는 것을 느끼는 지에 대해 5점 척도로 답변하도록 하였으며, 그 결과 교육전보다 교육후에 건강정보관련 답변을 할 때 시간이 더 적게 걸린다고 느낀다는 것을 알 수 있으며, 평균값이 3.364에서 2.5%로 줄어들었고 편차도 줄어든 것으로 나타났다(<표 12> 참

    [표 12] CHI관련 답변시 시간이 많이 걸리는지에 대한 느낌

    label

    CHI관련 답변시 시간이 많이 걸리는지에 대한 느낌

    [표 13] CHI관련 질문에 대해 답변할 때 자료 및 정보원의 한계

    label

    CHI관련 질문에 대해 답변할 때 자료 및 정보원의 한계

    조). p값도 0.5에 가까워 유의한 차이가 있는 것으로 나타났으며, 이 부분에 있어서 교육의 효과가 있었다고 할 수 있다.

    둘째, 건강정보관련 질문에 대해 답변할 때 자료 및 정보원의 한계를 느끼는지에 대해 질문하였으며, 평균값이 3.909에서 2.1로 상당히 많이 줄어든 것으로 나타났으며 편차도 매우 많이 줄어들었다(<표 13> 참조). p값은 0.0078로 매우 유의한 차이가 있는 것으로 나타났으며, 이 부분에서도 건강관련 교육의 효과가 크게 나타났다고 할 수 있다.

    셋째, 건강정보관련 질문에 대해 답변할 때 다른 도서관에 도움을 요청하는 편인지에 대해 질문하였으며, 평균값이 2.364에서 3.9로 증가한 것으로 보아 교육후에는 관련 질문에 대한 답변을 해결하기 위해 관련기관에 답변을 요청하는 비율이 증가하였다고 할 수 있다(<표 14> 참조). 이는 건강정보관련 질문을 받았을

    [표 14] CHI관련 답변시 다른 기관에 도움 요청 여부

    label

    CHI관련 답변시 다른 기관에 도움 요청 여부

    때 자관에서만 해결하려던 자세에서 다른 기관에까지 참고요청을 하여 답변을 해결해 주려는 적극적 자세로 바뀌었다는 것을 알 수 있다. 또한 교육으로 인해 관련기관에 대한 지식이 향상되고 건강정보관련 질문도 도서관에서 해결해 주어야 한다는 부분에서 인식의 변화가 있었을 것으로 해석된다.

    넷째, 요청을 한다면 어떤 유형의 기관에 도움을 요청하는지 질문하였으며, 그 결과 전반적으로 외부기관에 대해 요청하는 비율이 증가하기는 하였으나 아직도 외부 전문기관까지 정보를 요청하는 일은 미약하며, 이러한 결과

    [표 15] 도움을 요청하는 기관의 유형

    label

    도움을 요청하는 기관의 유형

    는 교육전후 효과 측정기간이 짧은 것도 영향이 있었을 것으로 보인다(<표 15> 참조).

    5.2.9 CHI관련 교육에의 참여여부

    건강정보관련 세미나/강의/워크숍이 제공된다면, 참여할 의사가 있는지 질문하였으며, 아니라고 응답한 사람은 교육전에도 후에도 없었으며, 그렇다와 매우 그렇다고 응답한 비율이 약간 증가한 것으로 나타났다. 즉 교육전에는 66.7%의 응답자가 참여의사가 있다고 하였고 교육후에는 83.3%의 응답자가 교육에 참여하겠다고 응답하였다(<표 16> 참조).

    [표 16] CHI관련 교육에 참여의사 여부

    label

    CHI관련 교육에 참여의사 여부

    [표 17] 소비자건강정보관련 교육프로그램의 업무수행에 도움이 되는 정도

    label

    소비자건강정보관련 교육프로그램의 업무수행에 도움이 되는 정도

    5.2.10 CHI관련 교육의 업무수행에 도움이 되는 정도

    건강정보관련 교육프로그램이 업무를 수행하는 데 유익할 것이라 생각는지에 대한 질문에 대해서는 긍정적인 효과를 보지 못했음을 알 수 있다. 즉, 그렇다고 응답한 비율은 약간 감소하고 보통이라고 응답한 사람의 비율이 오히려 증가하였다. 이는 본 연구에서 수행된 교육의 질적인 부분과 방법론적인 부분에서 문제가 있었을 수 있으며, 개인이 아니라 국가 및 기관차원에서 교육이 있을 경우 이들의 만족도는 높아질 수 있을 것이며, 그 인식도에 다른 영향을 줄 수 있을 것으로 보인다. 교육전보다 교육후의 평균값이 3.833에서 3.75로 줄어든 것을 알 수 있다(<표 17> 참조).

       5.3 교육후 개선요구사항

    공공도서관 사서들을 대상으로 수행된 이번 CHI관련 교육은 국내에서 최초로 수행된 교육프로그램인데다 CHI 서비스에 대한 인식이 높지 않은 상황에서 수행되었기 때문에 CHI 정보원에 대한 깊이 있는 분석을 포함하여 비교적 발전된 단계의 교육 내용인 CHI서비스를 위한 기관간 협력방안이나 효과적인 참고서비스 제공방안, 아웃리치서비스 방안, 품질 높은 CHI 정보원 평가기준과 확보방안에 대한 내용등은 다룰 수 없었다. 따라서 교육내용은 공공도서관에서의 소비자건강정보서비스 의미, 국내외 소비자건강정보서비스 사례 및 현황, 공공도서관에서의 소비자건강정보 활용방안 등으로 비교적 가볍게 접근하고 있다.

    이렇게 제공된 교육후의 개선요구 사항을 파악함으로써 본 연구 이후에 수행될 수 있는 CHI 관련 교육프로그램의 개발에 도움이 될 수 있도록 하고자 하였다. 이를 위해 교육수준의 적절성, 교육내용의 흥미성, 제공된 강의정보의 유용성, 공공도서관 정규 교육프로그램으로의 포함 필요성 등의 항목에 대해 질문하였다.

    첫째, 교육수준의 적절성에 대해 질문하였으며, 교육에 참여한 피교육자들은 이번에 제공된 교육의 수준이 적절한 지에 대해 비교적 긍정적으로 평가하고 있는 것으로 나타났으며, 75%의 응답자가 교육수준이 적절하다고 평가하였다. 그러나 이번 교육은 초기 단계의 교육으로서 보다 심층적인 내용이 교육 프로그램으로 제공되어야 하며, 소비자건강정보 전문사서의 양성에 도움이 될 수 있도록 개발되어야 한다.

    [표 18] 교육수준의 적절성 및 교육내용의 흥미성

    label

    교육수준의 적절성 및 교육내용의 흥미성

    [표 19] 제공된 강의정보의 유용성

    label

    제공된 강의정보의 유용성

    [표 20] CHI관련 교육프로그램의 공공도서관 사서의 정규교육프로그램으로 포함 필요성

    label

    CHI관련 교육프로그램의 공공도서관 사서의 정규교육프로그램으로 포함 필요성

    둘째, 교육내용이 흥미로웠는지에 대해 질문하였으며 91.7%가 CHI관련 교육내용이 흥미로웠다고 응답하였다(<표 18> 참조).

    셋째, 제공된 강의 정보가 유용하다고 생각하는지에 대해 질문하였으며, 91.7%가 유용했다고 응답했으며, 그중 1명은 매우 유용했다고 평가했다(<표 19> 참조).

    넷째, CHI관련 교육 프로그램이 공공도서관 사서교육을 위한 정규 교육프로그램으로 포함 되어야 한다고 생각하는지에 대한 질문에 대해서, 포함되어야 한다고 응답한 사서는 50%였고, 포함될 필요가 없다고 응답한 사서는 8.3%였으며, 41.7%는 중간적인 의견을 보여주었다 (<표 20> 참조).

    6. 논의 및 향후연구

       6.1 논의

    소비자건강정보를 유통시키는 것이 사서의 역할로 인식되고 있는 가운데, 미국을 포함한 전 세계에서 건강정보리터러시에 관한 주제가 사서와 건강 및 의료전문가 등에게 인기가 높아지고 있다(Kloda 2008). 이는 이용자들이 공공도서관을 포함한 여러 관종의 도서관이 정보 접근권한을 확실히 보장해준다고 믿으며, 도서관은 지역사회 일원들의 중립적인 곳이고, 언제나 환영되어지는 곳으로 인식하고 있기 때문이다(Burnham and Peterson 2005). 더불어 공공도서관은 기본적인 리터러시 훈련 및 CHI 리터러시 교육프로그램 제공에 있어서 중요한 역할을 할 수 있다.

    이에 본 연구에서는 공공도서관 사서들에게 CHI관련 교육경험을 제공하고 그 효과를 측정했으며, 연구질문에서 제기했던 질문 중심으로 논의를 전개하고자 한다.

    첫째, 공공도서관 사서들은 가장 기본적이라고 할 수 있는 소비자건강정보관련 용어에 익숙한지에 대해 알아보았으며, 교육전에는 75%의 응답자가 매우 익숙하지 않거나 익숙하지 않다고 응답하였으나 교육후에는 단지 33.3%의 응답자가 익숙하지 않다고 응답하였다. 참고서비스 업무에는 자신이 있으나 참고서비스 대상인 소비자건강정보 주제에 자신감을 갖기 위해서는 가장 기본이 되는 관련분야 용어를 잘알고 있어야 할 것이다. 따라서 사서교육내용에는 소비자건강정보 관련 용어에 대한 부분이 포함되어야 할 것이며, 관련분야 전문가의 초청에 의한 용어해설 강의를 고려해야 한다.

    둘째, 공공도서관 사서들이 CHI관련 참고서비스를 제공할 때 가장 어려웠던 점은 무엇인지를 파악함으로써 CHI관련 향후 교육은 어떤 점에 주안점을 두어야 할 것인지를 파악하고자 하였다. 설문결과 공공도서관 사서들은 CHI관련 참고서비스를 할 때 관련 자료 및 정보원의 한계를 느끼고 어떤 기관이나 어떤 전문가에게 관련 정보원을 요청해야 하는지에 대해서 많은 어려움을 느끼고 있는 것으로 나타났다. 이로 인해 하나의 서비스를 처리하는데 소요되는 시간이 늘어나고 서비스 부담감도 큰 것으로 보였다. 교육후에 정보원에 대한 지식과 외부 자원에 대한 지식향상으로 외부 기관에 도움을 요청하는 비율이 늘어나고 CHI관련 참고서비스 시간이 줄어드는 효과가 나타났다.

    셋째, 공공도서관 사서들은 CHI관련 교육을 원하는지, 원한다면 어떤 종류의 교육 프로그램이 적절하다고 생각하는지 파악하고자 하였다. 교육전과 후에 관계없이 CHI관련 교육이 있을 경우 참여할 의사가 없다고 응답한 사람은 한명도 없었으며, 건강정보관련 세미나/강의/워크숍 등의 기회가 제공되면 참여하겠다고 응답한 사서의 비율이 매우 높게 나타났다. 또한 교육후에 CHI관련 교육프로그램이 있으면 참여하겠다는 사서의 비율이 66.7%에서 83.3%로 증가하였으며, 이는 교육이 사서의 CHI 교육에 대한 관심도에 영향을 미쳤으며, 사서들은 CHI관련 교육을 원한다는 것을 알 수 있다. 또한 그들이 원하는 교육의 내용으로는 건강관련 정보원에 대한 교육의 필요성이 가장 높게 나타났고, 다음으로 특정 질병이나 증세에 관한 정보, 의료 보험 및 의료 혜택에 관한 정보, 특정 병원이나 의료 기관에 관한 정보, 처방전이나 약의 부작용에 관한 정보 등의 순으로 나타났다. 이로 볼 때 공공도서관 사서들을 대상으로 CHI관련 교육의 기회는 증가되어야 하며, 교육의 내용으로 CHI관련 정보원에 대한 교육, 건강정보와 관련된 주제뿐만 아니라 특정 병원이나 의료기관 정보원에 대한 교육이 제공되어야 할 것으로 보인다.

    넷째, CHI관련 교육이 사서들의 인식에 유의한 영향을 미칠 것인가에 대한 논의는 이후 관련 교육프로그램을 개발해서 제공할 기관에 시사점을 줄 수 있을 것이라 생각된다. 앞 절에서 표와 함께 충분히 제시되고 설명되었듯이 CHI 관련 교육의 효과는 상당히 높은 것으로 평가할 수 있다. 교육에 참여한 한 공공도서관 사서는 ‘공공도서관에서의 소비자건강정보서비스는 참고서비스의 부활을 가져올 것이다’라고 평가하였고, 또 다른 사서는 ‘실제로 공공도서관에서 건강정보에 대한 요구는 증가하고 있는데, 이는 노인 이용자의 증가와 건강에 대한 관심증가인 것으로 보인다’라고 하였다. 구체적인 교육의 효과를 보면, CHI관련 용어에 대한 친숙도 증가, 교육후 이용자에 대한 교육증가 및 내용의 다양화, CHI관련 서비스를 제공하기 위해 활용하는 정보원의 다양화, 참고서비스에 걸리는 시간 절감 및 전문지식 부족의 한계에 대한 부담 감소 등의 부분에서 효과가 있었던 것으로 나타났다.

    본 교육 프로그램은 CHI 서비스에 대한 인식이 매우 낮은 상황에서 매우 소수의 사서들을 대상으로 수행되었다. 따라서 그 교육의 효과를 일반화 시킬 수가 없고, 미래를 위해 공공도서관들을 위한 교육주제, 교육방법 등을 완벽하게 제안하는 것은 많은 한계가 있는 것이 사실이다. 따라서 국내에서 CHI 서비스를 활성화시키기 위해 더 많은 연구자와 기관들이 노력을 해야 할 것이다. 해외 사례를 통해서 소개한 바와 같이 교육내용은 인터넷 상의 정보자원을 찾는 방법, 온라인데이터베이스를 탐색하는 방법, 웹정보자원 중 질 높고 신뢰할만한 CHI정보원을 파악하고 평가하는 방법, 질병이나 장애에 대한 최신 연구 정보를 찾는 방법, 의사를 포함한 다른 의료공급자의 자격증 정보 찾는 방법 등으로 매우 다양하고, 교육방법도 웹기반, 워크숍, 교육용 툴킷, 비디오 교육방식을 채택하고 있음을 알 수 있다. 이는 우리가 앞으로 CHI관련 분야의 교육 프로그램을 개발해서 보급할 때 참조할 수 있는 좋은 사례들이라 할 수 있다.

       6.2 향후연구제안

    본 연구는 공공도서관 사서들을 대상으로 CHI관련 교육을 실시하고 그 효과를 측정하고자 한 것이다. 그러나 국내에서의 CHI 교육 연구는 시작에 불과하며 앞으로 다음과 같은 연구가 수행되어야 할 것으로 보인다.

    첫째, CHI 교육에는 사서를 대상으로 할 수도 있지만, 결국 수혜자는 이용자로서 이용자를 대상으로 한 교육과 그 효과를 측정하는 연구가 수행되어야 할 것이다.

    둘째, 공공도서관 사서 및 이용자들을 대상으로 한 교육뿐만 아니라 다양한 관종의 도서관들을 위한 교육프로그램에 대한 연구도 수행되어야 한다. 이는 소비자건강정보를 찾는 이용자가 지역주민만은 아니기 때문이다.

    셋째, 다양한 관종의, 다양한 이용자를 위한, 다양한 교육방법에 대한 연구가 수행될 필요가 있다. 본 연구는 초기단계의 연구에 지나지 않고 최초로 수행되는 교육 프로그램으로 소비자건강정보의 의미, 해외의 소비자건강정보 교육 사례, 그리고 소비자건강정보원을 소개하는 정도로 간단히 시행했지만, 교육내용을 보다 심도 있게 진행할 필요가 있으며, 지역 의료기관과의 연계를 통해 의료서비스를 하는 전문가를 강사로 초빙하는 프로그램을 시행할 필요가 있다고 본다.

    7. 결 론

    공공도서관에서 소비자건강정보 관련 서비스에 대한 요구가 높아지고 있고(Derring and Harris 1996), 따라서 사서들의 이와 관련된 교육 프로그램에 대한 요구도 높아지고 있음이 본 연구를 통해서뿐만 아니라 선행연구에서의 사서의 인식조사를 통해서(노영희 2011; 노영희, 오상희 2011) 밝혀졌다. 또한 선진국에서는 이미 이용자를 위한 교육 프로그램뿐만 아니라 사서들을 위한 교육 프로그램이 매우 다양하게 제공되고 있음을 알 수 있다(Champ-Blackwell and Weldon 2005).

    공공도서관이 소비자건강정보 관련 서비스를 제공해야 하는 이유는, 이용자들은 공공도서관을 CHI관련 정보원을 포함한 다양한 정보자료를 찾는 기관으로서 매우 선호하며, 공공도서관은 원래 참고서비스를 제공하는데 전문적이어서 CHI 정보원으로 그 주제범위를 넓힘에 있어 그다지 큰 부담이 없을 것으로 보이기 때문이다.

    이에 본 연구에서는 공공도서관 사서들을 대상으로 교육 프로그램을 제공하고 그 효과와 반응을 분석하고자 하였으며, 그 결과는 매우 긍정적이라고 평가할 수 있다. 본 연구결과가 보다 발전된 국내 CHI관련 교육 프로그램을 개발하는데 기여할 수 있기를 바라며, 교육을 받은 사서가 CHI에 대한 전문지식, CHI 정보원에 대한 폭넓은 지식 습득을 통해서 CHI 서비스 이용자의 만족도를 높일 수 있기를 바란다.

참고문헌
  • 1. 노 영희 2011 국내 공공도서관의 소비자건강정보 제공현황 조사분석 연구. [한국문헌정보학회지] Vol.45 P.415-437 google
  • 2. 노 영희 2012a 국내 소비자건강정보 제공기관 및 단체 정보원(소비자건강정보 지식정보원 시리즈①) google
  • 3. 노 영희 2012b 국내 소비자건강정보원 웹사이트(소비자건강정보 지식정보원 시리즈②) google
  • 4. 노 영희 2012c 해외 소비자건강정보 DB 및 웹사이트(소비자건강정보 지식정보원 시리즈③) google
  • 5. 노 영희 2012d 해외 소비자건강정보 제공기관 및 단체 정보원(소비자건강정보 지식정보원 시리즈④) google
  • 6. 노 영희, 오 상희 2011 공공도서관에서 소비자건강정보를 제공하는 것에 대한 사서의 인식 조사연구. [한국비블리아학회지] Vol.22 P.25-55 google
  • 7. Benedetti Jo-Ann M. 2002 “Strategies for Consumer Health Reference Training.” [Health Care on the Internet] Vol.6 P.63-71 google
  • 8. Burnham E., Peterson E. B. 2005 “Health information literacy: a library case study.” [Library Trends] Vol.53 P.422-433 google
  • 9. Calabretta N., Cavanaugh S., Swartz. B. 2003 “Growing a web page: the evolution of a consumer health resource.” [Journal of Consumer Health on the Internet] Vol.7 P.15-34 google
  • 10. Siobhan Champ-Blackwell, Stephanie Weldon 2005 “Free Online Consumer Health Classes.” [Journal of Consumer Health On the Internet] Vol.9 P.37-42 google
  • 11. Jessica L. Clark 2003 “Consumer Health Staff Training in a Public Library Setting.” [Journal of Hospital Librarianship] Vol.3 P.53-62 google
  • 12. Derring Mary Jo, Harris John 1996 “Consumer Health Information Demand and Delivery: Implications for Libraries.” [Bulletin of the Medical Library Association] Vol.84 P.209-216 google
  • 13. Gillaspy M. L. 2000 “Starting a consumer health information service in a public library.” [Public Library Quarterly] Vol.18 P.5-19 google
  • 14. Helms Mary E. 2001 “Consumer Health Training Available.” [The Unabashed Librarian] Vol.119 P.16-17 google
  • 15. Kakuk D. 2003 “Multi-type Librarian Workshops: A Consumer Health Outreach Project.” [Journal of Consumer Health on the Internet] Vol.7 P.1-14 google
  • 16. 2003 Health information literacy definitions. google
  • 17. Noh Younghee 2013 “A Study Comparing the Differing Perceptions of Public Librarians and Users in Assessing Consumer Health Information.” [Reference & User Services Quarterly] Vol.52 google
  • 18. Oh Sanghee, Noh Younghee 2012 “Online Health Information in South Korean Public Libraries: Developing Evaluation Criteria.” [Library & Information Science Research] google
  • 19. Olney Cynthia A., Debra G. Warner, Reyan Greysi, Wood Fred B., Sielgel Elliot R. 2007 “MedlinePlus and the Channenge of Low Health Literacy: Finding from the Colonias Project.” [Journal of the Medical Library Association] Vol.95 P.31-39 google
  • 20. Rees A. M., ed. 1982 Developing Consumer Health Information Services. google
  • 21. Richetelle A. 2003 “Healthy Web Sites: Teaching Consumers to Search for Quality Health Information on the Internet.” [Journal of Consumer Health on the Internet] Vol.7 P.35-52 google
  • 22. Schwartz Diane G., Mosher Elaine, Wilson Suzanne, Lipkus Charlene, Collins Ruth 2002 “Seniors Connect: A Partnership for Training Between Health Care and Public Libriaries.” [Medical Reference Services Quarterly] Vol.21 P.1-19 google
  • 23. Mary Snyder, Huber Jeffrey T., Wegmann Deborah 2002 “Education for Consumer Health: A Train the Trainer Collaboration.” [Health Care on the Internet] Vol.6 P.49-62 google
  • 24. Stone Martha E. 2004 “Librarian-to-Librarian.” [Journal of Consumer Health On the Internet] Vol.8 P.1-11 google
  • 25. 2000 Healthy People 2010:Understanding and Improving Health. 2nd ed. Washington, DC: U.S. Government Printing Office. google
  • 26. Wessel C., Wozar J., Epstein B. 2003 “The role of the academic medical center library in training public librarians.” [Journal of the Medical Library Association] Vol.91 P.352-360 google
  • 27. Wu L. 2006 “Wiring seniors to quality health information.” [Journal of Consumer Health on the Internet] Vol.10 P.11-24 google
  • 28. Crandall/Langeloth Program. google
  • 29.
OAK XML 통계
이미지 / 테이블
  • [ 표 1 ]  사서대상 CHI 교육설계 내용
    사서대상 CHI 교육설계 내용
  • [ 그림 1 ]  헬스포털코리아 웹사이트
    헬스포털코리아 웹사이트
  • [ 표 2 ]  설문지의 내용과 문항 구성
    설문지의 내용과 문항 구성
  • [ 표 3 ]  이항 반복측정 자료
    이항 반복측정 자료
  • [ 표 4 ]  응답자의 담당업무 분포(우선순위대로 2개만 선택)
    응답자의 담당업무 분포(우선순위대로 2개만 선택)
  • [ 표 5 ]  CHI관련 용어에 익숙한 정도
    CHI관련 용어에 익숙한 정도
  • [ 표 6 ]  이용자들의 건강정보활용능력을 위한 교육 프로그램 제공여부
    이용자들의 건강정보활용능력을 위한 교육 프로그램 제공여부
  • [ 표 7 ]  이용자가 건강정보를 요구했을 경우 주로 제공하는 자료
    이용자가 건강정보를 요구했을 경우 주로 제공하는 자료
  • [ 표 8 ]  이용해 본 소비자건강정보 관련 정보원
    이용해 본 소비자건강정보 관련 정보원
  • [ 표 9 ]  CHI관련 정보원을 이용하는 빈도
    CHI관련 정보원을 이용하는 빈도
  • [ 표 10 ]  건강정보 관련 질문의 유형
    건강정보 관련 질문의 유형
  • [ 표 11 ]  CHI관련 업무수행에 도움이 될 교육내용
    CHI관련 업무수행에 도움이 될 교육내용
  • [ 표 12 ]  CHI관련 답변시 시간이 많이 걸리는지에 대한 느낌
    CHI관련 답변시 시간이 많이 걸리는지에 대한 느낌
  • [ 표 13 ]  CHI관련 질문에 대해 답변할 때 자료 및 정보원의 한계
    CHI관련 질문에 대해 답변할 때 자료 및 정보원의 한계
  • [ 표 14 ]  CHI관련 답변시 다른 기관에 도움 요청 여부
    CHI관련 답변시 다른 기관에 도움 요청 여부
  • [ 표 15 ]  도움을 요청하는 기관의 유형
    도움을 요청하는 기관의 유형
  • [ 표 16 ]  CHI관련 교육에 참여의사 여부
    CHI관련 교육에 참여의사 여부
  • [ 표 17 ]  소비자건강정보관련 교육프로그램의 업무수행에 도움이 되는 정도
    소비자건강정보관련 교육프로그램의 업무수행에 도움이 되는 정도
  • [ 표 18 ]  교육수준의 적절성 및 교육내용의 흥미성
    교육수준의 적절성 및 교육내용의 흥미성
  • [ 표 19 ]  제공된 강의정보의 유용성
    제공된 강의정보의 유용성
  • [ 표 20 ]  CHI관련 교육프로그램의 공공도서관 사서의 정규교육프로그램으로 포함 필요성
    CHI관련 교육프로그램의 공공도서관 사서의 정규교육프로그램으로 포함 필요성
(우)06579 서울시 서초구 반포대로 201(반포동)
Tel. 02-537-6389 | Fax. 02-590-0571 | 문의 : oak2014@korea.kr
Copyright(c) National Library of Korea. All rights reserved.