A Study on the Impact of Economic Research Institutes in Korea using Citation Analysis of the Internet News

인터넷 뉴스 인용을 이용한 국내 경제연구기관 영향력에 관한 연구

  • cc icon
  • ABSTRACT

    The purpose of this study is to investigate citation behavior in internet news to research papers of 10 domestic economic institutes and to suggest institutes’ impact quantitatively with h-index and various modified indices. Content analysis of 878 news articles that collected from NAVER news site was performed. First, as citing behavior, cited numbers of research papers, preferred news media, speed, source entry accuracy, centrality, subject section, and length by the institutes were examined. Next, impact indices for institutes were calculated by cited numbers using h-index, g-index, hs-index, and gs- index, and the ranking of 10 research institutes were determined by each impact indices. As a result, institutes belonged to upper ranks showed little variation among the different indices. On the other hand, institutes belonged to middle and lower ranks showed variations in impact indices and experts’ survey.


    본 연구는 국내 주요 10개 경제연구기관의 보고서를 대상으로 인터넷 뉴스에서의 인용 행태를 분석하고 각 기관의 영향력을 h-지수와 다양한 변형 지수(g-지수, hs-지수, gs-지수)로 제시하였다. 이를 위해 네이버 뉴스에서 기사를 검색하여 총 878건에 대한 기사의 내용 분석을 실시하였다. 먼저, 보고서 인용 기사 수, 뉴스매체, 주제 섹션, 신속성, 정확성, 중심성, 기사 길이 등을 중심으로 인용행태를 분석하였다. 다음으로 인용 건수로 영향력을 산출하여 기관 순위를 비교하였다. 분석 결과 인용 지수 순위가 상위권에 속한 기관들은 지수 간의 순위 차이가 거의 없었고, 전문가가 제시한 순위와도 유사한 반면, 중?하위권의 기관들은 상대적으로 지수에 따라 차이가 나고, 전문가 순위와 다른 양상을 보였다.

  • KEYWORD

    Institute Impact , Economic Research Institute , Citation Analysis , Internet News Citation , h-index , g-index , hs-index , gs-index

  • 1. 서 론

       1.1 연구의 목적

    연구기관은 기관의 성격에 따라 다양한 형태의 연구성과물을 산출하는데, 그 중 가장 대표적인 유형은 보고서이다. 보고서는 단순히 그것을 작성한 연구원 개인의 실적을 넘어서 모 기관의 중요한 지적 자산으로써 기관의 연구 역량을 평가하는 주요 지표가 된다.

    보고서 산출 후, 대중에게 노출되는 경로는 1차적으로 기관 홈페이지에 게재하거나 인쇄물로 출판하는 방법이 있다. 2차적으로는 미디어를 통해 그 내용이 인용되는 방법인데, Reed(2000)는 미디어를 이용하여 기관의 학술적인 업적을 전략적으로 알리는 것이 연구기관의 성장과 성공을 위한 핵심 전략이라고 강조하였다. Rich와 Weaver(2000)도 정부에 소속되지 않은 연구기관에게 미디어 가시성(media visibility)은 매우 중요하며 기관의 생존 능력과 성공에 지대한 영향을 미친다고 하였다.

    또한 최근에는 인터넷으로 뉴스를 접하는 대중도 많아지게 되었다. 인터넷 뉴스란 인터넷을 통해 제공되는 제반 뉴스로 이는 전통적인 신문사와 더불어 방송사, 통신사는 물론 각종 포털 사이트들이 제공하는 것을 포함한다(최환진 2004). 인터넷 뉴스는 기존 매체보다 뛰어난 접근성을 제공하기 때문에 기사의 파급 효과 또한 더욱 커지게 된다. 이러한 맥락에서 인터넷 뉴스는 보고서를 생산한 연구기관의 인지도와 더불어 영향력을 높이는 중요한 매개체가 될 수 있다.

    뉴스 기사에서 보고서 내용이 인용되는 것은 학계에서 학술논문을 작성할 때 관련 논문을 인용하는 것과 유사하다. 물론 학술논문과 뉴스는 인용의 방식과 형태가 다르지만, 뉴스가 통상적으로 신뢰성 높은 정보로 인식된다는 점, 기자가 기사 작성을 목적으로 관련된 자료를 참고하여 기사 내에 출처를 명시한다는 점, 뉴스에서 취재원으로 채택하는 정보도 공신력과 영향력 있는 자료로 취급한다는 점에서 학술논문의 인용과 일맥상통한다고 볼 수 있다.

    일반적으로 계량서지학 분야에서 인용 수는 연구의 영향력을 양적으로 가늠하는데 유용한 척도로 간주된다. 대표적으로 ISI의 영향력 지수(Impact Factor, 이하 IF)는 인용 수를 이용해 학술지나 저자의 영향력을 계량적으로 산출하는 주요 지표이다. 이외에도 비교적 간단하고 손쉽게 구할 수 있는 h-지수, g-지 수, 그리고 이들의 다양한 개량 지수들도 개발 되었다(이재윤 2006). 그러나 이 지수들은 주로 학술지나 단행본의 인용 건수를 중심으로 영향력을 분석한 것이며, 뉴스 기사에서 적용 된 적은 없었다.

    따라서 본 연구는 국내 주요 10개 경제연구기관 보고서를 대상으로 인터넷 뉴스에서의 인용 행태를 분석하고 각 기관의 영향력을 제시하였다. 특히 기관의 영향력을 계량적인 척도로 나타내기 위해 연구기관별 인용 기사 수로 h-지수와 g-지수를 산출하고, 2009년도 한경비즈니스에서 발표한 국내 경제 분야 연구기관 순위와 비교하였다.

       1.2 연구 방법 및 범위

    본 연구는 인터넷 뉴스에서의 국내 경제연구기관 보고서 인용 행태를 파악하기 위해 문헌 연구와 인용 기사의 내용 분석을 실시하였다. 첫째, 문헌 연구를 통해 연구기관의 영향력을 계량적으로 표현하기 위해 개발된 h-지수와 변형 및 개량 지수의 개념과 특징에 대해 알아보았다.

    둘째, 인터넷 뉴스에서 연구기관 보고서를 인용한 기사 데이터를 수집하였다. 이를 위해 검색 도구와 검색 대상 기관을 선정한 후, 2009년 9월 1일부터 10월 31일까지 2개월 동안의 뉴스 기사 878건을 분석하였다. 인터넷 뉴스의 검색엔진으로는 네이버(NAVER) 뉴스 를 선정하였는데, 네이버 뉴스는 총 241종의 뉴스에 대해 일간지, 방송/통신, 경제/IT, 인터넷 신문, 스포츠/연예, 지역지, 매거진, 전문지/기타 총 8개 카테고리로 뉴스를 구분하여 제공하였다. 또한 어구 검색, 불리언 검색, 기사 작성일 제한 검색 등 다양한 검색 기능을 지원하였다. 네이버 뉴스 이외에, 타 인터넷 포털인 다음(Daum)은 연구기관명과 ‘보고서’ 를 함께 조합하여 검색할 수 있는 어구 검색 기능을 제공하지 않았고, 구글(Google)은 월단위로 날짜 제한 기능을 사용할 수 없었으며, 야후(Yahoo)와 네이트(Nate)는 검색결과 건수가 너무 적고 네이버보다 제공되는 뉴스 수가 적어 제외시켰다. 특히 뉴스종합데이터베이스 KINDS는 원문을 연계할 때 뉴스 원문을 내부 DB에 보관한 경우와 외부로 연결해 놓은 경우로 나눠져 있어, 내부 DB에 보관된 경우 뉴스 웹사이트와 직접 연계하는 포털 사이트에 비해서 최신성과 정확성이 떨어졌다.

    조사 기관은 한경비즈니스가 2009년 12월에 분야별 전문가 184명을 대상으로 설문 및 면접 조사를 통해 선정한 국내 100대 연구소중에서 경제?산업 분야의 상위 10개 기관인 삼성경제연구소, 한국개발연구원, 산업연구원, 한국금융연구원, LG경제연구원, 대외경제정책연구원, 한국은행 금융경제연구원, 한국조세연구원, 자본시장연구원이다. 한경비즈니스는 2008년도부터 국내 연구소를 평가하여 분야별 순위를 제공하는 국내 유일의 매체로써 평가 기준은 대외적 영향력, 연구 보고서의질, 연구 인력의 역량, 연구소 규모 등이다(장승규 외 2009).

    다음으로, 연구기관별로 보고서를 인용한 기사 수를 조사하고 각 뉴스 기사의 내용분석을 실시하였다. 조사 항목은 기사명, 뉴스매체(인터넷 뉴스명), URL, 작성일자, 기자명, 보고서명, 보고서의 저자명, 보고서 발행일, 보고서 발행기관 등 뉴스 기사와 피인용 보고서의 기본적인 정보로 설정하였다. 이와 함께 Chaban 등(2004)이 뉴스 기사의 내용분석 요소로 제시한 항목들, 주제 섹션, 기사 길이, 보고서를 다룬 중심성 정도―해당 보고서를 기사에서 단독으로 다루었는지, 주제 기사 내에서 부분적으로 인용되었는지-등을 포함시켰다. 또한 조사한 기사 수를 바탕으로 인용이 많은 보고서와 연구기관별로 인용을 많이 하는 뉴스매체를 함께 분석하여, 연구기관별 영향력 측정에 도움이 되는 요소를 다각도로 살펴보았다.

    마지막으로 인터넷 뉴스에서 보고서를 인용한 기사 수를 바탕으로 h-지수 및 변형 지수를 산출하여 연구기관의 영향력을 평가하고, 한경비즈니스에서 제시한 기존 연구 기관의 순위와 비교하였다. h-지수 등을 선정한 이유는 뉴스 기사에서 보고서를 인용하는 주기가 일반적인 학술지의 인용 주기와는 매우 달라 연도를 기준으로 지수를 계산하는 IF를 적용하기 어렵고, h-지수가 연구자뿐만 아니라 연구기관의 영향력을 평가하는 데 실효성이 이미 검증되었기 때문이다(Luz 외 2008).

       1.3 선행연구

    본 연구는 연구기관의 영향력을 평가하기 위해 뉴스의 인용 행태를 분석한 연구와 h-지수를 이용해 연구기관의 영향력을 제시한 연구를 중점적으로 살펴보았다.

    먼저, 뉴스 기사의 인용 행태를 분석한 연구들은 주로 인용 수에 의존하여 연구기관의 영향력을 평가해왔다. 국내에서 실제 인용 수를 조사해 기관의 영향력을 평가한 연구는 이형구(2001)와 황윤원(2008)의 연구가 유일하였으며, 연구기관의 영향력 척도를 고찰하는 연구가 주를 이루었다.

    이형구(2001)는 국내 8개 중앙일간지를 대상으로 민간 및 국책 연구기관 8개를 대상으로 소속 연구원의 말이나 보고서를 인용한 기사를 조사하여 기관의 영향력을 평가하였다.

    정광호(2006)는 정책과정에서의 미국 싱크탱크의 역할과 영향력을 고찰한 후 한국에서 의 정책 싱크탱크의 발전 방향을 제시하였다. 이 과정에서 기관의 영향력이 방송매체의 인용 건수, 신문에서의 인용 건수, 언론에서 개별연구원의 인용 건수 등으로 파악이 가능하다고 하였다.

    이와 같은 맥락에서 홍일표(2007)도 미국내 보수 성향의 싱크탱크의 역사와 현황을 소개하고, 이들을 후원하는 주체와 성장 전략을 규명하면서 미국 싱크탱크의 영향력 순위를 제시하였다. 특히, 기관의 영향력을 가늠하는데 있어 언론의 인용빈도가 객관적인 자료로서 중요한 역할을 한다고 강조하였다.

    황윤원(2008)은 국내 정당정책연구소의 운영 실태를 분석하여 문제점을 규명하고 제도적 개선 방안을 모색하였다. 그는 각 기관의 영향력을 분석하기 위한 다양한 평가 지표를 제시하고, 이 중에서 언론노출도 즉, 일간지에 연구소 관련 내용이 언급된 기사 수를 조사하여 기관의 활동성과 영향력을 파악하였다.

    국외에서는 연구기관의 영향력을 평가하는 척도를 소개하는데 그치지 않고 연구기관을 선정하고 이들의 미디어 인용 수를 이용해 영향력을 파악하는 실증적인 연구들이 진행되었다.

    Rich와 Weaver(2000)는 미국 내 50개 공공연구기관을 대상으로 1991년에서 1998년 동안 발행된 자국 신문 기사에서의 인용빈도를 조사해 연구기관의 소재 지역이나 연구 분야 등 미디어 가시성에 영향을 미치는 요인을 규명하였다.

    Posen(2002)은 기관 출판물의 가시성(press visibility)이 연구원과 연구기관의 영향력을 측정하는 객관적 척도라고 간주하고 16개 연구기관을 대상으로 1997년 7월 1일부터 2002년 6월 30일까지 발행된 뉴스에서 연구기관에서 산출하는 결과물의 인용빈도를 조사 하였다.

    Chaban 등(2004)은 기사의 내용 분석을 통해 호주, 태국, 한국, 뉴질랜드 등 아시아 지역의 미디어에서 EU의 노출 정도를 국가별로 비교?분석하였다. 분석 내용은 EU를 다룬 기사수, 핵심 내용, 취재원의 수와 유형, 기사의 해당 섹션, 길이, 중심성 정도 등이었다.

    Dolny(2009)는 뉴스에서의 연구기관 인용 빈도를 활용하여 미국 내 기관의 정치적인 보수, 중도, 진보 성향에 따라 인용도가 얼마나 달라지는지를 비교?분석하였다. 이 연구는 미디어의 공정성과 정확성을 보장하기 위해 설립된 FAIR(Fairness & Accuracy In Reporting) 가 매년 수행하고 있다.

    McGann(2009)은 전 세계의 연구기관을 포함한 싱크탱크의 규모와 최근 경향을 파악하고, 주요 싱크탱크를 선정하였다. 그는 선정 근거로 다양한 지표를 소개하였는데, 미디어에서의 출현빈도나 인터뷰 수, 인용 수와 같은 미디어 명성도(media reputation)도 주요 선정 기준의 지표로 포함시켰다.

    한편, h-지수를 활용하여 연구기관의 연구성과를 측정한 연구는 국내보다는 외국에서 꾸준하게 이루어졌다. 국내에는 이재윤(2006)이 h-지수와 h-지수를 보완한 변형 지수를 고찰하고, 이들의 문제점을 분석한 후 개량 지수를 제안하였다. 이 과정에서 h-지수를 포함한 다양한 지수를 개인 연구자와 대학의 연구성과 측정에 적용하였다.

    외국의 경우에는 2005년에 h-지수가 제안된 이후 초반에는 연구자 개인의 연구 역량을 측정하는 연구가 이루어지다가 점차 범위를 연구기관으로 확장하여 적용되고 있다.

    Grant 등(2007)은 미국과 캐나다에 소재한 보존생물학 분야의 학술 기관에 대한 연구 생산성을 양적으로 평가하기 위해 2000년부터 2005년까지 315개 대학의 연구자가 산출한 출판물의 h-지수를 구하였다. 그들은 h-지수가 기관의 연구 성과의 질적?양적 평가에 척도가 될 수 있다고 하였다.

    Luz 등(2008)은 Journal of Citation Reports의 정신의학 분야 94개 학술지를 대상으로 h-지수를 구하여 정신의학 박사 후 과정 프로그램을 실시하는 브라질의 연구기관을 평가하였다. 그들은 연구기관의 영향력을 평가하는데 소속 연구원의 산출물과 인용 수를 계산하는 것보다 h-지수를 적용하는 것이 보다 탄탄한 결과를 제시할 수 있다고 강조하였다.

    J.F. Molinari와 A. Molinari(2008)는 ISI Web of Knowledge Database에 수록된 학술지를 이용해 h-지수를 구하고, 과학 분야 연구기관의 생산성과 가시성을 분석하였다. 분석 결과 h-지수가 분야별 학술지나 규모가 상이한 연구기관 간의 영향력을 비교하는 데 유용한 지표이나 연구기관에 적용할 경우 산출물 수에 영향을 받을 수 있다고 하였다.

    Lazaridis(2010)는 그리스의 대학별 4개 단과대를 대상으로 연구 역량에 따른 순위를 매기고자 Web of Science를 통해 교수의 h- 지수를 구한 후 이들의 평균값을 구하여 소속단과대의 h-지수를 비교하였다.

    Smith(2009)는 1990년부터 2008년까지 상담심리학 분야의 8개 학술지를 대상으로 LGBT(Lesbian, Gay, Bisexual, and Transgender) 분야의 개인 연구자와 고등교육기관의 h-지수를 산출하여 순위를 매겼다. 그는 전통적으로 상담심리학 분야에서 고등교육기관의 연구 생산성을 평가하기 위해 양적 척도를 적용해왔다.

    이상으로 살펴본 바와 같이 외국은 뉴스에서의 인용 수나 학술지의 h-지수를 적용해 자국 내 연구기관 영향력을 평가하는 연구들이 지속적으로 진행되었다. 반면, 국내 연구들은 주로 연구기관의 영향력을 판단하는 데 있어 뉴스에서의 인용 수를 강조하거나 인용 건수에만 의존하여 기관의 영향력을 단편적으로 제시하는 수준에 머물러 있었다. 따라서 본 연구는 인터넷 뉴스 상에서의 연구기관 보고서의 인용 건수와 더불어 다양한 인용 행태를 살펴보고, 더 나아가 h-지수 및 계량 지수를 적용해 기관의 영향력을 제시하였다.

    2. h-지수와 변형 지수

       2.1 h-지수의 개념

    h-지수는 개인 연구자의 학문적인 성과를 계량화하는 척도로 Jorge E. Hirsch가 2005년에 제안하였다. Hirsch(2005)는 어느 과학 자의 Np개의 논문이 적어도 h회 이상 인용되고, 나머지 Np-h개의 논문은 그 개별 인용빈도가 모두 h회 이하일 때 h가 그의 h-지수라고 하였다. 즉, 연구자의 논문을 인용빈도가 높 은 순으로 정렬한 후, 논문의 인용빈도가 논문의 순위보다 크거나 같은 마지막 논문의 순위가 그 연구자의 h-지수가 된다(이재윤 2006).

    h-지수가 연구 역량을 평가하는 척도로 활용되면서 적용 시에 나타나는 문제점도 제기 되었다. 첫째, h-지수는 피인용 수를 계산할때 학술지 논문, 학술대회 발표논문, 단행본, 단행본의 장, 전자저널로 발행되는 논문, 보고서, 초록 등 대상 출판물의 유형이 고정되지 않았다. 둘째, 자기 인용과 같이 적용 가능한 인용의 유형도 정해지지 않았으며, 셋째, 연구자의 논문 수 즉, 연구 생산성에 많은 영향을 받는다. 넷째, 다른 분야나 하위 분야의 다양한 특성을 고려하지 않아 분야 간 비교가 어렵고, 마지막으로 연구자 간의 인용이 활발하지 않고 규모가 작은 영역에서는 지수의 변별력이 떨어지게 된다(이재윤 2006; Vinkler 2007).

    그러나 이와 같은 한계점에도 불구하고 h- 지수는 간단하고 손쉬운 방법으로 계산이 가능하며, 연구자의 양적 생산성과 질적 영향력을 한꺼번에 나타낼 수 있는 지수로 평가되고 있으며, 개인 연구자를 넘어서 대학과 연구기관 등으로까지 그 활용 영역이 확장되고 있다(Molinari & Molinari 2008).

       2.2 h-지수의 변형 지수

    2.2.1 g-지수

    앞서 제시한 바와 같이 h-지수가 개인 및 기관의 영향력을 평가하는 척도로 활용되면서 적용상의 문제점이 발생하게 되었고, 이러한 한계점을 극복하기 위한 다양한 변형 지수들이 개발되었다.

    Egghe(2006)는 h-지수가 지수를 계산할때 인용빈도 상위 논문이 추가로 인용되더라도 지수 값에 전혀 기여하지 못한다는 문제점을 보완하기 위해 g-지수를 제안하였다. g- 지수란 특정 논문 집합에서 인용빈도 상위 g개 논문의 인용빈도 합이 g의 제곱 이상인 최하위 순위 g가 g-지수가 된다. 이 경우 상위 (g+1)개의 논문의 인용빈도의 합은 (g+1)의 제곱 값보다 작다. 다시 말하면, 어떤 연구자의 논문을 인용빈도가 높은 순으로 나열했을 때, 논문의 인용빈도 누적합계가 논문 순위의 제곱보다 크거나 같은 마지막 논문의 순위가 그 연구자의 g-지수가 된다(이재윤 2006). h-지수와 비교할 때 g-지수는 상위권 논문의 개수와 개별 인용빈도가 반영된다는 점이 특징적이다.

    2.2.2 hs-지수와 gs-지수

    이재윤(2006)은 h-지수와 g-지수의 장점을 서로 보완하고, 약점을 극복할 수 있도록 개량 지수 hs-지수와 gs-지수를 제안하였다. 먼저 hs-지수는 순위 h 이내 논문에 대한 인용빈도의 제곱근을 합하여 구할 수 있는데, 산 정하는 공식은 다음과 같다.

    image

    hs-지수는 각 논문의 인용빈도에 제곱근을 먼저 취하여 합한다는 점에서 최상위 논문의 인용빈도 차이를 지수 값에 반영하면서 g-지수처럼 소수의 논문에 의해 지수 값이 좌우되는 경우를 방지할 수 있다.

    hs-지수를 변형한 방식을 적용하여 g-지수를 개량한 gs-지수를 구할 수 있다. gs-지수는 g-지수로 산출된 g값보다 인용빈도 순위가 높거나 같은 논문의 인용빈도에 제곱근을 취하여 합하는 지수이다. hs-지수보다 더 많은 논문의 인용빈도를 반영할 수 있다는 장점은 있으나, g값 자체가 최상위 논문의 인용빈도에 크게 좌우되므로 gs-지수도 g-지수의 문제점을 완전히 해소하지는 않는다.

    따라서 본 연구는 연구 기관의 영향력을 측정하기 위해 h-지수 방식을 적용하되, h-지수가 갖는 규모가 작은 영역에서는 지수의 변별력이 떨어지게 된다는 문제점을 보완하기 위해 g-지수와 hs-지수, gs-지수를 함께 활용하였다.

    3. 인용 행태 조사 결과

       3.1 조사 개요

    인터넷 뉴스에서 국내 10개 경제연구기관의 보고서 인용 행태를 파악하기 위해 연구기관, 보고서, 뉴스매체에 따른 인용빈도를 조사한후, 인용의 정확성, 중요성, 신속성을 알 수 있는 내용 요소를 분석하였다. 인용 뉴스기사는 “연구기관명” + “보고서”를 검색어로 하여 연구기관별로 검색하였으며, 네이버 뉴스에서 검색된 총 1,312건의 기사 중 실제로 보고서를 인용한 878건을 분석 대상으로 하였다.

       3.2 조사 결과

    3.2.1 인용빈도

    1) 연구기관

    연구기관별로 보고서를 인용한 기사 수, 즉 인용빈도를 분석한 결과, 총 878건의 기사 중 삼성경제연구소 보고서를 인용한 기사가 313건으로 가장 많았다. 그 다음은 한국개발연구원 194건, LG경제연구원 87건, 산업연구원 68건, 한국금융연구원 62건 순이었다. 다음으로 연구기관의 연구인력 규모가 보고서 산출량에 영향을 줄 수 있기 때문에 인용빈도를 연구원 수로 나누어 기관의 인력 규모 요소를 상쇄시킨 결과, 연구원당 평균 인용빈도는 삼성경제연구소가 3건, 한국개발연구원이 1.4건, 한국금융연구원이 1.2건 순으로 나타났다. 한국금융연구원과 금융경제연구원의 경우, 인용빈도는 62건과 44건으로 많은 편이 아니지만 연구인력 당 인용빈도는 상대적으로 높아지는 것으로 나타났다(<표 1> 참조).

    2) 보고서

    보고서를 기준으로 뉴스 기사에서 인용한빈도를 조사한 결과, 삼성경제연구소가 58건 으로 가장 많고, LG경제연구원이 32건, 한국개발연구원이 27건, 한국금융연구원 25건 순이었다. 그러나 보고서당 평균 인용빈도는 한국개발연구원이 7.2건으로 가장 높았다. 한국개발연구원은 인용된 전체 보고서 수가 삼성경제연구소 보다 적지만 하나의 보고서가 기사화되는 횟수는 높은 것을 알 수 있었다. 한국개발연구원에서 인용빈도가 높은 보고서들은 대부분 경제 전망 및 동향 보고서, 국민의 견 조사 보고서인데, 이는 국책 연구기관이 발행한 정보원으로써 매우 공신력이 높은 것으로 간주되며 국민적 관심도도 높기 때문으로

    사료된다. 산업연구원의 경우도 인용된 보고서 수는 13건으로 상대적으로 낮은 반면, 인용빈도는 보고서당 5.2건으로 높은 편으로 나타났다(<표 1> 참조).

    개별 보고서의 인용빈도를 살펴보면 <표 2> 와 같이, 인용빈도가 높은 상위 6개 보고서는 모두 한국개발연구원에서 발행되었다. 이후로 20위까지 살펴보면, 삼성경제연구소와 산업연구원, 한국조세연구원, 대외경제정책연구원, LG경제연구원에서 발행한 보고서의 인용빈도가 높게 나타났다.

    3) 뉴스매체

    보고서 인용을 많이 하는 뉴스매체는 연합 뉴스(97건), 아시아경제(77건), 머니투데이(41건), 매일경제(39건), 아시아투데이(38건), 파이낸셜뉴스(38건), 아주경제(27건), 국민일보(25건), 서울경제(23건), 이투데이(22건) 순으

    로 나타났다. 이 때 동일 뉴스매체 내에서 또는 다른 뉴스매체 간에 기사 내용이 동일한 경우는 중복기사로 간주하여 분석에서 제외하였다.

    네이버 뉴스의 언론사 분류 기준을 적용하여, 뉴스분야별 인용기사 수를 분석한 결과, 경제/IT 분야 뉴스가 절반에 가까운 비율을 차지하는 것으로 나타났으며 그 다음으로 방송/통신(17.4%), 일간지(13.9%) 순이었다. 경제연구기관을 대상으로 한 만큼 경제/IT 분야에서의 인용 기사 수가 높게 나타났으나, 언론사 수 당 인용 기사 수는 연합뉴스가 포함된 방송/통신 분야가 가장 많았다(<표 3> 참조).

    또한 연구기관별로 자관의 보고서가 많이 인용되는 뉴스가 서로 다른 것으로 나타났다. 공통적으로 보고서 인용률이 높은 연합뉴스를 제외하면, 삼성경제연구소와 LG경제연구원은 아시아경제에서, 한국개발연구원은 파이낸셜뉴스에서, 산업연구원과 한국금융연구원은 아시아투데이, 한국조세연구원은 조세일보에서 인용된 뉴스가 많아 뉴스매체에 따라 선호하는 연구기관이 다른 것을 알 수 있었다(<표 4> 참조).

    3.2.2 정확성

    인용의 정확성을 파악하려는 일환으로 뉴스 기사에서 인용의 출처 정보 중 보고서명을 정확히 기재하였는지의 여부에 대해 조사하였다. 전체 인용 기사 878건 중 보고서명을 정확히 기재한 경우의 비율은 78%, 기재하지 않은 경우 14%, 보고서명의 일부를 기재한 경우는 8%로 나타났다. 인용한 보고서명을 정확히 기재한 비율은 파이낸셜뉴스가 92%로 가장 높았고, 기재를 하지 않은 비율은 아시아투데이가 21%로 높았다. 연구기관의 측면에서는 한국조세연구원을 인용한 기사에서 보고서명이 기재되지 않은 비율(46%)이 가장 높았다(<표 5> 참조). 그러나 인용의 정확성을 판단하기 위해서는 보고서명 이외에 저자나 발행 일시 등 다양한 출처 정보도 고려해야하기 때

    문에 본 연구의 결과만을 가지고 인용의 정확성을 일반화하기에는 한계가 있다.

    실질적으로 인용의 출처가 불명확한 기사는 뉴스의 신뢰성을 떨어뜨리고, 연구기관의 구체적인 연구 성과와 연결이 안 되는 문제를 야기할 수 있다. 따라서 자관의 인용 기사에 대한 잘못된 인용 정보를 발견할 경우에는 수정 요청할 필요가 있다.

    3.2.3 중심성 정도

    중심성 정도는 뉴스 기사에서 보고서를 다룬 관점에 대한 것으로, 기사의 본문 상에서 보고서 하나만 중점적으로 다룬 단독 보도와 특정 주제에 대한 기사에서 여러 취재원의 일부분으로 보고서를 인용한 부분 보도로 이원화하여 기사의 중심성 정도를 판단하였다. 분석 결과, 단독 보도 기사인 경우가 77%인 것으로 나타났다. 단독 보도 비율이 높은 기관은 금융경제연구원(89%)이고, 다른 기관에 비해 부분 보도 비율이 높은 기관은 한국조세연구원(41%)으로 나타났다(<표 6> 참조).

    3.2.4 주제 섹션

    보고서 인용 기사가 속한 주제별 섹션을 조사하여 연구기관별로 어느 주제 분류의 기사에 인용되고 있는지 살펴보았다. 뉴스마다 주제섹션 분류가 다르기 때문에 본 연구에서는 수집한 섹션이 여러 단계로 세분화된 경우 가장 상세한 하위 섹션명을 채택하였고, 기사의 원본 섹션명을 최대한 변형하지 않는 범위 내에서 유사한 주제를 통합하고 항목명을 재설정하여 분석을 실시하였다. 분석 결과, 삼성경제연 구소 보고서가 23개 섹션으로 가장 다양한 주제 분포를 보였다. 연구기관별 섹션 분포 수는 한국경제연구원(17개), LG경제연구원(16개), 산업연구원(11개), 금융경제연구원(11개), 한

    국조세연구원(10개), 대외경제정책연구원(9개), 한국금융연구원(8개), 자본시장연구원(3개), 포스코경영연구소(3개) 순이었다. 섹션을 기준으로 살펴보면, 경제 섹션의 뉴스가 가장 많았고 산업과 금융 분야가 그 다음 순으로 나타났는데, 이는 경제 분야 기관으로서의 성격을 반영하는 것이다(<표 7> 참조).

    3.2.5 뉴스 길이

    Chaban 등(2004)은 뉴스 기사의 길이가 지배력과 관심도를 판단할 수 있는 척도라고 하였다. 따라서 단독 보도인 경우에 뉴스 길이가 길면 상대적으로 기사의 중요도가 높다고 볼 수 있다. 글자 수로 뉴스의 길이를 조사한 결과, LG경제연구원의 보고서를 단독으로 인용한 기사가 약 1,832자로 평균적으로 가장 긴 것으로 나타났다(<표 8> 참조).

    3.2.6 신속성

    발행일을 정확하게 알 수 있는 보고서를 인

    용한 기사 811건을 대상으로 보고서의 발행에서 인용까지의 평균 시간 차이를 중심성 정도로 구분하여 분석하였다. 그 결과, 단독 보도 기사의 평균 차이는 2.1일로 나타났는데, 이는 일반적인 학술논문의 인용과는 달리 연구기관의 보고서는 발행 이후 뉴스 기사로 신속하게 인용되는 특성을 보여준다. 기관별로 살펴보면, 단독 보도 기사의 경우 한국조세연구원, 부분 보도 기사의 경우 대외경제정책연구 원이 평균적으로 가장 긴 시간차를 보이는 것으로 나타났다(<표 9> 참조).

    4. 연구기관의 영향력 비교?분석

       4.1 h-지수와 변형 지수

    앞서 제시한 인용빈도와 인용의 정확성, 중심성 정도, 신속성 등의 요소들도 영향력을 판단하는 데 도움을 줄 수 있다. 그러나 위 요소들을 이용하여 기관 영향력 평가하는 명확한방법이 아직 마련되지 않았기 때문에, 본 연구는 연구기관의 영향력을 객관적인 수치로 나타내고자 보고서의 인용 횟수로 지수의 강건성이 입증된 h-지수와 이를 변형한 g-지수 및 두 지수의 개량 지수를 활용하여 영향력 지수 값을 산출하였다.

    4.1.1 h-지수와 g-지수

    h-지수를 산출한 결과, 삼성경제연구소 9에서 포스코경영연구소 1까지의 값이 나왔으나 중간에 동일한 값을 갖는 기관이 많아 기관별 차별성이 크게 부각되지 않았다. 이는 이재윤(2006)의 연구에서 밝혔듯이, h순위 이상의보고서가 높은 인용빈도 값을 가져도 지수에반영되지 않기 때문이다.

    인용빈도가 높은 상위 논문의 특성을 반영하는 g-지수를 산출한 결과, 1위에서 4위까

    지의 구분이 명확해져, h-지수보다는 변별력 이 상승되었으나 여전히 동일 값이 나타났다. 산업연구원이 h-지수에서는 한국개발연구원 과 같은 값을 가졌지만 g-지수에서는 순위가 4위로 내려가고, LG경제연구원은 3위로 올라 오는 것이 특징적이다. 이는 한국개발연구원 의 상위 보고서의 인용빈도가 h-지수에서 반 영되지 않아 산업연구원과의 차별성이 나타나 지 않았고, LG경제연구원의 경우는 개별 인용 빈도가 그대로 반영되어 순위가 상승한 것으 로 사료된다. Egghe(2006)의 주장대로 g-지 수는 개별 인용빈도를 반영하기 때문에 인용 빈도 순위와 유사한 것으로 나타났다(<표 10> 참조).

    4.1.2 hs-지수와 gs-지수

    이재윤(2006)은 h-지수와 g-지수의 단점을 보완하는 hs-지수와 gs-지수를 제안하였다. 본 연구에서 두 개량 지수를 적용한 결과,연구기관별로 동일한 값이 제거되고 우열이가려져 변별력이 높아졌다.

    특히, g-지수에서는 LG경제연구원, 산업 연구원 순이었으나, 개량 지수에서는 모두 산 업연구원, LG경제연구원 순으로 역전되어 나 타났다. 전체 인용빈도가 LG경제연구원은 87 건, 산업연구원은 68건이지만, 최상위 보고서 의 인용빈도는 산업연구원이 더 높았다. 이는 g-지수가 개별 인용빈도 값보다는 최상위 논 문의 인용빈도에 더 많이 좌우되기 때문이다. hs-지수와 gs-지수를 비교하면 금융경제연구 원의 순위가 하락하였는데, 이는 gs-지수가 hs-지수보다 더 많은 논문의 인용빈도를 반영 해(이재윤 2006) 한국조세연구원과 한국금융 연구원의 gs-지수가 상대적으로 커졌기 때문 이다(<표 11> 참조).

       4.2 연구기관별 영향력 순위 비교

    한경비즈니스에서 제시한 경제 분야 연구기관 순위와 앞에서 산출한 지수 및 인용 행태를

    바탕으로 기관의 평가 순위를 비교?분석하였다(<표 12> 참조). 이 때 인용 행태에서 분석한 연구인력 규모와 인용기사 수, 피인용 보고서 수 등의 분석 항목도 비교 기준으로 반영하였다.

    먼저, 기관별로 살펴보면 삼성경제연구소와한국개발연구원은 모든 평가 지표에서 순위변동이 없이 1위와 2위로 나타났다. 단, 보고서당 피인용 뉴스 기사 수는 한국개발연구원이 많았는데, 이는 하나의 보고서가 뉴스에 인용되는 빈도가 삼성경제연구소보다 높다는 의미로, 보고서 단위 영향력이 큰 보고서는 한국개발연구원이 더 많다고 볼 수 있다.

    산업연구원은 한경비즈니스에서 조사한 전문가 순위와 동일하게 hs, gs-지수에서 3위로평가되었다. 전체 인용 수(68건)가 LG경제연구원(87건) 보다 적었고 한국금융연구원(62건)과 비슷하였지만, 인용빈도 상위 보고서의인용 횟수가 높아서 다른 연구기관보다 높은지수 값을 가졌다. 그러나 개별 인용빈도의 영향이 큰 g-지수에서는 인용 수 순위와 동일하게 4위로 하락하였다.

    LG경제연구원은 전문가 순위에서 5위로 평가되었지만, 보고서 인용 지표에서는 한국금융연구원(전문가 순위 4위) 보다 항상 높게 나타났다. 즉, 뉴스매체를 통한 보고서의 영향력이 상대적으로 크다는 것을 알 수 있다.

    한국금융연구원은 전문가 순위에서 4위로 평가되었고 인용 수도 5위이지만, 상위 인용 보고서의 인용빈도가 높지 않아서 인용지표에 서는 상대적으로 낮은 순위에 머물렀다. 하지 만 연구인력 규모가 50명으로 적은 편인 것에 비해 높은 영향력을 나타내고 있다.

    대외경제정책연구원은 전문가 순위에서는 6위로 평가되었지만, 보고서 인용 지표에서는대부분 8위로 낮게 나타났다. 이는 뉴스매체를통한 보고서 영향력이 상대적으로 낮기 때문인데, 특히 연구인력 수에 비해서 보고서 인용과관련된 빈도가 가장 낮은 것으로 나타났다.

    금융경제연구원은 전문가 순위에서 7위로 평가되었지만, 보고서 인용 지표에서는 5위~7위사이에서 이동하는 모습을 보였다. h와 hs-지수에서는 상대적으로 높게, g와 gs-지수에서는낮게 평가되었다. h관련 지수가 높은 원인은 인용빈도 상위 보고서의 인용 횟수가 낮음에도 불구하고 h관련 지수에서는 인용 횟수를 반영하지 않기 때문이다. 금융경제연구원은 연구인력규모가 10개 연구기관 중 가장 적은 것에 비해영향력이 높게 나타나는 것이 특징이다.

    한국조세연구원은 전문가 순위에서 9위로평가되었지만, 보고서 인용 지표에서는 5위에서 8위로 나타나며 지표에 따라서 변동이 가장 큰 연구기관이었다. 전체 인용빈도는 54건정도이지만 인용빈도 상위 보고서의 인용 횟수가 높아서 g, gs-지수를 구하면 순위가 상승하였다.

    자본시장연구원은 전문가 순위 10위이지만, 보고서 인용 지표에서는 모두 9위로 나타나 평가순위 간에 큰 차이를 보이지는 않았다.

    포스코경영연구소는 전문가 순위에서 8위 로 평가되었지만, 인용빈도가 6건으로 가장 적어 보고서 인용 지표에서는 모두 10위로 나타났다. 즉, 다른 연구기관에 비해 대외적으로발행되는 보고서 양이 적고, 보고서를 외부로알리는 노력이나 다양한 발신 경로가 부족한것이 적은 지수 값의 가장 큰 원인이었다.

    다음으로, 전문가 순위를 제외한 인용 수 및지수별 순위를 비교해보면, 상위권인 삼성경제연구소, 한국개발연구원과 하위권인 대외경제정책연구원, 자본시장연구원, 포스코경영연구원은 지수의 적용 방법과 상관없이 동일한 순위를 보였다. 반면, 중상위권인 산업연구원과LG경제연구원 간에, 그리고 중하위권인 한국금융연구원, 금융경제연구원, 한국조세연구원간에는 적용한 지수의 종류에 따라 순위 차이를 보였다. 요약하면, 상위권과 하위권에 속한연구기관들은 보고서의 인용 수에 따른 순위와일맥상통한 결과를 갖고 지수에 둔감하지만,중위권의 경우는 지수에 더욱 민감한 것으로나타났다. 지수들 중에는 g-지수가 동순위 기관이 많아 지수로서의 식별력은 떨어지지만,인용 수 순위 결과와 가장 유사하게 나타났다.

    따라서 인용 수를 기준으로 연구기관의 영향력을 지수로 나타낼 때는 중간 계층에 속한연구기관의 순위가 지수에 민감하기 때문에h-지수 이외에도 다양한 지수 적용을 고려해야 할 것이다.

    5. 결론

    연구기관의 영향력을 측정하는 요소는 다양하지만 연구성과물을 기관 홈페이지에 공개하고 발신한다는 맥락에서 연구 성과물을 중심으로 영향력을 평가하는 것이 보다 적합하다. 그러나 국내에서의 연구기관 평가는 일반적인 기관 평가의 기준이 적용되거나 전문가를 대상으로 설문조사한 질적 평가가 이루어져 왔을 뿐,연구기관과 관련된 객관적인 수치를 통해 영향력을 분석한 연구는 없는 실정이다.

    이에 본 연구에서는 연구기관의 영향력을보고서의 인용 측면에서 분석하기 위해 인터넷 뉴스에서 보고서를 인용한 기사를 수집하여 인용 행태를 분석하고 계량정보학에서 활용되는 다양한 인용 지수를 활용하여 영향력순위를 제시해 보았다.

    먼저, 인용 행태 분석은 뉴스 기사의 내용을 조사하여 연구기관별로 보고서 인용빈도(기사 수), 인용한 뉴스매체, 인용 출처의 정확성, 인용 기사 내의 보고서 역할(중심성),주제 구분, 길이, 보도의 신속성 등을 중심으로 이루어졌다. 분석 결과는 연구기관에서 자관 연구 성과물의 발신력 제고를 위해 활용될수 있다.

    다음으로, h-지수와 g-지수, hs-지수,gs-지수 등 다양한 영향력 지수를 이용해 각기관의 영향력을 비교?분석한 결과, 1위에서4위는 삼성경제연구소, 한국개발연구원, 산업연구원, LG경제연구원이 차지하였고, 5~7위는 한국금융연구원, 금융경제연구원, 한국조세연구원이었으며, 8~10위는 대외경제정책연구원, 자본시장연구원, 포스코경영연구소가포함되었다. 이 중에서 한국금융연구원과 한국조세연구원은 한경 비즈니스의 조사 결과와많은 차이를 보였으며, 한국금융연구원의 영향력은 낮게, 한국조세연구원은 높게 평가되었다.

    그러나 본 연구는 조사 대상을 연구기관의주요 산출물인 보고서에 한정하였기 때문에보고서 이외의 연구기관의 다양한 산출물인인터뷰, 세미나, 심포지엄 및 공개 보도되지않는 자료 등은 분석 대상에서 제외하였고, 개별 연구기관의 운영 주체나 외부 환경, 연구분야 성격의 차이를 반영하지 못하였으며 분석 대상 기간을 2010년 9월과 10월을 임의로한정하여 조사하였다는 제한점이 있다.

    또한 데이터 검색 과정에서도 한글 기관명의 정확한 명칭과 ‘보고서’란 단어만을 이용해검색했기 때문에, 기사에서 영문기관명이나기관명의 약칭으로만 기재된 경우나 보고서를인용했지만 ‘보고서’라는 단어를 기재하지 않고 보고서의 내용만을 인용한 기사는 분석 대상에서 누락되었다. 실제로 연구기관에서 발행한 보고서 제목을 중심으로 데이터 수집을할 수도 있지만, 보고서명을 기재하지 않거나일부만 나타내는 등 부정확한 경우도 상당히많은 것으로 조사되었다. 따라서 본 연구의 결과로 인터넷 뉴스의 인용 분석을 연구기관의일반적인 영향력 평가 방법으로 일반화하기에는 한계가 있다.

    그러나 본 연구는 뉴스의 보고서 인용 행태를 기사 내용을 통해 심도 깊게 분석하였고,

    일반적으로 학술논문의 인용 횟수로 연구자의영향력을 측정하는 h-지수와 변형 지수를 뉴스 기사라는 새로운 매체에 적용함으로써 경제 분야 연구기관의 영향력을 계량적이고 객관적인 지수로 제안했다는 점에서 의의를 갖는다.

  • 1. 이 재윤 2006 연구성과 측정을 위한 h-지수의개량에 관한 연구 [정보관리학회지] Vol.23 P.167-186 google
  • 2. 2001 삼성경제연구소 입김 세졌다 google
  • 3. 정 광호 2006 정책과정에서의 미국 싱크탱크(Think Tank)의 활동과 역할에 관한 예비적 분석 [행정논총] Vol.44 P.265-304 google
  • 4. 최 환진 2004 인터넷 뉴스의 정보처리 과정에관한 연구 [한국언론학보] Vol.48 P.5-27 google
  • 5. 2009 대한민국 100대 싱크탱크 google
  • 6. 홍 일표 2007 미국의 보수적 싱크탱크들의 성장과정과 전략: 이념사람조직을 강화하라 [시민과 세계] Vol.11 P.323-352 google
  • 7. 황 윤원 2008 우리나라 정당 싱크탱크의 실태 분석과 발전방향 [한국거버넌스학회보] Vol.15 P.383-413 google
  • 8. Chaban Natalia, Kima Se Na, Stats Katrina, Sutthisripok Paveena 2004 When enough is enough?:dynamics of the EU representationsin Asia-Pacific print media [Asia-Pacific Journal of EU Studies] Vol.2 P.173-193 google
  • 9. Dolny Michael 2009 Right ebbs left gainsas media 'experts': Think tankbalance still skews right google
  • 10. Egghe Leo 2006a An improvement ofthe h-index: the g-index [ISSI Newsletter] Vol.2 P.8-9 google
  • 11. Egghe Leo 2006a Theory and practise of theg-index [Scientometrics] Vol.69 P.131-152 google
  • 12. Grant Jacqualine B, Olden Julian D, Lawler Joshua J, Nelson Cara R, Silliman Brian R 2007 Academic institutions in the United States and Canada ranked according to research productivity in the field of conservation biology [Conservation Biology] Vol.21 P.1139-1144 google
  • 13. Hirsch Jorge E 2005 An index to quantifyan individual' 's scientific researchoutput [Proceedings of the NationalAcademy of Sciences of the UnitedStates of America] Vol.102 P.16569-16572 google
  • 14. Lazaridis Themis 2010 Ranking universitydepartments using the meanh-index [Scientometrics] Vol.82 P.211-216 google
  • 15. Luz Mariana Pires Da, Marques-Portella Carla, Mendlowicz Mauro, Gleiser Sonia, Countinho Evandro SilvaFreire, Figueira Ivan 2008 Istitutional h-index: the performanceof a new metric in the evaluationof Brazilian psychiatricpost-graduation programs [Scientometrics] Vol.77 P.361-368 google
  • 16. McGann James G 2009 The think thanksand civil societies program google
  • 17. Molinari Jean-Francois, Molinari Alain 2008 A new methology forranking scientific institutions [Scientometrics] Vol.75 P.163-174 google
  • 18. Posen Adam S 2002 Think tanks: who's hot and who's not google
  • 19. Reed Lawrence W 2000 Thinking througha successful think tank google
  • 20. Rich Andrew, Rich Weaver, Kent R 2000 Think tanks in the US media [The Harvard International Journal ofPress/Politics] Vol.5 P.81-103 google
  • 21. Smith Nathan Grant 2009 Productivityin lesbian gay bisexual and transgenderscholarship in counselingpsychology: institutional and individualratings for 1990 through 2008 [The Counseling Psychologist] Vol.38 P.50-68 google
  • 22. Vinkler Peter 2007 Eminence of scientistsin the light of the h-index andother scientometric indicators [Journalof Information Science] Vol.33 P.481-491 google
  • [표 1] 연구기관별 인용빈도
    연구기관별 인용빈도
  • [표 2] 개별 보고서의 인용 기사 수
    개별 보고서의 인용 기사 수
  • [표 3] 뉴스매체별 인용 기사 수
    뉴스매체별 인용 기사 수
  • [표 4] 연구기관별 인용 뉴스매체
    연구기관별 인용 뉴스매체
  • [표 5] 보고서명 기재 상태
    보고서명 기재 상태
  • [표 6] 연구기관별 중심성 정도
    연구기관별 중심성 정도
  • [표 7] 뉴스 섹션별 인용 기사 수
    뉴스 섹션별 인용 기사 수
  • [표 8] 단독 보도의 뉴스 길이
    단독 보도의 뉴스 길이
  • [<표 9>] 보고서 발행 후 인용되는 시간차
    보고서 발행 후 인용되는 시간차
  • [<표 10>] h-지수와 g-지수
    h-지수와 g-지수
  • [<표 11>] hs-지수와 gs-지수
    hs-지수와 gs-지수
  • [<표 12>] 평가 지표별 연구기관 순위
    평가 지표별 연구기관 순위