현대 간호는 이론, 연구 및 실무의 유기적 관계 속에서 과학적 근거를 기반으로 지속적으로 발전하고 있다. 외국의 경우 1998년 영국과 캐나다를 중심으로 근거 기반 간호(Evidence-Based Nursing) 학회지를 통해 근거기반 간호를 시작하였고, 국내는 2004년 한국간호과학회의 ‘Evidence based nursing의 활용’이라는 주제로 개최된 학술대회를 시작으로 근거 기반 실무 개념이 소개되면서 이론, 연구 및 실무에 근거 기반을 적용하려는 노력이 있었으며 2010년 한국근거기반간호연구회가 발족하면서 본격적인 활동이 이루어지고 있다(Cheo et al., 2010: 95-105).

최근 근거기반 간호가 강조되면서 체계적 문헌고찰과 메타분석은 건강 관련 연구를 통합하고 요약하는 표준화된 방법이 되어 왔다. 메타분석은 근거기반 간호 중 가장 높은 수준으로 분류되고 있으며 다양한 연구방법에 의한 연구결과들을 객관적으로 타당한 기준을 적용하여 통계적으로 평가 및 확인을 할 수 있는 연구방법이다(김정희·김애경, 2013; 신인수·박은영, 2011). 1976년 Glass가 메타분석을 명명한 이래 지난 10여 년 동안 전 세계적으로 다양한 분야에서 메타분석 연구가 활발히 수행되어 왔으며, 현재 국내의 메타분석 연구도 학위논문 3,904편, 학술지 게재 논문 2,526편으로 보고되어 비교적 짧은 기간 내에 뚜렷한 양적 팽창이 이루어졌음을 알 수 있다. 이처럼 상당한 메타분석 연구가 증가한 반면에 메타분석 연구의 질 평가는 극히 미미한 실정으로 연구영역의 확대와 함께 메타분석 연구의 질 평가를 위한 기준과 가이드라인의 필요성이 대두되고 있다(Moher et al., 1999: 1896-1900).

메타분석 연구의 질 평가를 위한 대표적인 도구로는 QUORUM (Quality of Reporting of Meta-Analyses), SIGN (Scottish Intercollegiate Guidelines Network), AMSTAR (Assessment of Multiple Systematic Reviews), OQAQ (The Enhanced Overview of Quality Assessment Questionnaire) 등이 있으며 이 중 AMSTAR는 신뢰도와 타당도가 검증된 평가도구로서 방법론적인 질 평가가 가능하고 적용이 용이한 장점이 있어 학문분야에 제한 없이 널리 활용되고 있다(Shea et al, 2007;Shea et al., 2009). 최근 김정희와 김애경 (2013)이 1976년 이후 수행한 국내 간호학 분야의 메타분석방법으로 수행한 42편의 연구를 AMSTAR를 이용하여 평가하였으며 신인수와 박은영 (2011)의 연구에서는 APA (American Psychological Association)의 기준을 적용하여 국내 특수교육 및 관련 분야의 메타분석 논문에 대한 질 평가를 시도한 바 있다. 이처럼 학문분야별 메타분석 연구의 현 주소를 조망하고 메타분석 연구의 발전을 도모하고자 객관적인 평가를 시행할 뿐 아니라 여러 학문에서 다루는 운동(송영신 외, 2014: 459-470)이나 청소년 문제(Jenifer et al., 2012: 540-552)와 같은 주요 연구 이슈관련 메타분석 연구의 방법론적 질을 평가하는 연구도 시도되고 있다. 그 결과 각 이들 학문에서 시도하고 있는 메타분석 연구의 질이 공통적으로 낮거나 중등도 였음을 지적하면서 메타분석 가이드라인에 따른 연구수행을 강조하고 있다.

한편, 경제적 성장과 의료 기술의 발달로 인간의 평균수명이 연장되면서 노인 인구의 증가는 전 세계적인 이슈가 되고 있으며 우리나라에서도 노인관련 문제들은 중요하게 대두되고 있다(김철진, 2011: 281). 유년인구의 지속적인 감소로 인한 우리나라 인구 구조의 변화는 가족기능이 약화되는 결과를 가져와 노인, 즉 고령자들의 삶을 더욱 어렵게 만들게 되었다(김훈·김근식, 2011: 262).

노인은 간호학뿐 아니라 다양한 학문에서 주요 연구 대상이 되어왔다. 노인의 신체적, 정신적, 사회적 건강문제에 관한 탐색과 해결방안을 제시하기 위해 수 많은 다양한 연구들이 수행되어왔다. 지금까지 축적된 노인에 관한 다양한 연구결과는 메타분석을 통해 객관적이고 타당한 방법으로 통합 및 요약되어 새로운 지식으로 생성되고 임상적 의사결정에 적극적으로 활용되고 있다. 외국의 경우 의학과 간호학분야의 주요 검색엔진인 PubMed를 이용하여 노인 관련 메타분석 연구를 검색한 결과 7만여 편으로 나타났고, 국내에서도 다양한 학문분야에 걸쳐 50여 편이 검색된 점으로 볼 때 노인 관련 메타분석 연구의 양적 팽창도 예외가 아님을 알 수 있다. 하지만 지금까지 노인 관련 메타분석 연구의 질 평가는 시도된 바가 없으며 학문분야별 근거 기반 노인실무에 대한 요구가 증가함에 따라 노인 관련 메타분석 연구의 결과들이 근거 기반으로 활용될 가능성을 고려할 때 무엇보다도 질 평가를 통한 편중되지 않은 연구결과의 제공이 시급하다고 할 수 있다. 또한 노인 관련 메타분석 연구의 질 평가는 현재 다양한 학문에서 시도되고 있는 메타분석의 연구의 현황을 점검함으로써 추후 메타분석 연구가 나아갈 바람직한 방향을 제시할 수 있을 것이다.

이에 본 연구는 국내 노인 관련 메타분석 연구의 현황을 점검하고 우리 실정에 적합한 편중되지 않은 통합된 연구결과를 제공하기 위해 AMSTAR를 이용하여 국내 학술지 게재 노인 관련 메타분석 연구의 질 평가를 시행하고자 한다. 따라서 본 연구는 국내 학술지 게재 노인 관련 메타분석 연구를 대상으로 연구특성을 파악하고 AMSTAR를 이용하여 대상 연구의 질 수준을 파악하고자 하며, 아울러 메타분석 연구를 통해 제시된 노인중재 변인을 종합하고 그 효과크기를 요약 제시함으로써 노인관련 실무자가 자신의 실무분야에 적합한 프로그램 선택과 개발에 기초자료로 활용할 수 있도록 하는 것이 궁극적인 목적이다. 이는 추후 노인을 대상으로 다양한 학문에서 시도되고 있는 근거기반 노인 실무 확장 및 메타분석 연구의 발전을 위한 유용한 자료로 활용될 수 있을 것이다.

이에 본 연구의 구체적인 연구 목적은 다음과 같다. 첫째, 대상 연구의 연구특성을 파악하고, 둘째, AMSTAR를 이용하여 대상 연구의 질 수준을 파악하며, 셋째, 연구특성에 따른 대상 연구의 AMSTAR 점수의 차이를 파악한다. 마지막으로, 개별 메타분석 연구에서 제시한 노인중재 변인을 종합한다.

메타분석 연구의 질 평가는 1990년 초를 시작으로 하여 다양한 도구들이 개발되고 사용되고 있다. 그 시초는 간호학을 비롯하여 의학, 치의학, 약학 등의 분야에서 Postdam Consultation on Meta-analysis (Cook et al, 1995), QUOROM (Quality of Reporting of Meta-analyses)(Moher et al, 1999: 1896-1900), MOOSE (Meta-analysis of Observation Studies in Epidemiology) (Stroup et al, 2000: 2008-2012), PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis)(Moher et al, 2009: 1006-1012), OQAQ (The Overview Quality Assessment Questionnaire)(Oxman et al, 1991: 91-98), AMSTAR (Assessment of Multiple Systematic Reviews)(Shea et al, 2007; Shea et al, 2009: 1013-1020) 등을 사용하여 연구가 수행되어져 왔다(Dixon et al 2005: 450-459; MacDonald et al, 2010: 648-653; Dijkman et al, 2010: 48-57; De Vito et al, 2007: 8794-8806; Melchiors et al, 2012: 32-42; Papageorgiou et al, 2011: 116-137; Suebnukarn et al, 2010: 602-608). 다양한 도구들이 지속적으로 발전하면서 연구자들에게 의해 선택되어져 메타분석 연구의 질 평가에 사용되어져 왔다. 이중에서 우리나라는 한국보건의료연구원에서 체계적 문헌고찰과 메타분석을 위한 지침을 2011년 마련하였다.

메타분석 연구의 질 평가를 위한 도구의 선택의 기준은 검증된 타당도와 신뢰도와 함께 문항이 비교적 간단하고 명확해야 할 것이다. AMSTAR 도구는 총 11문항으로 되어 있으며 타당도와 신뢰도가 검증되었을 뿐만 아니라(Shea et al, 2007: Shea et al, 2009: 1013-1020) 측정이 빠르고 쉬운 장점이있다. 연구자는 체크리스트 형식으로 점수화가 가능하기 때문에 메타분석 연구의 질을 객관적으로 비교할수 있다. AMSTAR 도구는 사전에 문헌고찰의 계획 수립 여부, 문헌 선택과 자료추출 방법, 포괄적인 문헌 검색, 출판 상태의 포함 기준, 포함된 연구 목록 제시, 연구 특성 제시, 연구의 질 평가, 연구의 질을 결론 도출 시 활용, 개별 연구 결과의 결합 방법의 적절성 여부, 출판 편의 가능성 평가 여부, 이해상충에 대한 기술 여부의 총 11문항을 평가한다. 이때 각 항목은 ‘예’, ‘아니오’, ‘대답할 수 없음’혹은 ‘적용할 수 없음’으로 구분되어 평가된다. 연구자는 ‘예’의 항목만 1점의 점수를 부여하고 나머지는 0점으로 점수를 부여한다. 점수는 0점에서 11점까지 가능하며 낮은 수준의 질은 0점-4점, 중간수준의 질은 5-8점, 높은 수준의 질은 9-11점으로 평가한다.

AMSTAR를 이용하여 메타분석 연구의 질을 평가하는 과정은 일반적으로 다음과 같다. 다양한 검색엔진을 사용하여 메타분석과 특정 주제어로 검색하여 적합한 문헌들을 확정한다. 복수의 연구자들은 각자 독립적으로 검색을 진행한다. 이때 대부분의 연구자는 학위논문과 학술지 논문 모두를 선택하거나 혹은 학술지 논문만을 선택한다. 연구의 특성상 국내 연구와 국외 연구까지 포함할 것인지를 연구자가 기준을 정한다. 복수의 연구자들이 각각 AMSTAR 도구를 사용하여 질 평가를 한 후 일치 여부를 확인한다. 이때 논의를 거친 후 재확인과 합의의 과정이 필요한 경우도 있다. 최종적으로 0점에서 11점 사이의 점수가 산정되어 질이 평가된다. 연구자들은 평가전 엄격하고 완전한 기준을 가지고 평가를 시행하는 것이 평가에 있어 더 편리할 것이다.

그동안 AMSTAR를 이용한 메타분석 연구의 질 평가 연구는 매우 부족하였다. 몇몇 선행연구에 따르면 여러 학문에서 다루는 운동관련 메타분석 연구의 질 평가 연구(송영신 외, 2014: 459-470)와 청소년 폭력예방 프로그램 관련 메타분석과 체계적 문헌 고찰의 질 평가 연구(Jenifer et al. 2012)가 수행되었다. 이러한 연구결과를 토대로 현재까지 수행된 메타분석 연구의 질 수준과 개선되어야 할 보고기준을 확인할 수 있었다. 따라서 학문분야별 메타분석 연구의 질을 확인함으로써 다 학문적, 임상적, 지역사회에서의 활용성 및 효과성을 판단하여 이를 바탕으로 추후 메타분석 연구의 질 향상을 위한 교육적 전략과 실무 향상을 위해 근거기반 제공에 활용될 수 있을 것으로 기대한다.

본 연구는 국내 학술지 게재 노인 관련 메타분석 연구를 대상으로 연구특성을 파악하고 AMSTAR를 이용하여 대상 연구의 질 수준을 파악하기 위한 서술적 조사연구이다.

본 연구의 대상은 국내 학술지 게재 노인 관련 메타분석 연구이며 자료수집 절차는 Figure 1과 같다. 본 연구는 윤리적 고려를 위해 C 대학교 간호대학 기관생명윤리위원회의 심의를 거쳐 수행되었다(IRB No. 201401–HR-013-01-03).

먼저 1단계에서 간호학 교수이며 메타분석 연구의 질 평가 경험을 가진 연구자 3인은 1) 노인 대상 2) 노인 관련 서술연구 또는 중재연구를 대상으로 한 메타분석 연구 3) 질적 연구 제외 4) 국내 학술지 게재 논문을 선정기준으로 하고 주요어는 ‘노인’, ‘메타분석’으로 하는 검색전략을 작성하였다. 2단계에서 연구자 3인은 각자 독립적으로 ‘노인’, ‘메타분석’을 주요어로 하여 한국학술정보원(Korean Studies Information Service System), RISS4U, DBPIA, 국회도서관 4개의 데이터베이스를 이용하여 2014년 3월 현재까지 국내 학술지에 게재된 모든 연구를 검색하였다. 검색 결과 RISS4U에서 28편, 국회도서관에서 14편, DBPIA에서 3편, KISS에서 10편 총 55편 연구가 수집되었다. 연구자 3인이 수집된 55편 연구의 초록과 전문을 확인한 결과 이중 중복이 22편, 메타인지 등 메타분석 연구가 아닌 연구가 17편, 질적 연구가 1편, 미 출판 연구가 2편으로 선정기준에 부합하지 않는 연구 20편을 제외하기로 의견일치를 하였으며 따라서 최종 분석 대상 연구는 총 13편이었다. 마지막 4단계에서 연구자 3인은 독립적으로 총 13편의 분석 대상 연구를 AMSTAR를 이용하여 연구의 질 평가를 수행하였으며 일치하지 않은 문항에 대해서는 토론 및 투표를 거쳐 합의된 결과를 입력하였다.

[Figure 1.] Literature Search Strategy

1) 메타분석 연구의 질 평가

본 연구에서는 대상 연구의 질 평가를 위해 Shea et al.(2007)가 개발한 AMSTAR (Assessment of Multiple Systematic Reviews)를 국내에서 Kim et al.(2011)가 번역하고 한국보건의료원에서 체계적 고찰 매뉴얼에 수록하여 사전 동의 없이 사용할 수 있도록 개방한 도구를 사용하였다.

AMSTAR는 사전에 문헌 고찰의 계획 수립여부, 문헌 선택과 자료추출 방법, 포괄적인 문헌 검색, 출판 상태의 포함기준, 포함된 연구 목록 제시, 연구 특성 제시, 연구의 질 평가, 연구의질의 결론 도출 시 활용, 개별 연구 결과의 결합 방법의 적절성 여부, 출판 편의 가능성 평가 여부에 대한 기술이 되어 있는지의 총 11문항으로 구성되어 있다. 각 항목은 ‘예’, ‘아니오’, ‘대답할 수 없음’, ‘적용할 수 없음’의 check list 형식이며 ‘예’는 1점, ‘아니오’, ‘대답할 수 없음’, ‘적용할 수 없음’ 은 0점을 부여할 수 있다. 점수가 높을수록 메타분석 연구의 질이 높음을 의미하며 전체 11개 항목의 총점에서 0점-4점인 경우는 낮은 수준, 5-8점은 중간 수준, 9-11점은 높은 수준으로 분류할 수 있다. 도구의 신뢰도는 개발 당시 Shea et al.(2007)의 연구에서 평균 kappa=.70 (.38-1.0)이었으며 본 연구에서 Intra Class Coefficients=.88, 측정자간 일치도 Cohen’s kappa=.605-.511이었다.

2) 연구특성

본 연구에서 대상 연구의 연구특성은 게재년도, 저자, 주제, 학술지의 수준, 학문분야, 사용한 언어, 검색에 이용된 데이터베이스 수, 메타분석에 이용된 논문의 수, 주요 결과, 연구설계 등을 포함하였다.

본 연구에서 최종 13편의 대상 연구에 대한 코딩은 연구자에 의해 사전에 작성된 자료추출양식을 이용하였다. 연구자는 독립적으로 대상 연구의 내용을 검토하여 연구특성과 AMSTAR 점수를 평가한 자료를 추출한 후 서로 비교하였으며 의견 불일치 시에는 토론과 투표를 통해 합의된 의견을 코딩 하였다. 대상 연구의 질 평가는 포함 및 배제된 연구목록 제시 여부 항목에 대해서 최종 연구목록만 보고한 경우, 포함된 연구의 특성 제시 항목에 대해서 목록만 보고한 경우, 개별연구의 결과를 결합하는 방법의 적절성 여부 항목에 대해서 동질성 검정 결과가 없는 경우는 모두 ‘0점’으로 처리하기로 합의하였다. 최종적으로 코딩된 결과지는 연구자 3인이 재확인하였다.

코딩된 자료는 SPSS 21.0을 이용하여 분석하였다. 대상 연구의 연구특성 파악을 위해 실수, 백분율과 평균을 구하였고, 대상 연구의 질 평가는 AMSTAR를 이용하여 11개 항목의 총점, 평균과 표준편차로 분석하였으며, 연구 특성에 따른 AMSTAR 점수의 차이는 각 평균과 표준편차로 분석하였다.

최종 대상 연구는 총 13편이었으며 연구특성은 Table 1과 같다. 게재년도는 2005년에서 2013년까지였고, 2005년 1편, 2009년 1편, 2010년 1편, 2011년 2편, 2012년 3편, 2013년 5편이었다. 학문분야별로는 간호학 1편, 물리치료학 1편, 체육학 3편, 사회복지학 8편으로 사회복지학 분야에서 가장 많았다. 주제별로는 우울이 가장 많았고 낙상, 자살사고, 근력, 유연성, 삶의 질, 심혈관 위험 지표 등 이었다. 메타분석에 포함된 연구의 수는 최소 11편에서 최대 141편까지였으며 연구설계별로는 실험연구 8편, 상관관계 연구 5편으로 각 연구결과는 효과크기 d, r, Odds Ratio로 제시하였다.

[Table 1.] Summary of Included Studies (N=13)

Summary of Included Studies (N=13)

AMSTAR를 이용한 대상 연구의 질 평가 결과는 Table 2와 같다. 대상 연구의 질 평가 점수는 11점 만점에 최소 2점에서 최대 7점이었으며 평균 4.10 (1.32)점으로 0-4점의 낮은 수준에 해당하였다. 각 대상 연구별 연구의 질 수준은 총점이 0-4점의 낮은 수준이 10편, 5-8점의 중간 수준이 3편으로 나타났다. 각 11개의 하위 영역별 평균점수를 점수범위 최소 0점에서 최대 1점이었으며, ‘사전에 문헌 고찰의 계획 수립여부’는 평균 1점으로 13편 모두 기준을 충족한 반면에 ‘포함된 연구 목록 제시’와 ‘이해상충의 기술’은 평균 0점으로 13편 모두 기준을 충족하지 못한 것으로 나타났다. ‘포괄적인 문헌 검색’ 0.69 (0.48)점, ‘출판 상태의 포함기준’ 0.62 (0.51)점, ‘연구특성 제시’와 ‘개별 연구 결과의 결합 방법의 적절성 여부’ 0.46 (0.52)점, ‘문헌 선택과 자료추출 방법’ 0.38 (0.51)점, ‘게재 편의 가능성 평가 여부’ 0.31 (0.48)점, ‘포함한 연구의 질 평가’와 ‘연구의 질을 결론 도출 시 활용’ 0.08 (0.28)점의 순으로 낮게 나타났다.

[Table 2.] The Scores of AMSTAR (N=13)

The Scores of AMSTAR (N=13)

본 연구에서 대상 연구의 주요 연구특성에 따른 연구의 질 평가 점수를 비교한 결과는 Table 3과 같다. 주제에 따른 연구의 질 평가 점수는 낙상예방이 5.00 (1.41)점으로 가장 높았으며 운동 4.00 (2.16)점, 교육 및 치료 4.00점, 우울, 자살, 삶의 질이 3.83 (0.75)점으로 유사하였다. 학문분야에 따른 연구의 질 평가 점수는 간호학 7.00점, 물리치료학 6.00점으로 높게 나타났으며 사회복지학 4.00 (0.53)점, 체육학 2.67 (0.58)점으로 낮게 나타났다. 게재년도에 따른 연구의 질 평가 점수는 2011년에서 2013년에 4.20 (1.48)점으로 2005년에서 2010년은 3.67 (0.58)점 보다 높게 나타났으며 포함한 연구의 수에 따라서는 20편 미만이 4.80 (1.64)점으로 가장 높았고 50개 이상이 4.20 (0.45)점, 21-49편이 2.67 (0.58)점의 순으로 낮게 나타났다. 검색에 이용된 데이터베이스의 수에 따른 연구의 질 평가 점수는 4개 이상이 5.00(1.73)점을 가장 높았고 2-3개 4.60 (0.89)점, 1개 또는 분명하지 않은 연구가 3.00점의 순으로 낮게 나타났으며, 사용된 언어에 따라서는 한국어와 영어를 혼용한 연구가 7.00점으로 가장 높았고 영어 4.00점, 한국어가 3.88 (1.14)점으로 유사하게 나타났다. 학술지의 수준에 따른 연구의 질 평가 점수는 SCI(E)나 SSCI의 경우 7.00점으로 가장 높았고 KCI 등재지가 4.22 (0.83)점, KCI 후보지가 2.67 (0.58)점으로 낮게 나타났으며 연구설계 별로는 실험연구 4.13 (1.64)점, 상관관계연구 4.00 (0.82)점으로 유사하였다.

[Table 3.] Comparison of AMSTAR Scores according to the Study Characteristics

Comparison of AMSTAR Scores according to the Study Characteristics

연구특성에 따른 연구의 질 평가 점수의 수준을 분류한 결과 낙상예방을 주제로 한 연구, 간호학과 물리치료학 연구, 사용한 데이터베이스의 수가 4개 이상인 연구, 언어를 한국어와 영어를 혼용한 연구, SCI(E)와 SSCI 수준의 연구는 5.00점에서 7.00점의 중간 수준에 해당하였고 이를 제외한 연구는 2.67점에서 4.80점의 낮은 수준에 해당하였다.

대상 연구의 노인중재 관련 변인을 요약하면 Table 4와 같다. 교육과 치료, 운동과 낙상예방, 자살과 우울 관련 연구가 수행되었으며 주요 변수의 효과크기를 종합하면 신체적, 생리적, 심리적, 가족적, 사회적 변수를 긍정적 또는 부정적 변수로 나누어 제시하였다. 중재연구의 경우 0.8 이상의 높은 효과크기(Cohen, 1988)를 보인 교육과 처치로 구성된 프로그램 중 분노조절(1.161),웃음치료(1.152), 치매예방(1.150), 미술치료(1.079), 평생교육(1.063), 게스탈트(1.027), 여가교육(0.864)와 음악치료(0.846)가 높은 효과크기를 보였다. 운동과 낙상예방에서는 전신근력강화운동(1.608), 댄스스포츠(1.538)와 노인여성의 댄스운동(1.460), 테라밴드운동(1.518), 보행(0.959), 균형운동(0.909), 점진적 저항운동(0.888)의 효과크기가 높았고 70세 이상노인에게 적용한 낙상예방 프로그램의 경우 최소 0.45에서 최대 0.95로 높은 효과를 보인 프로그램으로 보고되었다. 자살억제와 우울에서는 3개월 미만의 단기 우울관리프로그램이 효과크기 0.37로 중등도의 효과 크기를 보였다.

[Table 4.] Summary of Outcomes in Interventions related the Elderly

Summary of Outcomes in Interventions related the Elderly

의료기술의 발달 등으로 인한 수명연장은 고령화 사회로 진입한 우리나라뿐 아니며 세계적 추세이며, 이들 노인관련 문제는 의료적 이슈뿐 아니라 사회전반의 관심 분야로 다루어지고 있다. 많은 노인관련 정책들이 다양성이 필요함에도 불구하고 노인들을 단순한 수혜자, 즉 소비자로서 인식하고 있다(김현숙, 2013: 419). 이 같은 노인의 신체적, 심리적, 사회적 이슈는 간호학을 비롯한 여러 학문분야별 특성에 따라 다양한 방식으로 탐색되고 있으며, 이를 바탕으로 각종 프로그램이 개발·적용되고 있다. 나아가 이들 개별 연구들은 체계적 고찰과 메타분석방법을 통해 그 효과성이 통합되고 있는 수준에 이르고 있는 실정이다. 본 연구에서는 지금까지 학문분야별 노인대상 체계적 고찰과 메타분석연구의 흐름을 파악하고 이들 논문의 특성과 AMSTAR 평가도구를 이용해 이들 메타분석 연구가 현재 어떻게 수행되고 있는 지 점검함으로서 추후 노인대상 체계적 고찰과 메타분석 연구의 방향을 제시해 보고자 하였다.

전체 11문항으로 구성된 AMSTAR 도구를 이용해 노인 메타분석 연구 13개를 평가한 결과, 11점 만점에 4.10점으로 중간점수에도 미치지 못한 결과를 보였다. AMSTAR 평가 점수는 점수분포에 따라 낮은 수준 (0-4점), 중간 수준(5-8점), 높은 수준(9-11점)으로 구분되는데 이들 메타분석 연구의 질 평가 점수는 낮은 수준에 해당하는 점수를 보였다. 이와 같은 결과는 치의학 학문분야의 5.7점(Papageorgiou, Papadopoulos, & Athanasiou, 2011), 간호학분야의 5.61점(김정희·김애경, 2013), 소아비뇨기분야의 4.8점(Braga, Pemberton, Demaria, & Lorenzo, 2011) 보다도 낮았으나운동을 주제로 한 국내 메타분석 연구 질평가 결과(송영신 외, 2014)인 4.18점과 유사한 점수이다. 본 연구에서 낮은 점수를 보인 것은 두 항목에서 0점을 받은 것이 주요한 요인으로 작용했는데, ‘포함 및 배제된 연구목록이 제시되었는가?’와 ‘이해상충이 기술되었는가?’이었다. 즉 연구에 포함된 메타분석 논문 모두 포함된 논문의 목록은 기술되어 있었으나 배재된 논문 목록은 제시되어 있지 않아 0점을 받았고, ‘이해상충’에 대한 내용 역시 논문 어디에도 기술되어 있지 않았다. AMSTAR를 이용해 간호학 분야의 42개 메타분석 연구의 질을 평가한 김정희와 김애경 (2013)의 연구에서도 본 연구와 같이 두 문항에서 0점을 받은 논문이 88.1%, 100%로 나타나 간호학뿐 아니라 메타분석 연구를 시도하는 모든 학문 영역이 향후 정확한 가이드라인에 따라 기술해야 함에 대한 필요성을 재확인하였다(김정희·김애경, 2013). 그러나 개별 연구자의 노력뿐 아니라 분야별 학회지 논문평가 운영 체계의 개선도 필요한 것으로 보인다. 예를 들어 이해상충에 대한 언급을 해외 학술지의 경우 그 여부와 상관없이 반드시 명시하도록 되어있으나 한국간호과학회의 경우 ‘이해관계’에 대해 구체적인 내용을 한글과 영문으로 반드시 기재로 되어있으나 이해상충이 없을 때에도 기재해야 한다는 예시가 없어 연구자들에게 명확한 가이드를 제시하지 못하고 있는 것이 사실이다. 또한 메타분석에 포함된 개별 논문의 질을 평가하고 이들 연구의 질이 결론을 도출할 때 고려되어야 한다는 7번과 8번의 평가문항에서도 1편만이 가이드라인을 지키는 것으로 나타났다. Glass, McGaw 와 Smith (1981)이 제시한 메타분석의 4가지 비판 중 질 낮은 데이터의 활용 문제을 해결하기 위해서 개별 연구의 비뚤림 위험을 평가하도록 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analysis) 에서 제시하고 있으며(Moher, Liberati, Tetzlaff, & Altman, 2009), 국내 한국보건의료연구원의 2011년 NECA 체계적 문헌고찰 매뉴얼에서는 ‘근거수준 평가’라는 명명 하에 GRADE (The Grading of Recommendations, Assessment, Development and Evaluation) 방법으로 개별 연구의 결과를 등급화하고 결과의 중요도를 결정하여 그에 따라 근거수준을 ‘높음’, ‘중등도’, ‘낮음’, ‘매우 낮음’으로 보고하도록 하고 있다 (Kim et al., 2011). 그러나 이를 준수하고 있는 논문은 1편에 불과해 Dixon et al.(2005)가 일반외과 메타분석 연구의 29%만이 포함된 논문의 질을 평가한다고 보고한 것과 김정희와 김애경(2013)의 간호학분야의 질 평가 연구에서의 31%보다도 현저히 낮았다. 추후 메타분석 연구자들은 검색된 논문의 근거를 평가하여 이를 제시함으로써 독자가 메타분석 결과를 해석하고 실무 적용시 이를 반영할 수 있도록 세심한 주의가 필요하다 하겠다.

메타분석의 목적은 개별연구결과를 결합하여 그 효과크기를 제시하는 것이라 할 수 있다. AMSTAR 평가문항 중 9번과 10번은 이들 개별 연구의 결합이 적절한지 동질성을 평가하여 이질한 경우 무작위효과 모형(Random effect model)을, 동질한 경우 고정효과모형(Fixed effect model)을 선택한다. AMSTAR에서는 9번 평가항목으로 이를 제시하도록 하고 있는데 본 연구의 경우 46%의 논문이 이를 지키는 것으로 나타났다. 또한 평가문항 10번과 같이 통계적으로 의미 있는 연구만을 보고함으로써 나타날 수 있는 게재 비뚤림 가능성을 평가하여 이를 그래프나 통계적 검정결과로 제시하도록 하고 있는데 본 연구에서는 31%가 이를 준수하는 것으로 나타났다. 그러나 위 두 평가문항 모두 김정희와 김애경(2013)의 연구결과인 81%(9번 문항), 45%(10번 문항)에 비교하면 낮으며, Papageorgiou et al.(2011)의 치의학분야 연구결과인 9.1%(9번 문항), 1.8%(10번 문항), 송영신 외(2014)의 국내 운동관련 메타분석연구 질 평가 결과인 21.2%(10번 문항) 보다는 높은 수준이었다. 그러나 여러 명이 논문 검색을 수행하고, 분석에 포함된 논문의 연구특성을 제시하는 부분에서는 각각 38%가 이를 지켰던 것에 비해 ‘사전에’ 핵심질문을 만들고 포함기준을 제시하며(1번 문항), 포괄적인 문헌을 검색(3번 문항)하려는 시도는 대부분의 연구에서 높은 점수를 보였다. 결국 종합하면 13개 분석 논문은 낮은 수준(0-4점) 10개, 중간수준(5-8점) 3개로 구별되어 간호학분야(김정희·김애경, 2013)와 청소년 폭력예방 프로그램 메타분석 연구의 질 평가(Jenifer et al, 2012)와 국내 운동 메타분석 연구의 질평가(송영신 외, 2014)보다 낮은 수준의 연구들이 많은 것으로 나타나 향후 높은 수준의 메타분석 연구를 위한 학문분야별 개선노력과 교육과 더불어 김정희와 김애경 (2013)의 연구에서 제시한 바와 같이 메타분석의 수준을 판별할 수 있는 민감성 확인 연구가 계속 이루어져야 할 것으로 사료된다.

본 연구에서 AMSTAR 평가 점수는 연구 특성에 따라 다른 분포를 보였다. 분석 대상 논문의 수가 13개의 산술적 점수를 단순비교하면, 간호학분야의 평가점수가 가장 높았고, 2010년 전에 출간된 논문에 비해 이후 출간된 논문의 질 평가 점수가 높았다. 간호학의 경우 근거기반실무의 강조로 인해 체계적 고찰과 메타분석에 대한 교육요구가 증가하여 최근 PRISMA 기준의 확산이 이 같은 결과에 반영된 것으로 보이며(Kim et al, 2011), 최근 보건계열뿐 아니라 타 학문으로의 이러한 움직임의 확대가 반영된 것으로 유추할 수 있다. 또한, 포함된 논문의 수가 20개 미만인 논문과 메타분석에 포함된 논문의 언어가 한국어와 영어를 모두 포함한 경우 및 게재된 논문의 수준이 SSCI나 SCI(E)인 경우 그리고 무작위 실험연구를 대상으로 한 메타분석 연구인 경우 AMSTAR 평가점수가 높은 경향을 보였다. 이는 포함된 논문의 수는 양적으로 많은 것보다는 얼마나 엄격하게 포함기준에 부합된 문헌을 빠짐없이 찾았는가가 더 중요함을 시사하는 결과로 생각되며, 언어의 경우 한 개의 언어만을 선택할 경우 중요한 문헌이 누락될 수 있으므로 노인 관련 연구의 경우 한국어와 영어로 출간된 모든 자료를 포함하는 것이 메타분석의 질을 향상시키기 위한 방안의 하나로 사료된다. 게재저널의 수준이 SSCI나 SCI(E), 한국연구재단 등재지인 경우 메타분석 연구의 질이 높은 것으로 나타났으므로 외국과 같이 국내 메타분석 연구의 심사기준을 학술지마다 명확하게 제시하고 이를 따르도록 가이드라인을 제시하는 것이 메타분석 연구의 수준을 높이는 직접적인 방법이 될 것으로 생각된다.

본 연구목적을 달성하기 위해 국내 학술검색 데이터베이스를 이용하여 추출한 13편의 메타분석 연구 중 8편이 사회복지학에서 다루고 있어 기타 학문에서의 메타분석 연구가 아직 미비함을 확인하였다. 또한 이들 연구에서 다루고 있는 주제가 노인의 운동, 우울예방에 국한되어 있어 노인대상 메타분석 연구주제의 확장에 대한 필요성도 확인하였다. 특히 간호학의 경우 노인의 건강문제인 휴식과 수면, 영양, 배설, 약물남용과오용, 정신건강과 스트레스 관리와 각종 건강증진 프로그램 개발 및 적용 등의 연구가 활발히 진행되고 있다. 그러나 본 연구자들은 메타분석 연구의 질을 평가하고 개선점을 찾는 것과 더불어 현재까지 이루어지고 있는 노인 메타분석 연구의 현황을 알아보고자 각 메타분석 연구에서 제시되고 있는 주요 효과 변인들을 확인하였다. 앞서 제시한 바와 같이 최근까지 노인대상 메타분석은 운동과 낙상예방, 자살억제와 우울예방, 삶의 질 변인 및 교육으로 구분되어 연구가 이루어졌다. 이중 운동과 낙상예방의 경우 이들 프로그램의 효과를 신체적, 생리적, 심리적 변인들을 중심으로 효과크기를 제시하고 있었고, 이중 Cohen (1988)이 제시한 0.8 이상의 높은 효과크기를 보인 프로그램으로 70세 이상노인에게 적용한 낙상예방 프로그램, 전신근력강화운동 등을 확인할 수 있었다. 자살억제와 우울예방의 경우에는 개인적, 심리적, 가족적, 사회적 변인을 나누어 부정적·긍정적 변인으로 효과크기를 제시하고 있었고 이러한 우울예방 프로그램은 단기적으로 더 효과적임을 제시해 주고 있었다(박승민, 2011). 효과크기의 산출은 추후 개별 중재 연구수행 시 표본의 크기를 산출하고 프로그램을 설계할 때 효과적인 정보로 제공될 것이다(장덕호·신인수, 2011). 이처럼 다양한 연구 성과를 획득하기 위해서는 노인 메타분석 연구분야의 새로운 주제 발굴 노력이 절실하다. 국내 간호학을 포함한 의료계의 메타분석 연구는 매우 미비한 반면, 해외의 경우 Cochrane Library를 통해 검색한 결과 노인관련 메타분석 연구가 160여편 이상이 추출되는 등 활발한 연구 통합노력이 이루어지고 있다. 이에 추후 노인관련 연구를 통합하기 위한 다각적인 학문적 노력과 가이드라인에 맞는 체계적인 연구의 실행이 필요한 시점이라 하겠다.

최근 메타분석 연구에 대한 연구자들의 관심이 증가되고 있어 추후 노인을 대상으로 한 다양한 주제의 메타분석 연구의 확장이 예측된다. 이에 양적, 질적으로 향상된메타분석 연구를 대상으로 논문의 질 평가를 재 실시하여 현재와 비교한다면 노인분야 학문의 발전상을 확인할 수 있는 지표가 될 것으로 사료된다. 본 연구는 국내 노인 메타분석 연구의 질적 향상을 위해 현재 시점에서의 문제점과 미비점을 확인하고 개선점을 제시하고자 시도한 하나의 비판적 과정이라 생각된다. 이러한 과정을 통해 추후 노인 연구의 질적 통합이 과학적, 논리적으로 이루어 질 것으로 생각된다.

본 연구는 국내 검색 데이터베이스를 이용하여 13개의 노인 관련 메타분석 연구를 추출하였으며 연구특성을 파악하고 대상 연구의 질을 AMSTAR 평가도구를 활용하여 평가하였다. 그 결과 사회복지학 분야 8개, 체육학 3개, 간호학과 물리치료학 분야 각각 1개씩의 연구가 분석에 활용되었고, 이들 메타분석 연구는 크게 교육과 치료, 운동, 낙상, 자살생각과 우울억제 및 삶의 질 변인으로 구분될 수 있었다. AMSTAR를 이용한 연구의 질 평가결과는 11점 만점에 평균 4.10점으로 낮은 수준으로 나타났다. 평가문항 중 포함 및 배제된 연구목록 제시와 이해상충에 대한 문항에서 가장 낮았고, 사전 연구계획과 포괄적 문헌 검색 문항들에서 가장 높은 점수로 평가되었다. 연구특성에 따른 AMSTAR 점수는 간호학분야에서, 2011년 이후에 게재된 논문에서, 포함된 논문의 수가 20개 미만인 경우에서, 게재된 논문의 언어가 한국어와 영어를 모두 포함한 경우에서 높게 나타났다. 이들 메타분석 연구에서 제시된 효과크기는 연구주제에 따라 부정적 또는 긍정적 변인을 다양하게 포함하고 있었고 중재 프로그램의 효과크기를 다양하게 보여주고 있었다.

이러한 결과를 바탕으로 메타분석 연구 발전을 위한 제언을 하고자 한다.

첫째, 노인을 대상으로 하는 학문별 특성에 맞는 다양한 연구주제 개발이 필요할 것으로 사료된다. 둘째, 과학적 근거에 기반한 노인관련 실무개선과 증진을 위해 ‘체계적 문헌고찰과 메타분석연구’보고기준에 따라 연구결과를 기술하는 것이 필요할 것으로 사료된다. 셋째, 노인과 같이 여러 학문에서 공동 관심을 가지고 있는 주제에 대해서는 학문별 특성에 따라 개별 연구를 진행함과 동시에 다학제적 접근방법을 통해 메타분석 연구를 수행한다면 학문간 정보교류뿐 아니라 ‘노인’학문 발전에도 도움이 될 것으로 사료된다. 넷째, 학회에서는 메타분석 연구 논문에 대한 가이드라인을 별도로 운영하여 ‘이해상충에 대한 기술’, ‘메타분석에 포함되는 논문들의 질 평가’등이 누락되지 않도록 출판보고 기준을 재정립하는 노력이 요구된다고 하겠다.