연구의 양과 질, 연구업적 평가방법

연구업적 평가는 연구의 양(quantity)과 질(quality)을 중심으로 이루어진다. 정량 중심의 평가는 연구실적물의 건수를 기준으로 평가하는 것이고, 정성 중심의 평가는 전문가가 연구의 가치와 학문적 및 사회적 영향력을 종합적으로 평가하는 것이다. 국내 대다수 대학은 정량 중심의 평가를 실시하며, 일부 연구 중심 대학에서는 전문가 평가(peer review)를 주요 방식으로 하는 정성 중심의 평가를 시행하고 있다.

정성 중심의 전문가 평가방법

전문가에 의한 연구 평가는 전통적으로 널리 사용되어 온 방법이다. 대부분의 학술지는 2~3명의 전문가 평가 결과를 종합하여 출판 여부를 결정하며, 연구비 제안서 검토나 연구 관련 수상자 선정에도 전문가 평가가 핵심 요소이다. 그러나 전문가 평가는 편향성(bias) 문제를 가지고 있다.1) 여러 해외 연구에서는 평가 기준이 일관되게 적용되지 않거나, 심사 과정이 저자나 심사자의 특성(예: 성별, 학문 분야, 국적, 언어)에 영향을 받을 수 있음을 지적하고 있다. 반면, 전문가 평가의 사회적 특징이 연구의 품질을 향상시키는 데 도움이 된다는 시각도 있다.

전문가 평가의 편향성을 보완하기 위해 많은 국가에서는 연구의 질적 평가에 논문 간의 인용 관계 즉, 피인용(citation)에 기반한 계량서지지표(bibliometric indicators)를 활용한다. 피인용 기반 지표 개발은 1955년 유진 가필드(Eugene Garfield)에 의해 제안되었고, 이를 바탕으로 1961년 Science Citation Index(SCI), 1973년 Social Science Citation Index(SSCI)가 출판되었다.2) 이러한 인용색인은 Web of Science나 Scopus와 같은 온라인 데이터베이스로 발전하면서 계량서지지표의 개발과 적용이 용이해졌다.

• 1) Lee, C. J., Sugimoto, C. R., Zhang, G., & Cronin, B. (2013). Bias in peer review. Journal of the American Society for Information Science and Technology, 64(1), 2-17.
• 2) Garfield, E. (2005). The agony and the ecstasy― The history and meaning of the journal impact factor. International Congress on Peer Review and Biomedical Publication, Chicago, September 16, 2005.

피인용 기반 지표를 지지하는 입장에서는 피인용횟수가 다른 성과지표(예: 수상, 노벨상, 연구비 수주)나 전문가 평가 결과와 상관성이 있으므로 객관적이고 효율적이라고 본다. 그러나 피인용횟수에는 여러 요인(예: 시간, 학문 분야, 저자/독자, 논문의 이용가능성, 기술적 문제)이 영향을 미치므로 이에 대한 우려도 존재한다. 피인용횟수를 연구 영향력 지표로 활용하려면 특정 논문을 인용하는 이유가 해당 논문의 품질이나 중요성을 반영해야 한다. 해외 연구3)4) 에 따르면 인용이라는 행위에는 학문적 동기 외에도 사회적 관계나 개인의 이익을 위한 전략적 동기도 존재한다. 따라서 피인용횟수가 연구의 학문적 영향력을 부분적으로 제시할 수는 있지만, 이를 맹목적으로 적용하는 데에는 주의가 필요하다.

피인용 기반 계량서지지표는 학술지, 논문, 연구자 수준에서 기존 지표의 한계점을 보완하며 꾸준히 개발되고 있다.5) 가장 잘 알려진 학술지 지표로 최근 2년간 학술지에 수록된 논문의 평균 피인용횟수를 반영하는 Clarivate의 학술지 영향력 지수(JIF: Journal Impact Factor)이다. 그러나 JIF는 모든 인용을 동일하게 취급하고, 변동성이 크며, 학문 분야에 따라 차이가 크고, 자기 인용을 포함하는 등의 문제점을 지니고 있다. 이러한 문제점을 보완하기 위해 자기 인용을 제외하고 인용의 가중치를 달리하는 아이겐팩터(Eigenfactor)와 다양한 학문 분야의 인용 행태를 고려하는 SJR(SCimago Journal Ranking), SNIP(Source Normalized Impact per Paper) 등이 개발되어 활용되고 있다. 논문 지표로는 FWCI(Field-Weighted Citation Impact), RCR(Relative Ciation Ratio), AI(Article Influence) Score 등이 있으며, 연구자 지표로는 h-index, g-index 등이 주로 활용되고 있다.

국내 대학의 연구업적 평가실태

국내 주요 대학의 연구업적 평가 규정을 살펴보면,6) 모든 학문 분야에서 중요하게 고려되는 업적물의 유형은 학술지 논문, 학술대회 발표, 저서 이다. 특히 학술지 논문은 게재된 학술지의 종류와 유형에 따라 다른 점수가 부여되어 정성적 측면을 일부분 고려하고 있다. 예를 들어, SCIE/SSCI 등재 학술지 논문은 KCI 등재 학술지 논문보다 3.4~3.8배 높은 점수를 부여받는다. 또한 JIF 구간(예: 상위 1% 이내, 10% 이내)에 따른 가중치를 적용하거나 문서 유형(예: letter, editorial, note)에 따라 배점을 차등 적용하는 방식으로 정성적 요소를 추가적으로 고려하기도 한다.

국내 많은 대학에서는 연구의 질적 측면을 JIF를 중심으로 평가하고 있다. 연구자의 연구 활동은 이러한 평가 체계에 직접적인 영향을 받으므로, JIF 중심 평가는 연구자가 JIF가 높은 학술지에 논문을 출판하는 데 집중하게 만든다. 한 연구자는 이러한 현상을 “출판하는 연구의 내용에 관심을 가지기보다 논문이 출판된 학술지가 무엇인지에 관심을 가진다”고 표현했다.

이에 따라 이를 상업적으로 활용하는 학술지가 등장하게 되었고, 이러한 학술지에 논문을 출판하는 행위를 방지하려는 노력이 이루어지고 있다.

• 3) Lutz, B., & Daniel, H.-D. (2008). What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 64(1), 45-80.
• 4) Lyu, D., Ruan, X., Xie, J., & Cheng, Y. (2021). The classification of citing motivations: a meta-synthesis Scientometrics, 126, 3243-3264.
• 5) 이종욱, 김수정 (2022). 정보학의 이해. 서울: 청람
• 6) 노영희, 강지혜, 이종욱, 김용환 (2022). 학술활동 건전성 제고를 위한 업적평가 개선방향에 관한 연구. 대전: 한국연구재단.

건강한 연구업적 평가를 위해 나아갈 길

학술활동의 건전성을 높이기 위해 대학의 연구 업적평가에서 정성 중심의 평가가 필요하다는 의견이 많다. 우리나라의 일부 연구 중심 대학은 전문가 평가와 추천서를 중시하는 정성 중심 평가를 시행하고 있지만, 대부분의 대학에서는 이를 도입하기 어려운 여건에 있다. 연구자 수가 적고, 객관성과 공정성 확보가 쉽지 않으며, 정성 중심의 평가를 지원할 인력과 예산, 시간이 부족하기 때문이다. 따라서 많은 대학은 학술지 유형으로 연구 실적을 평가하는 체계를 유지하고 있으며, 이를 전문가 중심의 평가로 전환하는 것은 현실적인 어려움이 있다.

결론적으로 모든 대학이 정성 중심의 평가를 시행하는 것은 현실적이지 않다. 대신 정량 중심 평가를 채택한 대학은 다양한 계량서지지표를 활용하거나 위원회의 기능을 강화하여 정성적 요소를 보강해야 한다. 반면, 정성 중심 평가를 시행하는 대학은 정량적 지표도 참고하여 공정성을 확보하는 방향으로 나아가야 한다. 즉, 정량 평가에서는 정성적 지표 활용을 확대하고, 정성 평가에서는 정량적 측면을 고려하는 형식이 필요하다.

2015년에 발표된 라이덴 선언(The Leiden Manifesto)7) 은 연구평가 지표의 방향성을 10가지 원칙으로 제시한다.

이 10가지 원칙과 앞서 서술한 내용을 바탕으로 국내 대학 연구업적 평가 방향을 좀 더 구체적으로 제언하면 다음과 같다. 먼저 대학은 각자의 목표와 특성을 반영한 연구업적 평가 체계를 갖추어야 하며, 현재의 평가 체계의 약점을 보완해야 한다. 이미 정성 중심의 평가를 시행하고 있다면 계량화된 지표를 참고하여 편향성을 보완해야 한다. 정량 중심의 평가 체계를 채택한 대학에서는 평가 범위를 학술지 논문, 학술대회 논문, 저서 외에도 연구비, 특허, 사회적 영향력 등으로 확대해야 한다.

• 7) 원본: Hicks, D., Wouters, P., Waltman, L., Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden manifesto for research metrics. Nature, 520, 429-431.　　　                                                                                        번역본: http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/leidenmanifesto_kor.pdf

또한 연구자 경력, 연구 분야, 자기 인용, 공동 저자 등 다양한 요소를 고려해야 한다. 이를 위해 JIF에 국한되지 않는 다양한 학술지, 논문, 연구자 지표를 활용할 필요가 있다. JIF와 같은 단일 지표를 활용하면 JIF가 높은 학술지에 논문을 출판하는 것이 연구의 목적이 될 수 있다. 나아가 ‘피인용’이라는 개념의 모호성을 고려하여 피인용 기반 지표를 세밀하게 구분하여 적용하기보다는 이러한 모호성을 수용할 수 있는 평가 방식을 적용하고, 양질의 연구 성과를 발굴하고 보상하는 다층적 보상 체계를 구축해야 할 것이다.