[연구재단 웹진 2023년 7월호] - 건전한 학술생태계 구축 - 부실의심학술지 어디까지 왔나

건전한 학술문화조성을 위한 연구업적평가 개선 방향에 대한 소고

노영희 교수 (건국대학교 문헌정보학과 교수, 한국산학협력정책학회 회장)

연구업적평가 방식의 개선은 건전한 학술문화를 정착시키기 위한 중요한 요소 중의 하나로 생각되는데, 이는 연구업적평가 시스템은 학술활동의 평가와 평판 형성에 큰 영향을 미치기 때문이다. 따라서, 윤리적이고 합리적인 평가시스템을 구축함으로써 학술계의 신뢰성과 발전을 이루어낼 필요가 있다. 이에 본 고에서는 현재의 대학내 연구업적평가방식의 문제점, 해외의 연구업적평가 사례분석, 그리고 한국의 실정에 맞는 연구업적평가 방안 제안 등 세 가지 방향에서 학술활동 건전성 확보를 위한 연구업적평가 개선방안을 제안하고자 한다.

목차

• 1. 현재의 연구업적평가방식의 문제점
• 2. 해외의 연구업적평가 사례분석과 시사점
• 3. 한국의 실정에 맞는 연구업적평가 방안

현재의 연구업적평가방식의
문제점

현재 한국의 연구업적평가방식은 양적평가를 과도하게 강조하거나 질적평가지표의 적용의 미흡 등 여러 가지 측면에서 그 문제점이 지적되고 있다.

첫째, 양적 평가의 과도한 강조를 들 수 있다. 현재 연구업적평가시스템에서는 주로 논문 발표 횟수나 인용 횟수와 같은 양적인 지표를 중시하는 경향이 있다. 이로 인해 연구자들은 논문 편수를 늘리기 위해 질적인 측면을 간과하거나 논문의 품질보다는 양적인 성과에 초점을 맞출 수 있다. 한국연구재단(2021)이 실시한 ‘대학 교원의 연구윤리 인식수준 조사에 관한 연구’에 따르면, 연구윤리 위반행위가 근절되지 않고 있는 원인으로 대학 교원들의 36.9%가 ‘연구자 간 치열한 경쟁과 양적 위주의 업적평가시스템으로 인한 성과 지상주의’라고 인식하고 있다는 통계에서도 그 사실을 확인할 수 있다.

둘째, 공정하지 못한 평가 기준이 지적되고 있다. 즉, 연구업적 평가방식은 연구자들이 납득할 수 있도록 타당하고, 신뢰할 수 있으며, 객관적이어야 하지만, 현재 시행되고 있는 연구업적 평가시스템의 경우 대학별 평가하는 기준이 서로 상이하며, 연구 분야별 특성이 서로 다르기 때문에 연구자들이 해당 평가시스템을 납득하지 못하고 있는 것으로 지적되고 있다(박남기, 2007).

셋째, 질적 평가의 부재이다. 양적평가위주의 문제와 연결해서 생각해 볼 수 있는데, 현재의 연구업적평가는 주로 양적인 성과에 초점을 맞추고 있어 질적인 평가가 충분히 이루어지지 않는 문제가 있다. 연구의 원본성, 혁신성, 학문적 영향력 등의 질적인 요소가 무시되거나 부정확하게 평가될 수 있다는 것이다. 2022년 국내 대학의 연구업적의 질적평가 정도에 대한 인식조사 결과에 따르면(노영희 외, 2022), 정량적 평가에 정성적 요소를 추가한 대학들이 몇몇 있지만, 대체로 개별 연구를 동료 전문가가 정성적으로 평가하는 방식이 아닌 개별 연구가 수록되는 매체의 질적 수준 즉, 학술지의 수준을 인용색인서비스의 유형(SCIE/SSCI, Scopus, KCI)에 따라 구분하여 개별 연구(논문)에 대한 배점을 달리하고 있는 것으로 조사되었다. 이러한 평가 방식은 사실상 질적 평가라기보다는 양적 평가의 한 방법으로 간주될 수 있다.

넷째, 성과 지상주의와 악용 가능성이다. 양적인 평가에만 의존하는 연구업적평가는 성과 지상주의를 유발할 수 있고, 부정한 행위나 논문 부풀리기 등의 악용 가능성이 있다. 이로 인해 연구자들은 양적인 성과에만 집중하게 되고, 질적인 학문적 성과를 소홀히 할 수 있게 된다.

이처럼 정량적 평가 기준을 주로 사용하여 연구자의 연구업적을 평가하는 것은 부실 학술지를 통해 연구실적의 숫자만을 늘리는 등으로 악용될 소지가 높으며, 연구자의 우수한 연구성과물 배출에도 악영향을 끼칠 수 있을 것으로 보인다.

해외의 연구업적평가 사례분석과 시사점

연구업적평가의 양적평가 위주의 문제를 개선하기 위해 우수한 사례를 살펴보면 많은 시사점을 얻을 수 있을 것이다. 대표적으로 DORA 선언, 라이덴 선언, IEEE 권고안, REF(Research Excellence Framework), ERA(Excellence in Research for Australia) 등을 살펴 보았으며, 핵심적인 내용을 정리하면 다음과 같다.

첫째, 정량 지표 의존도를 낮춘 평가를 지향하고 있다는 것이다. DORA 선언, 라이덴 선언과 IEEE 권고안 등은 기존의 정량 평가지표 중심의 연구평가를 탈피하려는 노력을 보여주고 있다. DORA 선언은 개별 연구를 학술지 인용지수(JIF)로 평가하는 것의 위험을 경고하였으며, 다양한 연구 결과물로 연구가 인정받을 수 있는 환경 조성의 필요성을 역설했다. 라이덴 선언은 정량 지표 평가에서 제외된 목표에 따른 평가나 지역성 고려 등의 상황을 평가에 포함하도록 권고하고 있고, IEEE 권고안은 동료 평가의 비중을 높여 연구 커뮤니티에 따른 질적 평가를 제안하고 있다.

둘째, 연구의 질적 평가를 위한 다양한 지표 개발 필요성을 주장하고 있는데, 이는 출판물에 대한 인용도로 개별 연구 과제를 평가하는 것이 무리가 있다는 비판 하에 다양한 질적 평가 요소가 대두된 것이다. DORA 선언의 연장선인 TARA 프로젝트에서는 대화형 대시 보드와 리소스 툴킷을 제공하는 등의 노력을 기울이고 있고, 라이덴 선언은 CWTS의 Leiden Ranking으로 확장되어 책임감 있는 대학 순위의 주요 원칙과 내용을 제안하고 있다.

한편, 해외의 교수업적평가 동향을 파악하기 위해, 해외 주요 대학의 업적평가 문서, 질적 업적평가 기준, 승진 심사 과정 및 업적평가를 위한 의사결정과정 등에 대해서 분석해 보았는데, 주요 내용은 다음과 같다.

첫째, 교수에 대한 평가를 승진만을 위한 심사가 아닌 교수업적의 양적 및 질적 요소를 파악하는 과정으로 본다는 것이다. 조사 대상 모든 대학에서 교수를 평가할 때, 출판물의 양적인 기준뿐만 아니라 이력서, 외부추천서, 학생추천서, 대표저작과 설명, 강의평가, 상담자료, 봉사자료, 수상이력, 연구비 수주, 산학협력자료, 내부 평가 등 다양한 문서를 기준으로 질적인 평가를 진행하고 있는 것으로 조사되었다.

둘째, 대학의 목표와 자율성을 포함한 다각화된 질적 업적평가 기준을 마련하고 있으며, 이러한 질적 평가 기준은 학내 구성원과 사회의 요구를 반영해서 지속적으로 개선되고 있다는 것이다. 세계적인 공과대학으로 유명한 중국의 칭화 대학교는 2020년 규정 개정을 통해 전면적으로 연구업적 평가에 질적인 요소를 도입하였으며, 특히 각 학과에서 심사 학술지 목록을 선정하여 각 학문 분야의 특성과 트렌드를 반영하도록 규정을 개정하였다. 칭화 대학은 또한 학술지나 인용지수를 지나치게 홍보하는 행위도 금지하여 연구의 수와 상위논문 중심으로 평가를 제공하는 폐해를 최소화하려는 노력을 보였다. 런던 대학교도 DORA 선언을 지지하는 수준을 넘어, 각 연구자가 Open Science를 준수하는 의지와 방법을 심사 문서에 삽입하도록 요구하였고, 실제로 대학에는 ‘Office for Open Science and Scholarship’를 설치하여 실천하고 있다.

셋째, 연구 업적 평가 방법을 볼 때, 평가는 학문 분야의 성격과 특징을 반영하여 진행하고 있음을 알 수 있다. 대부분의 조사 대상 대학은 후보자가 학교에 바로 심사를 요청하는 식이 아니라 학장을 주체로 하는 학과 및 학부 내의 위원회에서 학문 분야의 성격과 특징을 반영하여 포괄적인 심사를 시작한다. 학과의 심사는 내부 종신교수들, 동료 교원 또는 임시위원회 등의 평가가 포함되며, 이들은 후보자의 연구와 경력이 각 학문 분야에 얼마나 중요성과 영향력을 가지는지를 평가한다.

넷째, 질적 평가는 다양한 절차와 과정을 거치며 의견 수렴 과정을 포함한다. 조사 대상이 되었던 대학교는 모두 승진 평가 단계를 다면 평가로 진행하고 있었는데, 학과, 학부, 학교로 이어지는 큰 흐름 가운데 최고 17단계의 과정을 거쳐 한 후보자의 승진이 결정된다. 이러한 복잡한 과정 가운데 다수의 연구자나 보직자가 의사결정에 참여하게 되며, 한 사람의 주관적 판단이 아닌, 복수 평가자의 논의와 협의를 거치는 과정 속에서 후보자에 대한 장단점 평가와 평가에 대한 근거가 충분하게 마련되어 있다.

다섯째, 이러한 평가의 과정은 교수자의 성장을 돕는 일환으로 이루어지고 있다. 북경 대학교, 스탠포드 대학교, 임페리얼 컬리지 런던 등은 과정을 위한 승진 심사 준비가 아닌 동료 연구자와의 상호작용 활동을 과정에 포함한다. 승진을 준비하는 후보자는 선배 연구자의 조력과 도움을 받아 연구의 방향성, 개선 사항 등을 도출하여 성장의 발판으로 삼을 수 있도록 하고 있는 것이다.

여섯째, 무엇보다 중요한 것은 위와 같은 평가과정이나 절차, 질적평가가 이루어지는 것은 교수업적평가에 대한 원칙을 명확히 하고 있기 때문인 것으로 판단된다. 예를 들어 라이덴 선언에서는 ‘연구성과 평가 방법론 10가지 원칙’으로 정량평가의 역할, 연구목표에 따른 평가, 지역성 고려, 투명한 과정 유지, 평가 데이터 검증, 분야별 다양성 고려, 개인의 질적 평가 강화, 잘못된 결과 주의, 평가와 지표의 효과 인식, 지속적인 지표 관리 등을 제시하고 있고(Hicks et al, 2015), ERA 지표는 정량평가, 국제적 인정, 다른 학문 분야 지표와의 비교성, 연구의 품질 및 우수성 식별, 모든 분야의 연구 구성요소와의 관련성, 반복 가능 및 검증 가능, 시간 제한, 행동 영향 등 8가지의 원칙을 제시하고 있으며(Australian Research Council, 2019, p18), IEEE의 권고안에서도 크게 복수의 보완적인 계량지표 사용, 학술지 평가 측정도구로 개별 논문의 품질 측정 자제, 질 평가를 위한 동료평가 필요 등을 제시하고 있다(유소영 외, 2015).

사례분석의 시사점을 볼 때 우리나라 대학의 교수업적평가 환경과는 상당한 차이를 보이고 있는 것을 알 수 있으며, 이러한 차이는 대학의 교수평가관계자 면담 및 교수자 대상 설문조사결과를 통해서도 확인되고 있다(한국연구재단, 2022).

한국의 실정에 맞는 연구업적평가 방안

이러한 분석결과는 한국의 교수업적평가에 시사하는 바가 있다고 판단되며, 연구윤리문제와 직결될 수 있는 평가문화, 평가방식, 평가과정에 대한 개선방안을 모색할 필요가 있다고 생각된다.
이에 본 고에서는 연구업적 평가의 원칙 수립 방안, 연구업적 평가절차의 개선방안, 연구업적 평가를 위한 제출서류 등으로 나누어 교수업적평가 개선을 통한 건전한 학술활동 및 문화조성에 기여할 수 있도록 제안하고자 한다.

연구업적 평가의 원칙 수립 방안

현재 정량적 평가 위주로 진행되고 있는 연구업적평가의 한계 및 문제점을 개선하고, 평가의 타당성과 신뢰성 확보 및 투명한 연구업적 평가 문화를 조성하기 위해서는 가장 먼저 연구업적 평가의 원칙 수립을 통해 관계자들의 공감대와 인식개선이 필요하다고 생각된다. 따라서 이를 위한 연구업적 평가 원칙을 4개의 방향성을 기반으로 한 8개의 원칙으로 구분하여 제안한다.

[표 1] 연구업적 평가의 8원칙

연구업적 평가절차의 개선방향

해외 사례를 분석해 보았을 때, 승진 심사에서 양적인 요소뿐만 아니라 질적인 요소를 반영하므로 각 대학의 승진 심사 과정은 복잡해 보이기 까지 한 다양한 과정을 거치고 있는 것을 알 수 있으며, 대부분의 대학이 평균 10단계 정도의 다면 평가를 실시하고 있다.
본 고에서는 연구업적 평가절차를 총 11단계로 제안하되, 국내의 경우 학장의 자격 신뢰도, 추천서의 신뢰도, 다면적 측면을 위한 다양한 단계의 연구업적 절차 도입을 위한 문화 조성 부족, 각 학교별 상황 등을 고려하여 11단계 중 7개의 단계를 필수단계(평가위원회 구성, 평가절차 공개, 서류평가, 동료평가, 학술위원회의 자문위원회 심의, 총장 심의, 발표)로 설정하고, 각 학교 상황을 고려하여 점진적으로 절차의 확장이 이루어질 수 있도록 하였다.

연구업적 평가를 위한 제출서류

보다 다각적인 측면에서 양적평가 및 질적평가를 위한 다양한 제출서류를 수집할 수 있도록 하기 위해, 해외에서는 연구업적 평가 시 제출서류도 매우 큰 의미를 두고 있는 것을 알 수 있다.
일례로, 하바드 대학은 인문대학 교수/부교수 승진, 의과대학 교수/부교수/조교수 승진 등 교수의 승진 유형에 따라 제출서류의 차이를 두고 있는데, 인문대학 교수 승진에 요구되는 서류를 보면, 교수/상담 자료, 종신심사서(tenure review letter), 외부 추천인 목록(recipient list), 외부인에게 추천서 작성 의향을 묻는 메일(initial-inquiry letter), 후보자의 종합적인 판단 자료(case statement: 위원회의 평가, 외부 추천, 후보자의 교육/상담 자료, 학생들의 추천 등), 외부 추천서(external letters) 등이 요구되고 있는 것을 알 수 있다. 이러한 여러 사례를 기반으로 연구업적 평가가 이루어질 수 있는 제출서류 리스트로 이력서, 출판물, 추천서, 평가서, 위원장보고서, 학과보고서 등을 제안할 수 있다.

첫째, 출판물은 연구업적 평가기간 내에 해당하는 관련 출판물 리스트 및 증빙자료가 될 수 있다.

• 논문 리스트 : 논문명, 저자명, 저자역할(1저자, 교신저자, 공동저자 등) 학술지/게재지명, 출판년/월/일, 학술지구분(SSCI, SCEI, SCI, KCI 등) 등
• 저서 리스트 : 저서유형(전문저서, 일반저서, 교양서적, 번역서 등), 저서명, 출판사명, 저자(공저자 포함), 출판년/월/일 등
• 평가서: 평가는 내부평가와 외부평가로 나누어 볼 수 있음
• 외부평가 : 최소 3건의 추천서, 의견을 구한 사람들의 이름, 학력과 소속 기관명
• 내부평가 : 후보자와 같은 분야에 대한 전문 지식을 갖춘 교수급의 내부 위원 평가를 실시하며, 후보자와 연구를 함께한 공동저자, 연구자, 학생들은 내부 평가자가 될 수 없음

둘째, 위원장보고서는 평가위원회의 위원장이 작성하는 문서로서 평가의 중요한 부분을 담당하며 기밀로 처리하며, 보고서의 내용은 아래와 같다.

• 불리한 진술에 대한 의견
• 후보자가 발표한 저널의 품질에 대한 의견
• 적절한 경우 후보자 자격에 대한 의견
• 서류의 다른 부분에서 언급되지 않은 후보자의 경력에서 발생하는 모든 중요한 시사점

마무리

대학의 연구업적평가 시스템을 변경하는 것은 쉽지 않은 일이며, 그에는 여러 가지 이유들이 있을 것이다.

• 첫째는 대학은 복잡한 조직 구조를 가지고 있으며, 다양한 이해관계자들이 연구업적평가 시스템에 영향을 미치기 때문이다. 교수진, 학생들, 외부 기관 등 각 이해관계자들은 자신의 이익과 목표를 고려하여 평가 시스템에 대한 의견을 갖고 있기 때문에, 이러한 다양한 이해관계자들의 의견을 조율하고 합의하는 것은 어려운 과제이다.
• 둘째, 대학의 연구업적평가 시스템은 정부나 기타 규제 기관에 의해 영향을 받는 경우가 많다. 정책과 규제는 다양한 이유와 목적을 가지고 있으며, 이를 반영하는 평가 시스템을 설계하고 운영하는 것은 결코 쉬운 일이 아니다. 가장 간단한 이유로 대학에 대한 많은 평가가 교수의 연구업적 중 정량지표와 관련이 높은 것을 들 수 있다.
• 셋째, 대학은 특정한 문화와 전통을 갖고 있는 기관이다. 연구업적평가 시스템을 변경하는 것은 기존의 문화와 전통에 도전하는 것이며, 이는 학교 내부에서 저항을 일으킬 수 있다. 학교 구성원들은 새로운 시스템에 대한 불안감을 가지거나 현재의 시스템이 잘 동작하고 있다고 믿을 수 있기 때문에 변화에 대한 저항이 생길 수 있다는 솔직한 상황도 있다.
• 넷째, 연구업적평가 시스템 변경은 자원과 시간이 많이 소요되는 작업이다. 대학의 관계자 면담과정에서도 드러났지만, 새로운 평가 체계를 개발하고 도입하기 위해 고민할 시간과 인력이 없다는 것이다. 대학은 다양한 운영과제와 예산 제약을 가지고 있으므로, 새로운 시스템을 개발하고 전환하는 것은 도전적인 과제일 수밖에 없을 것이다.

이러한 여러 가지 이유들로 인해 대학의 연구업적평가 체재의 변경은 쉽지 않은 일이 될 수 있다. 그럼에도 불구하고 보다 발전적인 학술문화조성을 위해서는 다양한 이해관계자들과의 협력, 정책과 규제의 조정, 학술활동문화 변화를 위한 노력 등을 통해 연구업적 평가 시스템을 개선해 나가는 노력이 필요하다.

본 고는 한국연구재단이 지원한 연구과제(학술활동 건전성 제고를 위한 업적평가 개선방안에 관한 연구)를 기반으로 작성되었음