최근 Open Access 운동에 편승하여 약탈적 출판사에서 발행하는 학술지들은 동료심사를 생략하거나 부실하게 운영하여 투고에서 게재까지 걸리는 기간을 몇 주 또는 한 달 이내로 단축해 준다고 선전하여 논문을 게재하고 그 대가로 상당액의 게재료를 받고 있다. 정상적인 연구를 수행한 후 정상적인 논문 투고-심사-게재 과정을 거치지 않고, 약탈적 출판사에서 운영하는 학술지들에 연구자들이 논문을 투고하는 이유는 무엇인가? 이는 근본적으로 연구업적 평가 방식에 문제가 있기 때문이다. 연구란 무엇인가? 연구업적물을 어떻게 평가하고 있는가? 바람직한 방향으로 진행되고 있는가? 그렇지 않다면 평가는 어떻게 진행되어야 하는가? 본 고에서는 이에 대해 살펴보고자 한다.
연구 그리고 연구중심대학
OECD에서 2002년에 발간한 Frascati Manual1)에는 연구개발을 다음과 같이 정의하고 있다: Research and experimental development (R&D) comprise creative work undertaken on a systematic basis in order to increase the stock of knowledge, including knowledge of man, culture and society, and the use of this stock of knowledge to devise new applications.
즉 연구개발은 인간, 문화, 사회에 대한 지식을 포함하여 지식의 축적을 늘리기 위해 체계적으로 수행되는 창의적인 작업과 이러한 지식의 축적을 활용하여 새로운 응용을 고안하는 것으로 구성된다고 정의하고 있다. 여기서 핵심단어들은 “창의적 작업”, “체계적 수행”, “지식의 축적”, 그리고 “새로운 응용 고안”이다. 이러한 단어에 알맞은 연구개발을 수행하는 대학을 연구중심대학이라고 부를 수 있다.
우리나라에 몇 개의 연구중심대학이 있는가에 대해서 여러 가지 대답이 존재할 것이다. 연구중심대학 육성을 기치로 하고 있는 교육부 4단계 BK21사업에서는 한 대학에 교육연구단이 다섯 개 이상 존재할 때 그 대학에 BK21대학원혁신사업단을 구성하게 하고 별도로 대학에 사업비를 제공하고 있다. 이 기준으로 보면 총 20개(전국단위 10개와 지역단위 10개)의 연구중심대학이 존재한다. 한편 세계대학평가 중 하나인 QS 평가 기준에 따르면, 세계 500위 내에 드는 우리나라 대학은 14개이며, 1000위 내에 드는 대학은 31개이다. 따라서 우리나라에는 약 20-30여개의 연구중심대학이 존재하고 있다고 볼 수 있는데, 이 대학들에 종사하는 연구자들의 연구업적 평가는 어떻게 하고 있는지 그 문제점은 무엇이며, 앞으로 어떤 방향성을 가지고 연구업적을 평가해야 하는지 알아보겠다.
1) OECD (2002), Frascati Manual 2002. Proposed Standard Practice for Surveys on Research and Experimental Development., The Measurement of Scientific and Technological Activities, OECD Publishing, Paris, https://doi.org/10.1787/9789264199040-en.
우리 대학의 연구업적 평가 관련 규정 또는 내규
“Evolution of academia”라는 제목을 가지고 있는 아래 cartoon은, 연구자들에 대한 요구가 처음엔 “논문을 게재하라”에서 “논문을 게재하라 그렇지 않으면 망한다”, “높은 영향력을 가지는 학술지에 논문을 게재하라 그렇지 않으면 망한다”로 변하다가, 이젠 “높은 영향력을 가지는 학술지에 논문을 자주 게재하라 그러면 아마도 망하지 않을 거다”로 점점 그 강도가 심해짐을 비꼬고 있다. 연구자가 연구를 하는 주체가 아니라 논문을 게재하는 기계로 전락하고 있는 것이다.
우리나라 대학의 교원인사규정 또는 대학 내규를 살펴보면, 신규임용, 승진임용 등 임용 시 연구업적물에 관해 다음의 단어들이 나온다.
논문 편수, 환산 점수, SCIE 등재 학술지, Impact Factor (IF), IF 상위 10% 이내 학술지, IF 10 이상인 학술지, FWCI(field-weighted citation index), H-index
그런데 이런 단어들은 연구자의 연구분야 특성과 수월성을 보편타당성 있게 나타내는 지표가 아니고, 특정 몇몇 연구분야에만 적합한 지표다. 그럼에도 불구하고 이런 단어들에 기준하여 연구자의 업적을 평가하고 있는 것이 현실이다.
한편 대부분의 대학에서는 조교수 기간을 4년으로 잡고 있다. 부교수로의 승진 심사 시 요구하는 논문 편수(또는 점수)를 5편이라고 하자. 연구자는 수년간의 연구를 수행하고 의미있는 결과가 도출되었을 때 논문을 작성한다. 이때 논문 작성은 최소한 1달 이상 소요된다. 작성한 논문을 학술지에 투고하면 편집장(또는 편집인)이 심사위원을 선정하고 심사위원은 논문을 심사한다. 이 과정은 통상 1-3개월이 소요된다. 연구자는 심사위원의 심사의견을 반영하여 논문을 수정하고 다시 투고하는데, 이 또한 짧게는 2-3주 길게는 2-3개월이 소요된다. 재투고된 수정논문은 다시 같은 심사위원에게 보내지고 그 의견을 반영하여 편집장은 논문의 게재를 결정하거나 다시 수정을 요구하게 된다. 본 고를 읽는 대부분의 독자들은 이 과정을 잘 알고 있으리라 믿는다. 연구결과가 나온 후, 논문을 학술지에 투고하여 게재하는데 짧게는 3개월(매우 성공적인 경우다)에서 길게는 1년이 걸리게 된다. 전통적인 학문분야일수록 이 기간이 더 길다. 이렇게 긴 시간을 진행해야 게재되는 논문을 조교수 4년 동안에 5편을 게재하라는 것은 현실적으로 거의 불가능한 요구다. 그럼에도 불구하고 4년 내에 요구되는 논문 수를 채워야 하므로, 쪼개 쓰기를 하거나 설익은 연구결과를 낮은 질의 학술지 또는 부실의심 학술지로 논문을 게재하는 유혹을 느낄 수밖에 없다.
한편 박사과정의 경우, 대부분의 연구중심대학에서는 졸업요건으로 SCIE 등재 학술지에 논문 1편 이상을 게재할 것을 요구하고 있다. 이런 제도들로 인해 학술지 편집장이나 편집인들은 저자로부터 박사졸업을 하기 위해서는 논문이 게재승인 나야 하므로 빨리 심사를 해 달라는 요구를 적잖이 받고 있다. 박사학위를 위한 연구는 종료되었으나 졸업 예상 학기에 게재 승인 되지 않는 경우, 한 학기를 더 기다리던지, 아니면 한 달 이내에 신속히 게재를 승인해 주는 학술지에 눈을 돌리기 십상이다. 그런 학술지들은 부실의심학술지가 대부분일 것이다.
Black list 또는 White list
Journal Citation Reports(2022)를 보면 지구상에 학술지를 출간하는 출판사가 5000개 이상이다. 아래 표는 많이 알려져 있는 출판사 별 학술지 개수와 그 학술지들 중 높은 Impact Factor (IF)를 가지는 학술지들의 IF를 높은 순으로 나열한 것이다. 또한, 부실의심학술지를 출간하는 것으로 논란이 되어 왔던 MDPI나 Hindawi의 자료도 표에 포함하였다.
이 표를 보면, MDPI나 Hindawi에서 출간하는 일부 학술지들도 IF가 상당히 높은 것을 알 수 있다(연구분야에 따라 가장 저명한 학술지조차도 IF가 5가 안 되는 분야가 많다). 연구자들은 이 학술지들에 논문을 게재하는 것이 뭐가 문제인가라고 항변한다. 연구업적을 정량적인 수치의 기준에서 평가한다면 할 말이 없어진다. 몇몇 대학에서 또는 연구비 지원기관에서 중요하게 여기는 IF 상위 25%(소위 Q1이라고 말한다) 내에 드는 학술지를 MDPI는 29개, Hindawi는 2개를 가지고 있다. 정량적인 평가 기준으로서는 무엇이 옳은지 그런지를 판단하기가 불가능한 상태다. 또한, 부실의심학술지로 평가되지 않는 학술지조차도 IF를 올리기 위해 편집장의 주도하에 과도하게 많은 review paper를 게재하거나 논문이 게재 승인될 때 저자로 하여금 자기 학술지에 게재된 논문을 참고문헌에 넣어줄 것을 요구하는 일들이 빈번히 일어나고 있다. 이러한 현상은 모두가 연구업적물을 IF와 같은 정량적인 수치에 근거하여 평가함으로써 나타나는 부작용이다.
정량적인 수치를 내세워서 연구자의 연구업적을 평가하게 되면, 단순한 캠페인만으로는 연구자들의 부실의심학술지로의 선택을 막기는 거의 불가능해 보인다. 그러나 부실의심학술지 논문을 게재하는 행위는 결국 연구자의 명성에 큰 해를 끼침에 틀림없다. 부실의심학술지로의 게재를 막기 위해 소위 black list나 white list를 만들어야 한다 또는 만들어 달라는 요구를 받는다. Black list라 함은 연구자가 게재해서는 안 되는 학술지 목록을 말한다. 그러나 위 표에서 알 수 있듯이 어떤 정량적인 판단으로도 명확한 기준을 만들기가 어렵다. 흔히 논문의 심사기간이 매우 짧거나 없는 경우 부실의심학술지라고 하는데, 저명 학술지의 경우에도 매우 짧은 심사기간에 게재되는 논문도 적지 않다. 그렇다고 그 논문들이 문제가 있는 논문이라고 할 수는 없지 않은가. White list는 소규모 또는 중규모 연구집단(예를 들면 학과, 전공)에서 게재해도 좋은 학술지 목록을 의미한다. 그러나 시대의 흐름에 따라 변화하는 연구분야를 반영하기 위해서는 white list를 매년 또는 분기별로 계속 수정 보완해야 할 것이다. 그렇게 되면 이 white list가 어떤 의미가 있겠는가? 따라서 black list든 white list든 지속가능성이 없는 방안임엔 틀림이 없다.
우리나라 대학의 세계대학 평가 순위 추이와 그 원인
아래 그림은 우리나라 여섯 개 대학의 QS 세계대학평가와 US News & World Report에서 진행한 연구력 평가결과를 보여준다. QS 평가결과를 보면, 2014-2019년 이후에는 우리대학들의 세계 순위가 거의 평행선을 달리고 있다. 한편 US News & World Report 결과는 오히려 해가 갈수록 그 순위가 계속 내려가고 있다. 왜 그럴까. QS평가의 경우 연구력 뿐 아니라 외국인 학생 비율, 외국인 교원 비율 등과 같은 다른 요소들도 포함되지만, US News & World Report의 경우 오로지 연구력만 평가하기 때문에 이에 대해 조금 더 자세히 살펴볼 필요가 있다.
아래 표는 2023년 US News and World Report의 전 세계 2165개 대학을 조사한 세계대학 연구력 평가 결과다. 서울대 129위, 성균관대 263위, KAIST 282위, 고려대 290위, 연세대 292위, 포항공대 409위로 자리매김을 하고 있다. QS 평가 결과보다 순위가 한참 밑으로 내려가 있다. 그 이유는 표를 자세히 보면 명확히 나타난다. 표에는 13개의 평가지표와 배점, 그리고 각 대학의 지표별 등수가 적혀 있다. 우선 “global research reputation”과 “regional research reputation”을 보면 우리대학들의 등수가 나쁘지 않다. “publication”은 연구자 수가 많으면 많은 논문을 게재하게 되므로 진정한 연구력을 나타낸다고 볼 수 없다. 그렇지만 그 등수들은 나쁘지 않다. 하지만 “books”도 연구자 수에 비례하지만 우리대학들의 성적이 매우 나쁜 것을 볼 수 있다. 서울대학교의 경우 333등이며 다른 대학들도 성적이 참담하다. 논문을 나타내는 “publication”에 비하여 등수가 매우 낮은데, 이는 지난 20여년간 BK21사업에서 논문과 Impact Factor(IF)를 강조해 옴으로써 나타난 결과로 생각된다. 다행히 BK21 4단계에서는 책 출간을 장려하고 논문 수, IF와 같은 정량적 요소를 모두 없앴기 때문에 향후 책 출간이 많아질 것으로 기대된다. 각 대학에서 게재한 논문들의 피인용 수를 나타내는 “total citations”의 우리 대학들의 성적은 world ranking에 비해 높은 것을 알 수 있다. 한편 “total citations”를 각 대학에서 게재한 논문 수로 나눈 “normalized citation impact”는 그 성적이 참담하다. 서울대 749위, 고려대 924위 등 모든 대학이 700위 이하를 기록하고 있다. 이는 각 대학에서 인용되지 않는 논문들을 너무나 많이 양산하고 있음을 나타낸다. 연구분야 별 최상위 10% 및 1% 피인용되는 논문 수를 나타내는 “number of publications that are among the 10% most cited” 및 “number of highly cited papers that are among the top 1% most cited”의 우리 대학 성적들도 그리 나쁘지 않다. 그러나 이를 각 대학의 논문 수로 나눈 “percentage of total publications that are among 10% most cited”와 “percentage of highly cited papers that are among the top 1% most cited”는 심지어 1000위대이기도 하다. 마지막으로 국제공동연구를 통한 논문 수를 나타내는 “international collaboration”과 “percentage of total publications with international collaboration”은 두 지표 모두 포항공대를 제외하고는 우리대학들의 성적이 참담하다. 우리대학들의 해외대학 또는 연구소와의 국제공동연구가 매우 부족함을 알 수 있다.
2023년 US News and World Report, 세계대학 연구력 평가 결과
위 표에서 볼 수 있듯이, US News & World Report에서의 순위 하락은 우리대학에서 너무 많은 논문을 게재하는 데 그 원인을 찾을 수 있다. 이는 많은 논문을 게재하는 연구자 우대정책에 기인하고 있을 뿐 아니라, 박사과정 학생들의 졸업요건으로 SCIE 등재학술지에 논문을 게재하는 요건으로 말미암은 부실의심학술지로의 논문게재도 그 원인 중 하나로 생각된다. 그리고 대학의 승진임용 요건에서 저서 활동에 대한 평가절하도 원인이 되고 있음을 알 수 있다. 또한, 국제공동연구로의 방향 전환 부족도 큰 이유다. 대학 단독으로 쓴 논문에 비해 국제공동연구를 통한 논문의 피인용수가 몇 배가 됨은 주지의 사실이다. QS평가의 경우에도 세계대학평가는 교원당 논문의 피인용수를 따지는 반면 아시아대학평가는 논문당 피인용수를 따지게 되어 있어, 지나치게 많이 논문을 게재하는 것이 아시아대학 평가에 부정적 영향을 미치게 된다.
연구업적 평가의 나아갈 방향
2012년 미국 Cell Biology 학회에서 선언한 DORA (San Francisco Declaration on Research Assessment; https://sfdora.org/)에는 현재 연구분야를 불문하고 약 24,000개의 기관 또는 연구자들이 그 뜻에 동의한다고 서명하였다. 선언문을 보면, 개개 연구자들의 업적을 평가하는데 있어서 Impact Factor와 같은 학술지 관련 숫자들을 사용하지 않아야 하며, 학술지의 Impact Factor 보다는 연구의 Impact를 봐야 함을 강조하고 있다. 2020년부터 시작된 4단계 BK21사업은 지난 20년동안 평가지표로 사용되어 왔던 학술지의 정량지표를 없애고 참여교수별 소수의 대표연구업적물(논문, 책, 특허 등)에 대한 정성평가(peer review)로 완전히 전환하였다는 데 큰 의의가 있다. 앞에서 본 세계대학평가 결과를 보더라도 우리대학이 앞으로 연구력을 어떻게 평가해야 하는가가 명확하다. 이에 근거하여 다음과 같은 방향으로 향후 연구력 평가가 진행될 것을 제안한다. 단, 아래의 제안은 국내 모든 대학에 적용되기 보다는 연구중심대학을 표방하고 있는 대학에 우선 적용되어야 할 것이다.
교원의 신규임용, 승진임용, 정년보장임용에 있어서 정량지료를 없애고 100% 정성평가(peer review)로 전환한다.
이는 이미 오랫동안 세계저명대학들에서 진행하고 있는 방식이다. 국내 동일 전공의 연구자가 부족할 경우 해외로의 심사도 주저하지 말고 진행해야 할 것이다. 해외대학에서도 국내 연구자들에게 승진과 관련된 peer review 요청을 많이 하고 있다. 이미 적지 않은 수의 국내대학들도 해외 peer review를 맡기고 있지만, 정량적인 기준 또한 병행하여 적용하고 있는 현실이다. 정량적인 기준이 존재하면 승진을 앞두고 있는 연구자들은 이 규정에 파묻히게 되어 큰 논문을 게재하기 어려워진다. 흔히들 심사의 공정성 또는 객관성을 위하여 정량지표가 필요하다는 의견이 제시되지만, 연구업적평가에 있어서 그 공정성과 객관성의 반대말은 전문성이라 할 수 있다. 전문적인 것을 다루는 연구자가 전문성을 믿지 못하는 것은 어불성설이다.
조교수에서 부교수 승진 기간을 4년에서 6년으로 변경하고 부교수 승진시 정년 보장을 한다.
조교수 4년은 연구를 충분히 제대로 하기에는 너무나 짧은 기간이다. 이를 미국처럼 6년으로 연장하고 정년보장 심사를 같이 하게 하면, 연구자들은 충분한 시간을 가지고 큰 연구를 수행할 수 있게 된다. 통상 한 개인의 최고 연구가 젊은 시절에 많이 이루어지므로 조교수 기간 동안 본인의 최고 연구결과가 나올 수 있도록 시간을 주어야 한다.
박사학위 취득요건으로 학과에서 내규로 가지고 있는 SCIE 등재 학술지에의 논문 게재 요건을 없애고, 학위논문의 독창성과 파급성을 심사해야 한다.
SCIE 등재 학술지 논문 게재 요건은 논문연구가 끝난 학생들에게 불필요하게 졸업을 지연시키는 결과를 초래하게 할 수 있고, 자칫 잘못하면 부실의심학술지로 논문을 게재하도록 유도할 수 있기 때문이다.
연구비 지원기관은 연구과제 선정평가와 결과평가 시 그 기준을 달리해야 한다.
선정평가 시에는 연구제안의 독창성과 아울러 연구진의 수월성을 평가해야 하겠다. 그러나 연구결과 평가시에는 연구결과의 독창성과 파급성을 평가해야 한다. 이때 연구결과 평가 시 논문 게재 여부를 보는 것은 연구자로 하여금 연구 기간 동안 다수의 논문을 게재하도록 유도할 뿐 아니라, 도전적이고 창의적인 연구제안을 하기 어렵게 만들게 된다. 2-3년 동안의 과제 기간 동안 수편의 논문을 게재할 수 있다면, 이미 연구결과가 예측되는 연구제안일 수밖에 없기 때문이다.
이상 연구중심대학에 근무하는 연구자들의 연구업적 평가의 문제점과 나아갈 방향에 대해 알아보았다. 대학은 연구자들에게 좋은 연구를 요구하기 이전에 연구자가 최대한 자기 능력을 발휘할 수 있는 여건을 우선 만들어 주어야 한다. 강의부담을 줄여주어야 하고, 연구를 제대로 수행할 수 있게 충분한 연구정착금을 주고, 연구 공간을 확보해 주어야 한다. 그런 다음 최고의 연구를 수행할 것을 요구해야 할 것이다.
대학은 연구업적 평가에 있어서 정량적인 요소를 배제하고 peer review에 근거한 정성평가로 그 틀을 완전히 바꾸어야 할 것이다. 그렇게 하여 1)학문분야별 논문 수와 Impact Factor 값의 차이로 인해 발생하는 학문적 불균형을 해소하고, 2)논문 쪼개기를 지양하고 impact있는 논문쓰기 문화를 정착하고, 3)장기적이고 도전적인 연구 토대를 구축하여 다수의 스타 교수를 배출하고, 4)부실의심학술지에 대한 논란을 소멸시켜야 할 것이다.
출처
- 1)https://www.facebook.com/pedromics/photos/a.110862089106492/569776986548331/?type=3&mibextid=r5uJeJ
- 2)Journal Citation Reports(2022) <저자 재구성>
