isi 리포트 ㅣ 한국어 리포트
계량지표의 대안, 프로필
SCI 50년, 이제 우리는 무엇을 생각해야할까요?
클래리베이트가 계량지표를 보완할 새로운 대안을 소개합니다.
SCI의 탄생지이자 가장 연구자를 많이 연구하는 ISI(Institute for Science Information)은 2019년부터 새로운 시각과 인사이트를 갖고 ISI를 이끄는 조나단 애덤스(Jonathan Adams)박사를 중심으로 정기적으로 보고서를 발간하고 있습니다. 이 보고서는 기존 연구자와 연구에 대한 계량 지표를 가장 많이 연구해온 ISI가 50년 이 넘는 기간 동안 직접 전세계의 연구자와 부딪히면서 배우고 느낀 자가 성찰과 함께 새로운 도약점을 찾기 위한 분석 방법과 지식을 총망라하여 시작된 프로젝트입니다.
우리는 순위에 집착하고, 그 순위는 계량지표로 도출되는 결과입니다. 그렇다면 그 편리함과 객관성을 연구 및 연구자의 상황에 맞춰 어떻게 발전시켜나갈 수 있을까요?
아직 우리는 하나로 통일된 답을 정의내리지는 못합니다. 하지만 그 방법을 계속 발전시키고 개선시킬 수 있다는 사실은 분명합니다.
아무쪼록 한국의 연구기관과 연구자들 모두, 이 주제를 갖고 함께 이야기하고 논의하여 한국의 연구성과 역시 발전되길 기원합니다.
연구자 평가: H-index vs 빔플롯(Beam plot)
H-index는 굉장히 널리 활용되고 있는 지표이지만 연구자의 연구 실적과 피인용수 프로필을 제대로 보여주지 못한다는 한계가 있습니다. 연구자의 논문수와 피인용수를 하나로 압축하기 때문에 연구자의 H-index가 h라면 전체 발표 논문 중 h편이 h회 이상 인용되었다는 이미입니다. 이 H-index는 실제 연구 경력과 분야에 영향을 받기도 합니다. 논문이 오래될 수록 피인용수가 높아지고 그 속도는 연구분야에 따라 상이하기 때문입니다. 이 뿐만 아니라 보통 저널에 게재된 논문만 집계하고 수학적으로 불완전하다는 지적도 있는 만큼 연구자의 성과를 비교하기에는 절대적 지표로는 부족하다고 볼 수 있습니다.
한편 막스플랑크 연구소에서 연구자 성과를 비교할 수 있는 논문의 피인용수를 같은 연구 분야와 년도에 출편된 논문의 평균값을 기준으로 정규화시켜 이를 다시 백분률로 계산하는 방식을 공개한 후, 이를 기반으로 한 쪽으로 치우치는 피인용수의 특성 상 백분위값을 이용하면 평균값보다 정확한 주요 경향을 파악할 수 있는 방법이 알려졌는데, 이렇게 연구자 성과를 시각화 한 것이 빔플롯 방식입니다. 빔플롯 방식으로는 한 편 기존 H-index로는 알 수 없었던 정보도 빠르게 파악하고 보다 합리적으로 의미있는 정보를 알아낼 수 있다는 장점이 있습니다.
저널평가: 저널 임팩트 팩터(JIF) vs JCR distributions
기관평가: Average Citation Impact vs Impact Profile
대학평가: Rankings vs Multifactor Research Footprint
리포트에서 자세히 다루고 논의한 수치화된 지표들이나 대학평가는 제대로만 사용하면 유익한 정보를 얻을 수 있는 것이 사실입니다.
하지만 모두 무책임하고 심각하게 오용되는 상황이 발생하며 이러한 문화가 만연하기도 하여 문제를 발생시킵니다.
오늘 이 리포트를 통해 기존 방식의 대안으로 제시된 ‘프로필’을 자세히 확인해보세요.