클래리베이트, 6개 지역 시스템을 검토하여 연구 평가의 역할을 조사한 글로벌 연구 보고서 발표

영국 런던, 2022 10 20: 신뢰할 수 있는 정보와 통찰력을 제공하여 혁신 속도를 높이도록 지원하는 글로벌 선도 기업인 Clarivate Plc(NYSE:CLVT)는 오늘, 산하 기관인 ISI(Institute for Scientific Information)가 업계에서 인정 받는 파트너들과 함께 공동 저술한 공식 지역 연구 평가 보고서의 심층 분석 결과를 발표했다. 멜버른 대학의 Kate Williams, Different Angles의 Jonathan Grant, 막스 플랑크 연구소(Max Planck Institute)의 Lutz Bornmann, Electric Data Solutions의 Martin Szomszor 등이 파트너로 저술에 참여했다.

연구 평가: 기원, 진화, 결과 (Research assessment: Origins, evolution, outcomes)”에서는 연구 평가의 기원과 더불어 호주, 캐나다, 독일, 홍콩, 뉴질랜드, 영국 등 서로 다른 접근 방식을 취하고 있는 지역에서 연구 평가가 어떤 역할을 하는지 조사했다. 또한, 연구 평가 활동의 미래에 대해 고찰하고 AI가 전통적인 피어 리뷰(peer review)를 대체할 잠재력을 가지고 있는지 살펴봤다.

연구 평가에 대한 접근 방식의 차이, 펀딩 인센티브 연계에 있어서의 차이, 유사한 시스템 간의 시기 상 차이에도 불구하고, 조사를 실시한 모든 지역에서 계량서지학적 성과를 기준으로 측정해 비교한 결과, 연구 성과가 개선된 것으로 나타났다. 그러나 연구 평가가 필수 활동인지, 아니면 권장 활동인지에 대한 보편적이고 명확한 정답은 도출되지 않았다.

클래리베이트 산하 ISI의 수석 과학자인 Jonathan Adams는 다음과 같이 설명했다. “연구 평가는 기관의 구조에 큰 영향을 미쳤다. 영국에서 입증되고 다른 국가에서도 널리 보고된 바와 같이, 연구 평가가 연구원의 활동 전반에 영향을 미친다는 것은 분명한 사실이었다. 어떤 평가 시스템이든 가장 중요한 것은 연구자들의 신뢰를 어느 정도 얻고 유지할 수 있느냐이다.”

 

글로벌 연구 보고서 “연구 평가: 기원, 진화, 결과”에서 발견한 사실은 다음과 같다.

  • 호주는 학문적 영향과 넓은 의미의 사회적 이익을 모두 측정하고자 총체적인 연구 평가를 실시하고 있다. 호주의 연구 평가 방법론은 영국의 REF를 비롯한 전 세계의 다른 연구 영향 평가와 달리 영향력과 관여도를 구별하는 접근 방식을 취하고 있지만, 연구 펀딩에 직접적인 영향은 미치지 않으며 인용 색인 연구 성과와는 관련이 없을 수 있다. (Kate Williams, University of Melbourne).
  • 캐나다는 연구 수명 주기 전반에 걸쳐 지식 유통과 평가를 하나로 통합한 방법을 오랜 세월 사용해왔으며, 일반적인 연구 결과를 평가하기보다는 특정 연구 분야에서의 “지식 유통(knowledge mobilization)”에 중점을 두고 있다. (Jonathan Grant, Different Angles).
  • 독일은 전국 단위로 정기적으로 평가하기보다는 연구 기관에 대한 ‘Excellence Initiative’ 블록 펀딩을 사용해 연구 현황을 조사해왔다.  (Lutz Bornmann, Max Planck Institute).
  • 홍콩의 연구 평가 시스템은 영국 모델과 유사하지만, 장학금 및 사회 경제적 이익과 우수성에 기반하는 독특한 컨셉을 기준으로 장학금 평가를 수행한다.
  • 뉴질랜드는 성과 기반 연구 기금을 도입함으로써 국제적인 연구 성과 비교에 있어 현저한 개선 효과를 거둘 수 있었다.
  • 영국은 정기적인 연구 평가를 위한 모델을 최초로 수립했는데, 이는 기관 관리와 연구자 활동 전반에 영향을 미쳤다.

 

평가의 관료제적 특성을 줄이기 위한 기술 솔루션에 대한 요구는 항상 존재해왔다. 이 보고서에서는 AI가 연구에 지대한 영향을 미치는 것은 맞지만, 평가 부담을 줄이기 위한 머신 러닝 솔루션이 오히려 기존의 편견을 전파할 수 있다는 점을 인정하고 있다. 평가 결과 모델에 따르면, 명백히 중요한 예측 변수가 연구에 영향을 미치지 않는 요인들과 연관성이 있을 수 있는 것으로 나타났다.

Electric Data Solutions 설립자인 Martin Szomszor는 이렇게 설명했다. “이 논쟁을 통해 분명히 드러난 사실은 연구 시스템과 이에 대해 수집한 데이터 모두에서 성별, 민족, 국적, 섹슈얼리티, 연령 등과 관련해 다양한 형태의 편견이 포착되고 있다는 것이다. 이런 점을 적절히 고려하지 않으면 머신 러닝 솔루션은 기존의 편견을 전파하는 역할만 하게 될 것이다. 이는 계량서지 지표를 사용하는 사람들에게 이미 익숙한 문제이며, 책임 있는 지표라는 주제의 최전선에 있는 문제이기도 하다.”

 Jonathan Adams는 다음과 같이 결론을 내렸다. “이 보고서가 보여주듯, 많은 국가들이 공통적으로 겪고 있는 문제들이 있다. 연구는 장기적인 작업이기 때문에 평가의 안정성은 큰 장점이다. 비판이 없는 것은 아니지만, RAE/REF는 영향 사례 연구가 고정되어 있어서 30년 전과 매우 유사한 방식으로 평가할 수 있다는 점에서 안정적이다.”

 

 

편집자 주:

클래리베이트 산하 ISI(Institute for Scientific Information)가 작성한 글로벌 연구 보고서는 클래리베이트 고유의 산업 통찰력에 기반하여 분석과 아이디어, 논평을 제공함으로써 논의를 촉진하며 설명을 제공한다. 각 보고서에는 연구 평가 및 연구 정책 관리의 문제점에 대한 정보를 제공하고 국제적 연구 기반의 개발을 가속화하는 연구 데이터의 큰 가능성을 제시한다.

Global Research Reports and Insights papers

 

클래리베이트 소개

클래리베이트는 혁신의 속도를 높이는 솔루션을 제공하는 글로벌 선도 기업이다. 당사의 기업 사명은 학계 및 정부, 생명 과학 및 의료, 전문 서비스 및 소비재, 제조 및 기술 분야에서 새로운 아이디어가 사람들의 삶을 바꾸는 혁신으로 빠르게 탄생할 수 있도록 실용적인 정보와 통찰력을 제공하여 고객들이 세계에서 가장 복잡한 문제를 해결할 수 있도록 지원하는 것이다. 발명의 시작부터 보호 그리고 상업화까지 전 과정에서 신뢰할 수 있는 정보를 간편하게 구독하고 첨단 기술을 기반으로 솔루션을 활용하며 모든 과정에서 분야별 전문가들까지 함께 최고의 결과를 얻을 수 있다. 보다 자세한 정보는 clarivate.com을 참고할 수 있다.

 

미디어 담당자

Rebecca Krahenbuhl, External Communications Manager, Academia & Government
newsroom@clarivate.com

Subscribe to our news

Let's stay in touch. Subscribe to our latest announcements.