科研社會影響力評估的重要性日益凸顯。本報告闡釋了科睿唯安社會影響力評估架構如何透過結構化分類、多元資料整合以及清晰的解讀指引,支援更負責任、更高透明度的研究影響力分析。該架構由科學資訊研究所(ISI)開發,並已整合至Web of Science Research Intelligence平台。
科研社會影響力評估仍面臨多重挑戰:社會需求多樣化,尚無普遍且適用的評估方法; 研究影響往往存在多年滯後性;而有效評估還需兼顧質性與量化資料的平衡。受上述因素制約,研究機構難以跳脫單一指標的僵化評估模式,極需轉向數據驅動、可橫向比較的分析模式,為評估研判、戰略規劃與管理決策提供可靠支援。
為應對上述挑戰,ISI於2024年開發了社會影響力評估架構。其最新發布的《科睿唯安社會影響力評估架構:負責任的影響力衡量指南》詳細說明瞭這一兼具結構化與彈性的架構如何整合多元社會影響力信號、支援一致且可調整的分類邏輯,並配套標準化解讀規範,降低評估過度簡化或方法誤用的風險。
該架構借鏡了「研究評估機制」(research assessment exercises,簡稱RAEs)及其他評估架構的最佳實踐,並憑藉ISI在負責任科研評估領域的專業經驗,形成多項核心特色,例如:根據聯合國永續發展目標(Sustainable Development Goals,簡稱SDGs)建立分類體系; 明確區分潛在影響訊號與已觀察到的影響訊號; 憑藉「社會影響概況」(Societal Impact Profile)功能建立負責任的資料聚合機制。
科睿唯安已將該架構整合至Web of Science Research Intelligence,回應產業長期面臨的挑戰:大規模匯整多來源、可驗證、可作為標竿比較的資料。平台憑藉出版商中立的高品質資料與可解釋的分析模型,協助研究機構更精準、更有信心地進行社會影響力研判,支撐更有依據、更負責任的分析與決策。
以負責任理念構立社會影響力評估架構
ISI在開發社會影響力評估架構時遵循了一系列關鍵設計原則,旨在建立一個結構化、透明且可調整的社會影響力評估工具。
該架構具有全球適用性,同時在設計上保持彈性。其提供了一種一致的方法來梳理社會影響力數據,同時支援使用者根據自身評估需求進行調整。例如,其預設的影響力分類系統參考聯合國SDGs,同時也支援使用者自訂分類體系。
架構提供多層級的細緻程度。使用者可根據實際問題,在機構層級或專案層級查看同一組資料,並在各層級取得相應的背景資訊,如機構或專案規模,以及用於相對比較的基準。該架構整合來自多元來源的可驗證數據,以提升透明度,避免「黑箱式」分析。
最後,ISI還考慮到該框架與其他數據來源的相容性,包括機構內部資料,實現科研社會影響力的全面呈現與深入解讀。
評估架構的獨特優勢
社會影響力評估架構採用結構化的方法對社會需求與影響訊號進行分類,透過一系列核心功能,協助機構和研究人員更清晰地瞭解科研影響力:
- 該架構以SDGs作為預設分類系統,將研究產出和成果與全球性的社會挑戰連結,並透過以PESTLE(政治、經濟、社會、技術、法律、環境)的聚合方式,與多種評估方法和RAEs保持一致。
- 透過將研究產出與成果分層對應至社會需求,機構能夠套用自身的影響分類系統,從而支援該架構在全球、國家及區域層面的研究評估情境中使用。
- 「社會影響力概況」(見圖1、圖2)彙整不同社會面向的整體表現,為探索基礎資料與指標提供切入點,並支援更透明、更精細化的分析。
- 該架構對潛在影響訊號(前瞻性指標)與已觀察到的影響訊號(回顧性指標)進行了區分,幫助使用者理解社會影響如何隨時間逐步發展。
- 量化指標搭配質性指標,以更全面地呈現科研的社會影響力。
- 該架構適用於廣泛的資料類型,包括學術論文、專利、臨床試驗數據以及政策文件等。其在Web of Science Research Intelligence中的整合,進一步呈現了科睿唯安所獨有的資料廣度與深度。
圖1:「社會影響力概況」示例—呈現針對17項聯合國永續發展目標的潛在影響與已觀察到的影響訊號的整體趨勢
圖2:「社會影響力概況」示例—呈現八個社會層面的潛在影響與已觀察到的影響訊號的總體趨勢
實務層面的負責任應用途徑
借助Web of Science Research Intelligence平台的「社會影響力報告」(Societal Impact Report)功能,科研管理部門能夠將該架構應用於多種場景,包括支援國家研究評估機制下的案例研究準備、撰寫及驗證工作。 透過該架構,機構可採用自訂影響分類系統、整合機構內部數據、使用國家層級基準,並識別相關支持性的研究成果,從而形成更有力的影響力案例研究,滿足在地評估要求。
該報告還就如何以負責任的方式使用該架構,以支援有效分析與決策,提供了重要指導:
將指標視為信號,而非證據。任何單一指標都無法完整衡量科研的社會影響力。例如,專利引用或媒體報導僅反映部分影響力,但並不能作為其整體影響程度的決定性證據。
同時關注已觀察到的影響與潛在的影響。 僅評估已觀察到的成果(如政策引用)將導致視角過於片面。實用性、傳播、參與交流、合作等前瞻性指標,則有助於理解社會影響力如何隨時間演變。
在具體情境中解讀數據。 單純的數字通常難以提供充分資訊。例如,引用次數只有在結合具體背景,並與國家、地區或全球層面的適當基準進行比較時,才具有意義。該架構支援此類基於背景的比較。
考量資料限制與不確定性。在不同學科中,某些指標可能出現資料稀少或分布不均。較小的資料量未必具有統計學意義。閾值設定與相對定位有助於應對這一問題,但使用者仍應避免對有限資料做出過度解讀。
進行同類型比較。 確保比較具備可比性。 例如,應將綜合性機構與其他綜合性機構比較,或將某一學科領域的專業機構與同領域機構進行比較。
對科研領域的價值意義與未來發展方向
負責任的科研影響力評估,並非追求全面量化,也不是將影響力簡單折算為單一分數; 而是選擇適合的評估訊號、審慎解讀與判讀,支援研究分析與管理決策。
科睿唯安社會影響力評估框架,正是一套兼顧結構化與靈活性的解決方案。未來我們將持續迭代框架架構、擴充資料來源,並廣泛納入學界與使用者回饋。
誠摯邀請各界閱讀官方報告、體驗 Web of Science Research Intelligence平台的社會影響報告功能,踴躍分享建議,共同推動負責任的科研社會影響力評估系統建設。