Using single impact metrics to assess research in business and economics: why institutions should use multi-criteria systems for assessing research

Abstract

Purpose: Despite the general recommendation of using a combination of multiple criteria for research assessment and faculty promotion decisions, the raise of quantitative indicators is generating an emerging trend in Business Schools to use single journal impact factors (IFs) as key (unique) drivers for those relevant school decisions. This paper aims to investigate the effects of using single Web of Science (WoS)-based journal impact metrics when assessing research from two related disciplines: Business and Economics, and its potential impact for the strategic sustainability of a Business School. Design/methodology/approach: This study collected impact indicators data for Business and Economics journals from the Clarivate Web of Science database. We concentrated on the IF indicators, the Eigenfactor and the article influence score (AIS). This study examined the correlations between these indicators and then ranked disciplines and journals using these different impact metrics. Findings: Consistent with previous findings, this study finds positive correlations among these metrics. Then this study ranks the disciplines and journals using each impact metric, finding relevant and substantial differences, depending on the metric used. It is found that using AIS instead of the IF raises the relative ranking of Economics, while Business remains basically with the same rank. Research limitations/implications: This study contributes to the research assessment literature by adding substantial evidence that given the sensitivity of journal rankings to particular indicators, the selection of a single impact metric for assessing research and hiring/promotion and tenure decisions is risky and too simplistic. This research shows that biases may be larger when assessment involves researchers from related disciplines – like Business and Economics – but with different research foundations and traditions. Practical implications: Consistent with the literature, given the sensibility of journal rankings to particular indicators, the selection of a single impact metric for assessing research, assigning research funds and hiring/promotion and tenure decisions is risky and simplistic. However, this research shows that risks and biases may be larger when assessment involves researchers from related disciplines – like Business and Economics – but with different research foundations and trajectories. The use of multiple criteria is advised for such purposes. Originality/value: This is an applied work using real data from WoS that addresses a practical case of comparing the use of different journal IFs to rank-related disciplines like Business and Economics, with important implications for faculty tenure and promotion committees and for research funds granting institutions and decision-makers.

Propósito: A pesar de la recomendación general de utilizar una combinación de múltiples criterios para la evaluación de la investigación y las decisiones de promoción del profesorado, el aumento de indicadores cuantitativos está generando una tendencia emergente en las Escuelas de Negocios a utilizar factores de impacto (IF) de una sola revista como impulsores clave (únicos) para aquellas decisiones escolares relevantes. Este artículo tiene como objetivo investigar los efectos del uso de métricas de impacto de revistas basadas en Web of Science (WoS) al evaluar la investigación de dos disciplinas relacionadas: Negocios y Economía, y su impacto potencial para la sostenibilidad estratégica de una Escuela de Negocios. Diseño/metodología/enfoque: Este estudio recopiló datos de indicadores de impacto para revistas de Economía y Negocios de la base de datos Clarivate Web of Science. Nos concentramos en los indicadores IF, el factor propio y la puntuación de influencia del artículo (AIS). Este estudio examinó las correlaciones entre estos indicadores y luego clasificó las disciplinas y revistas utilizando estas diferentes métricas de impacto. Hallazgos: De acuerdo con hallazgos anteriores, este estudio encuentra correlaciones positivas entre estas métricas. Luego, este estudio clasifica las disciplinas y revistas utilizando cada métrica de impacto, encontrando diferencias relevantes y sustanciales, dependiendo de la métrica utilizada. Se encuentra que utilizar AIS en lugar de IF eleva la clasificación relativa de Economía, mientras que Negocios se mantiene básicamente en la misma clasificación. Limitaciones/implicaciones de la investigación: este estudio contribuye a la literatura sobre evaluación de la investigación al agregar evidencia sustancial de que, dada la sensibilidad de las clasificaciones de las revistas a indicadores particulares, la selección de una única métrica de impacto para evaluar la investigación y las decisiones de contratación/promoción y permanencia es arriesgada y demasiado simplista. Esta investigación muestra que los sesgos pueden ser mayores cuando la evaluación involucra a investigadores de disciplinas relacionadas –como Negocios y Economía– pero con diferentes fundamentos y tradiciones de investigación. Implicaciones prácticas: De acuerdo con la literatura, dada la sensibilidad de las clasificaciones de revistas a indicadores particulares, la selección de una única métrica de impacto para evaluar la investigación, asignar fondos para la investigación y decisiones de contratación/promoción y permanencia es arriesgada y simplista. Sin embargo, esta investigación muestra que los riesgos y sesgos pueden ser mayores cuando la evaluación involucra a investigadores de disciplinas relacionadas –como Negocios y Economía– pero con diferentes fundamentos y trayectorias de investigación. Se recomienda el uso de múltiples criterios para tales fines. Originalidad/valor: Este es un trabajo aplicado que utiliza datos reales de WoS y que aborda un caso práctico de comparar el uso de diferentes IF de revistas con disciplinas relacionadas con rangos como Negocios y Economía, con implicaciones importantes para los comités de promoción y permanencia del profesorado y para los fondos de investigación. instituciones otorgantes y tomadores de decisiones.