Beyond citation counts: Evaluating publication impact through journal-level citation metrics

Abstract

The impact of scientific publications is often assessed through citation counts. However, these raw metrics may not adequately capture the true influence of cited works. To address this, we propose a methodology that incorporates journal-level citation metrics to evaluate publication impact. This study examines Citation Counts, H-Index, Journal Impact Factor (JIF), Eigenfactor Score, Source Normalized Impact per Paper (SNIP), and SCImago Journal Rank (SJR) to determine their effectiveness in reflecting the real impact of citations. Next, a dataset was constructed comprising selected scientific articles along with the SJR, H-Index, and JIF values of their citing papers. This dataset was presented in an interactive table and used in a researcher survey to assess which of the five proposed metrics best reflects these experts’ rankings. Of these proposed metrics, two are based on SJR, one on the H-Index, and two on JIF. Our research found SJR as the most robust indicator, with a strong correlation to JIF, one of the most widely used journallevel metrics. Results from the survey indicated that the JIF-Adjusted Citation Impact proposed metric (Quadratic) most closely aligned with researchers’ rankings. However, this popularity contrasts with the greater robustness of the SJR-Adjusted Citation Impact proposed metric (Quadratic), which is based on the Scimago Journal Rank. Consequently, this study establishes a foundational basis for future research on the proposed metrics, enabling further exploration and refinement.

O impacto das publicações científicas é frequentemente avaliado através da contagem de citações, no entanto, essas métricas brutas podem não capturar adequadamente a verdadeira influência dos trabalhos citados. Para resolver isso, propomos uma metodologia que incorpora métricas de citação ao nível da revista para avaliar o impacto da publicação baseado no impacto das citações. Este estudo examina: “Citation Counts”, “H-Index”, “Journal Impact Factor” (JIF), “Eigenfactor Score”, “Source Normalized Impact per Paper” (SNIP) e “SCImago Journal Rank” (SJR). Depois, foi construído um conjunto de dados que inclui artigos científicos selecionados, juntamente com os valores SJR, H-index e JIF dos seus artigos citantes. Este conjunto de dados foi apresentado numa tabela interativa e utilizado num inquérito a investigadores para avaliar qual das cinco métricas propostas reflete melhor as classificações destes especialistas. Das métricas propostas, duas baseiamse no SJR, uma no H-Index e duas no JIF. A nossa investigação destacou o SJR como o indicador mais robusto, apresentando uma forte correlação com o JIF, uma das métricas mais amplamente utilizadas a nível das revistas científicas. Os resultados do questionário revelaram que a métrica de impacto de citações ajustada por JIF (Quadrática) foi a que melhor se alinhou com as classificações atribuídas pelos investigadores. No entanto, essa popularidade contrasta com a maior robustez da métrica de impacto de citações ajustada por SJR (Quadrática). Assim, este estudo estabelece uma base fundamental para investigações futuras sobre as métricas propostas, possibilitando a sua exploração e aperfeiçoamento.