Automatic detection of missing information in the indexing of scientific publications

Abstract

The number of citations received by a research paper is a vital metric for both researchers and institutions. Various indexing databases share common citations, facilitating cross-database comparison to identify citations missing from one or more databases, which are not contributing to a paper’s total citation count. To address this issue, we have developed an automated method for identifying missing citations by leveraging multiple indexing databases. In this research, we sought to identify these missing citations in Web of Science, Scopus, and Google Scholar while also utilizing OpenAlex to aid in this process. Our research journey involved multiple experiments. Initially, we started with a prototype that used only two databases (Web of Science and OpenAlex) and later expanded our approach to include Scopus. Unfortunately, we were unable to incorporate Google Scholar. By conducting these experiments, we were able to compare the data found in Web of Science and gain a deeper understanding of the impact of adding a new database. We also repeated the same experiment one month later to track the changes that occur over time in these databases. After analyzing more than 3 000 different publications, we successfully identified missing citations in 847 of them, totaling 2 212 missing citations. Out of these, 1 075 were missing from Web of Science, and 1 137 were missing from Scopus. The addition of Scopus to our approach resulted in a 54% increase in the number of missing citations detected in Web of Science, highlighting the significant impact of incorporating this database.

A quantidade de citações que uma publicação científica recebe é uma métrica crucial. Uma publicação pode ser indexada por diferentes bases de indexação de artigos científicos, o que nos permite encontrar citações em falta relativas a essa publicação. Para colmatar esse problema, apresentamos uma solução que deteta automaticamente as citações em falta. Neste projeto, procuramos identificar citações em falta nas bases de indexação Web of Science, Scopus e Google Scholar, além de utilizar o OpenAlex para melhorar a quantidade de citações em falta encontradas. Durante este projeto, realizámos várias experiências, começando por um protótipo que apenas utilizava 2 bases de indexação (Web of Science e OpenAlex) e depois expandimos a nossa abordagem para incluir o Scopus. Infelizmente, não nos foi possível adicionar o Google Scholar. Ao realizar essas duas experiências, foi possível comparar os dados obtidos no Web of Science antes e depois da inclusão do Scopus, o que nos permitiu avaliar o impacto do acréscimo de uma base de dados na nossa abordagem. Posteriormente, realizamos outra experiência, a fim de avaliar as mudanças que as próprias bases de indexação vão tendo ao longo do tempo. Depois de analisar mais de 3 000 publicações, detectamos citações em falta em 874 publicações, totalizando 2 212 citações em falta, das quais 1 075 foram detectadas no Web of Science e 1 137 no Scopus. As 1 075 citações detectadas no Web of Science representam um aumento de 54% na quantidade de citações encontradas antes de acrescentar o Scopus à nossa abordagem.