Una plataforma de IA que busca revistas científicas cuestionables ha marcado más de 1.400 como “potencialmente problemáticas” en una lista de casi 15.200 cabeceras de acceso abierto en Internet.
El estudio, publicado en Science Advances, liderado por la Universidad de Colorado en Boulder, aborda una tendencia alarmante en el mundo de la investigación.
Daniel Acuña, autor principal del estudio y profesor asociado del Departamento de Ciencias de la Computación, recibe recordatorios varias veces a la semana en su correo electrónico: estos mensajes de spam provienen de personas que se hacen pasar por editores de revistas científicas, generalmente de las que Acuña nunca ha oído hablar, y que ofrecen publicar sus artículos por una tarifa elevada.
PAGAR POR PUBLICAR SIN VERIFICAR
A estas publicaciones a veces se las denomina revistas “depredadoras”. Se dirigen a los científicos, convenciéndolos de pagar cientos o incluso miles de dólares para publicar sus investigaciones sin una verificación adecuada.
“Ha habido un esfuerzo creciente entre científicos y organizaciones para verificar estas revistas”, afirmó Acuña. Pero es como jugar a la estrategia de golpear topos. Atrapas a uno y luego aparece otro, generalmente de la misma empresa. Simplemente crean un nuevo sitio web y le dan un nuevo nombre.
La nueva herramienta de IA de su grupo filtra automáticamente las revistas científicas, evaluando sus sitios web y otros datos en línea según ciertos criterios: ¿Tienen las revistas un consejo editorial con investigadores consolidados? ¿Contienen sus sitios web muchos errores gramaticales?
Acuña enfatiza que la herramienta no es perfecta. En última instancia, cree que los expertos humanos, no las máquinas, deberían tomar la decisión final sobre la reputación de una revista.
Pero en una época en la que figuras prominentes cuestionan la legitimidad de la ciencia, frenar la proliferación de publicaciones cuestionables se ha vuelto más importante que nunca, afirmó.
“En ciencia, no se empieza desde cero. Se construye sobre la base de la investigación de otros", dijo Acuña. “Así que, si los cimientos de esa torre se derrumban, todo se derrumba”.
La extorsión Cuando los científicos envían un nuevo estudio a una publicación prestigiosa, este suele someterse a una práctica llamada revisión por pares. Expertos externos leen el estudio y evalúan su calidad; o al menos, ese es el objetivo.
Un número creciente de empresas ha intentado eludir este proceso para obtener beneficios. En 2009, Jeffrey Beall, bibliotecario de la Universidad de Colorado en Denver, acuñó el término “revistas depredadoras” para describir estas publicaciones.
A menudo, se dirigen a investigadores fuera de Estados Unidos y Europa, como en China, India e Irán, países donde las instituciones científicas pueden ser jóvenes y la presión y los incentivos para que los investigadores publiquen son altos.
“Dicen: ‘Si pagas 500 o 1.000 dólares, revisaremos tu artículo’“, explicó Acuña. “En realidad, no ofrecen ningún servicio. Simplemente toman el PDF y lo publican en su sitio web”.
Diversos grupos han intentado frenar esta práctica. Entre ellos se encuentra una organización sin fines de lucro llamada Directorio de Revistas de Acceso Abierto (DOAJ). Desde 2003, voluntarios del DOAJ han marcado miles de revistas como sospechosas basándose en seis criterios. (Las publicaciones de renombre, por ejemplo, suelen incluir una descripción detallada de sus políticas de revisión por pares en sus sitios web).
Pero seguir el ritmo de la proliferación de estas publicaciones ha sido una tarea abrumadora para los humanos.
Para acelerar el proceso, Acuña y sus colegas recurrieron a la IA. El equipo entrenó su sistema con los datos del DOAJ y luego le pidió a la IA que examinara una lista de casi 15.200 revistas de acceso abierto en internet.
De estas revistas, la IA marcó inicialmente más de 1.400 como potencialmente problemáticas.
Acuña y sus colegas pidieron a expertos humanos que revisaran un subconjunto de las revistas sospechosas. La IA cometió errores, según los humanos, marcando aproximadamente 350 publicaciones como cuestionables cuando probablemente eran legítimas. Esto aún dejaba más de 1.000 revistas que los investigadores identificaron como cuestionables. “Creo que esto debería usarse como ayuda para preseleccionar un gran número de revistas“, dijo. “Pero el análisis final debería ser realizado por profesionales humanos”.
NO ES UNA CAJA NEGRA
Un cortafuegos para la ciencia Acuña añadió que los investigadores no querían que su sistema fuera una “caja negra” como otras plataformas de IA.
“Con ChatGPT, por ejemplo, a menudo no se entiende por qué sugiere algo”, dijo Acuña. “Intentamos que el nuestro fuera lo más interpretable posible”.
El equipo descubrió, por ejemplo, que las revistas cuestionables publicaban una cantidad inusualmente alta de artículos. También incluían autores con más afiliaciones que las revistas más legítimas, y autores que citaban su propia investigación, en lugar de la de otros científicos, con una frecuencia inusualmente alta.