Malte Elson es inflexible sobre la capacidad de la ciencia para autocorregirse. «La forma en que actualmente abordamos los errores no funciona», afirma.
Para demostrar su punto, Elson, psicólogo de la Universidad de Berna, destaca un conocido artículo de 2010.1 Los economistas Carmen Reinhart y Kenneth Rogoff, de la Universidad de Harvard en Cambridge, Massachusetts, publicaron un artículo que tuvo una gran influencia en las políticas financieras en Europa, donde «fomentaron medidas de austeridad para reducir la deuda nacional». Tres años más tarde, Thomas Herndon, entonces estudiante de doctorado en economía en la Universidad de Massachusetts en Amherst, intentó reproducir los resultados del estudio para una tarea de clase y descubrió un error en una hoja de cálculo crucial utilizada en el artículo. Los autores habían seleccionado sólo 15 de los 20 países que pretendían incluir para un cálculo clave.2. Teniendo en cuenta este y otros dos errores, las conclusiones del estudio resultaron ser menos sólidas de lo que parecían inicialmente, dice Elson.
Pagar a los investigadores para que detecten errores en los artículos publicados.
Reinhart y Rogoff cooperaron proporcionando sus datos y admitiendo sus errores, pero mantuvieron que su conclusión general era válida. Pero es posible que estos errores nunca se hubieran descubierto si Herndon no hubiera intentado replicar los resultados.
Este desordenado sistema de detección de errores no tiene sentido, afirma Elson. “No podemos confiar seriamente en el descubrimiento casual de errores. » Actualmente, la búsqueda de errores en los artículos publicados no es sistemática ni recompensada. Elson y sus colegas lanzaron el proyecto ERROR (Estimación de la confiabilidad y robustez de la investigación) en febrero para cambiar eso.
El Proyecto ERROR paga a los revisores para que revisen la psicología muy citada y los artículos relacionados en busca de errores en el código, análisis estadísticos y citas de referencia. El programa publicó su primera evaluación en mayo, la primera de una serie de 100 planificadas a lo largo de cuatro años. Este mes, el equipo de ERROR pretende entregar los primeros 20 artículos a los revisores.
Maximizar el impacto
Dirigido por Elson, Ian Hussey, metacientífico también de la Universidad de Berna, y Ruben Arslan, psicólogo de la Universidad de Leipzig en Alemania, ERROR se centra en artículos con un flujo constante de citas que han sido publicados en revistas “importantes, revistas respetadas en subdisciplinas de psicología” desde enero de 2015, dice Elson. El equipo de ERROR prioriza los artículos muy citados para maximizar el impacto de sus esfuerzos y se pone en contacto con los autores de los estudios para pedirles permiso para revisar su trabajo. «Para que ERROR tenga éxito, es importante que todos participen», dice Elson, pero el equipo también necesita acceso a los datos subyacentes y al código de cada artículo, que sólo los autores pueden proporcionar.
Un ‘corrector ortográfico para estadísticas’ reduce los errores en la literatura psicológica
Con financiación del programa Humans in Digital Transformation, un fondo para promover la estrategia de digitalización de la Universidad de Berna, que proporcionó al proyecto un apoyo de 4 años y 250.000 francos suizos (289.000 dólares estadounidenses), los revisores reciben hasta 1.000 francos. para cada artículo que revisan. Reciben una bonificación por cada error encontrado, y bonificaciones mayores por errores mayores, por ejemplo aquellos que dan lugar a una corrección o retractación importante, hasta un máximo de 2.500 francos. Esta bonificación sigue el modelo de los programas de «recompensas por errores» que las empresas de tecnología como Microsoft y Google ofrecen a los piratas informáticos que encuentran e informan vulnerabilidades en sus productos.
Los errores pueden incluir errores de codificación, discrepancias entre el código y la redacción del manuscrito, análisis estadísticos que no respaldan las conclusiones o se malinterpretan y citas inexactas.
Los autores también reciben una remuneración: 250 francos por responder a las preguntas de los revisores y poner a disposición los datos, más 250 francos adicionales si el revisor encuentra sólo errores menores o ningún error.
Casos de prueba
ERROR publicó su primera reseña en mayo3 para un artículo de 20184 en el periódico Psicofisiología El estudio fue escrito por Jan Wessel, especialista en neurociencia cognitiva de la Universidad de Iowa en Iowa City. El proceso fue ejemplar, dice Hussey, gracias en parte a la mentalidad abierta de Wessel y del neurocientífico cognitivo Russ Poldrack de la Universidad de Stanford en California, quienes llevaron a cabo el análisis y solo encontraron errores menores. Wessel incluso fue autor de un estudio de simulación que encontró una probabilidad del 96% de que quedara al menos un error en su conjunto de datos que ni siquiera el análisis de ERROR pudo detectar. «Era una mentalidad genial, exactamente lo que esperamos fomentar», dice Hussey.
Un software inteligente detecta errores estadísticos en artículos de psicología
Hussey planea publicar tres artículos más en septiembre. Para llegar a 100 artículos en 4 años, el equipo deberá publicar aproximadamente un artículo cada dos semanas.
Aunque el proyecto ERROR se centró inicialmente en la psicología, está “esforzándose activamente” por expandirse a otras disciplinas, dice Hussey. El equipo ha solicitado financiación a la Fundación Nacional Suiza para la Ciencia para ampliar su investigación sobre inteligencia artificial y también espera abordar la investigación médica. «En términos más generales, esperamos demostrar un modelo escalable y transferible para hacer esto, de modo que otros investigadores puedan hacerlo en sus propios campos», dice Hussey. El equipo también está explorando la posibilidad de auditar preimpresiones de manuscritos, así como artículos publicados, añade Elson.
Sin embargo, el proyecto enfrenta desafíos importantes. Pocos autores responden a correos electrónicos de ERROR pidiendo permiso para revisar su artículo, dice Elson. Hasta el momento, sólo 17 autores han aceptado que su estudio sea reexaminado entre los 134 artículos seleccionados. A veces, los datos subyacentes ya no existen o no se pueden encontrar. Y en ocasiones los autores responden que terceros no pueden tener acceso a los datos por motivos legales. Aunque existen soluciones técnicas para este problema, Elson dice que no insiste.
Necesita revisores
Otro desafío es encontrar revisores que tengan la experiencia técnica necesaria y que no tengan conflictos de intereses con los autores del estudio. Según Hussey, los revisores pueden necesitar más conocimientos técnicos que los propios autores, «porque es necesario conocer las probabilidades de que se produzcan diferentes tipos de errores». A menudo, estos revisores son estudiantes de doctorado o investigadores postdoctorales, que pueden encontrarse en una situación profesional difícil si cuestionan una publicación escrita por investigadores más experimentados. «Somos muy conscientes de la dinámica de poder en juego», dice Hussey. “Hacemos todo lo posible para garantizar el equilibrio de poder entre quienes critican y quienes son criticados. »
Centro NatureTech
En 2023, con el objetivo de aumentar el número de revisores potenciales, Hussey comenzó a impartir un curso de maestría sobre detección de errores en el departamento de psicología de la Universidad de Berna. El Instituto de Psiquiatría, Psicología y Neurociencia del King’s College de Londres impartió un curso similar en una escuela de verano en julio.
El equipo de ERROR ahora espera convencer a los financiadores de la investigación de que paguen por la revisión de los errores en la investigación que apoyan. Los financiadores se beneficiarán de la detección de errores porque pagan el doble por los errores, dice Elson: una vez, por malgastar dinero en investigaciones que resultan incorrectas, y otra vez, porque perdieron la oportunidad de financiar otro proyecto. Desde mayo (cuando Elson publicó un artículo sobre World View5 En Naturaleza (sobre el proyecto), Elson habló tanto con la fundación de investigación alemana DFG como con la Fundación Volkswagen, un financiador privado.
En comparación con el enfoque ad hoc actual, «los descubrimientos significativos por dólar gastado serían en realidad más numerosos con cierto grado de control sistemático de errores», dice Hussey. Y un sistema de detección de errores serio requiere recursos, añade Elson. “No podemos esperar que funcione gratis. »
