Las malas formas de la ciencia que persisten

Por qué la ciencia mala persiste
Incentivo malus

Los métodos científicos deficientes pueden ser hereditarios



En 1962, Jacob Cohen, psicólogo de la Universidad de Nueva York, informó de un hallazgo alarmante. Había analizado 70 artículos publicados en el Journal of Anormal and Social Psychology y había calculado su "potencia" estadística (una estimación matemática de la probabilidad de que un experimento detectara un efecto real). Él consideró que la mayoría de los estudios que miró realmente habría detectado los efectos que sus autores estaban buscando sólo alrededor del 20% del tiempo, sin embargo, de hecho, casi todos reportaron resultados significativos. Los científicos, Cohen supuso, no estaban reportando su infructuosa investigación. No hay sorpresa, tal vez. Pero su hallazgo también sugirió que algunos de los papeles estaban reportando falsos positivos, en otras palabras, ruido que parecía datos. Instó a los investigadores a aumentar el poder de sus estudios mediante el aumento del número de temas en sus experimentos.
Viento el reloj hacia adelante medio siglo y poco ha cambiado. Dos investigadores, Paul Smaldino, de la Universidad de California, Merced, y Richard McElreath, del Instituto Max Planck de Antropología Evolutiva, de Leipzig, muestran que los estudios publicados en psicología, neurociencia Y la medicina son poco más poderosos que en los días de Cohen.
También ofrecen una explicación de por qué los científicos siguen publicando estudios tan pobres. No sólo son métodos desagradables que parecen producir resultados perpetuados porque aquellos que publican prodigiosamente prosperan, algo que fácilmente podría haber sido predicho. Pero, preocupantemente, el proceso de replicación, mediante el cual se prueban de nuevo los resultados publicados, es incapaz de corregir la situación, no importa cuán rigurosamente se persiga.

La preservación de los lugares favorecidos

En primer lugar, el Dr. Smaldino y el Dr. McElreath calcularon que el poder promedio de los documentos seleccionados de 44 revisiones publicadas entre 1960 y 2011 fue de alrededor del 24%. Esto es apenas más alto que Cohen informó, a pesar de repetidos llamamientos en la literatura científica para que los investigadores hagan mejor. La pareja decidió aplicar los métodos de la ciencia a la pregunta de por qué sucedió así, al modelar la forma en que las instituciones y prácticas científicas se reproducen y se propagan, para ver si podrían determinar lo que está pasando.

Se centraron en particular en los incentivos dentro de la ciencia que podrían llevar incluso a investigadores honestos a producir mal trabajo involuntariamente. Para ello, construyeron un modelo evolutivo de computadora en el que 100 laboratorios compitieron por "pagos" que representan prestigio o financiamiento que resultan de publicaciones. Utilizaron el volumen de publicaciones para calcular estos beneficios porque la longitud del CV de un investigador es un proxy conocido del éxito profesional. Los laboratorios que obtuvieron más beneficios fueron más propensos a transmitir sus métodos a otros laboratorios nuevos (su "progenie").

Algunos laboratorios fueron más capaces de detectar nuevos resultados (y, por tanto, obtener mejores resultados) que otros. Sin embargo, estos laboratorios también tendían a producir más falsos positivos: sus métodos eran buenos para detectar señales en datos ruidosos, pero también, como sugirió Cohen, a menudo confundían el ruido con una señal. Los laboratorios más completos tomaron tiempo para descartar estos falsos positivos, pero eso frenó la velocidad a la que podrían probar nuevas hipótesis. Esto, a su vez, significaba que publicaban menos artículos.

En cada ciclo de "reproducción", todos los laboratorios del modelo realizaron y publicaron sus experimentos. Luego uno -el más antiguo de un subconjunto seleccionado al azar- "murió" y fue retirado del modelo. A continuación, se permitió que el laboratorio con la puntuación más alta de otro grupo seleccionado al azar se reprodujera, creando un nuevo laboratorio con una aptitud similar para crear ciencia real o falsa.

Los lectores de ojos agudos notarán que este proceso es similar al de la selección natural, como describe Charles Darwin, en "The Origin of Species". ¡Y lo! (Y nada sorprendente), cuando el Dr. Smaldino y el Dr. McElreath realizaron su simulación, encontraron que los laboratorios que empleaban el menor esfuerzo para eliminar la ciencia basura prosperaron y difundieron sus métodos en toda la comunidad científica virtual.

Su siguiente resultado, sin embargo, fue sorprendente. Aunque más a menudo se honra en el incumplimiento que en la ejecución, el proceso de replicar el trabajo de la gente en otros laboratorios se supone que es una de las cosas que mantiene la ciencia en la recta y estrecha. Pero el modelo de los dos investigadores sugiere que tal vez no lo haga, incluso en principio.

La replicación se ha convertido recientemente en toda la rabia en la psicología. En 2015, por ejemplo, más de 200 investigadores en el campo repitieron 100 estudios publicados para ver si los resultados de estos podrían ser reproducidos (sólo el 36% podría). Por lo tanto, el Dr. Smaldino y el Dr. McElreath modificaron su modelo para simular los efectos de la replicación, seleccionando al azar experimentos de la literatura "publicada" para repetirlos.

Una replicación exitosa aumentaría la reputación del laboratorio que publicó el resultado original. Si no se reproduce, se aplicará una penalización. Preocupantemente, los malos métodos aún ganaban, aunque con mayor lentitud. Esto fue cierto incluso en la versión más punitiva del modelo, en la que los laboratorios recibieron una multa 100 veces el valor de la "compensación" original por un resultado que no se replicó, y las tasas de replicación fueron altas (la mitad de todos los resultados fueron Sujeto a esfuerzos de replicación).

La conclusión de los investigadores es, por lo tanto, que cuando la capacidad de publicar copiosamente en las revistas determina el éxito de un laboratorio, entonces "los laboratorios de alto rendimiento serán siempre aquellos que son capaces de cortar esquinas" -y eso es independientemente del proceso de replicación supuestamente correctivo.

En última instancia, por lo tanto, la manera de acabar con la proliferación de las malas ciencias no es engañar a las personas para que se comporten mejor, o incluso para alentar la replicación, sino para que las universidades y los organismos de financiación dejen de recompensar a los investigadores que publican copiosamente sobre los que publican menos, - Documentos de calidad. Esto, admite el Dr. Smaldino, es más fácil decirlo que hacerlo. Sin embargo, su modelo demuestra ampliamente las consecuencias para la ciencia de no hacerlo.