El complejo actual de investigación y finanzas vincula estrechamente el financiamiento con el impacto, lo que incluye evidencia de políticos y legisladores que citan la investigación en cuestión. Lo que los políticos de investigación eligen resaltar, por lo tanto, influye en lo que finalmente se financia. Sin embargo, discursos y artículos de opinión recientes sugieren que incluso el personal clave de las instituciones tecnocráticas que financian la generación de conocimiento puede terminar citando material que no merece un lugar en una discusión seria. Esto implica una falta de juicio o una preferencia genuina por los números que acaparan los titulares sobre los resultados cuidadosos y matizados. En el mundo cargado de hoy, ambos son motivo de preocupación.
Estudio 1: Un informe de McKinsey que afirma que la igualdad de género agregará $ 12 billones a la economía global fue citada recientemente por una persona clave a cargo de la ayuda al desarrollo en el Reino Unido.
Estudio 2: Un informe del Banco Mundial que afirma que la igualdad de género agregará $ 160,2 billones a la riqueza mundial ha sido citado en gran medida por la alta dirección de la institución.
Estos números difieren, en parte porque uno intenta capturar ingresos y el otro intenta capturar riqueza, pero el problema más profundo es que ambos estudios extrapolan el mundo actual al imaginario. En 1963, Martin Feldstein señaló que las estimaciones de los estudios de costos (costo de la enfermedad, costo del crimen, costo de las drogas) eran fundamentalmente incorrectas porque no evaluaban un contrafactual de política viable. Asumieron que la actividad ofensiva se eliminó sin costo alguno. Esto contrasta fuertemente con evaluaciones específicas, que se enfocan en políticas que intentan disminuir el crimen o el uso de drogas y calculan cuidadosamente los beneficios y costos de estos programas. No es sorprendente que los números que surgen del segundo tipo de estudio sean mucho más pequeños que las extrapolaciones imaginadas extraídas de la nada. Vale la pena citar de Revisión de Feldstein de la economía de la salud pública de Weisbrod: medición del impacto económico de las enfermedades :
El método que avanza el Dr. Weisbrod para calcular las pérdidas monetarias a la nación causadas por enfermedades (costos directos de atención y pérdidas indirectas por absentismo y muerte prematura), que se salvarían mediante la eliminación completa o prevención de una enfermedad, está sujeto a importantes objeciones por motivos económicos y estadísticos.
Pero lo que es más significativo, este intento fracasa porque es irrelevante para los problemas reales de las políticas públicas. En lugar de un método para comparar posibles programas alternativos, se nos da un algoritmo para calcular los beneficios de metas inalcanzables; Puede ser interesante saber cuánto más pierde la sociedad debido al cáncer que a la tuberculosis, pero en ausencia de un programa único mediante el cual podamos eliminar cualquiera de las enfermedades, estas estimaciones son de poca utilidad. El método propuesto omite la característica fundamental de un análisis de costo-beneficio: un modelo o función de producción que vincula las acciones del tomador de decisiones con los beneficios que se acumularán.
El siguiente ejemplo, casi ridículo, ilustra cuál es el 'costo' del sueño. Podría calcular el salario por hora de todos en el mundo, asumir que duermen 8 horas al día y estimar lo que sucedería si, en cambio, durmieran 7 horas al día y pasaran la hora adicional en el trabajo. Suponiendo una jornada laboral de 8 horas, esa hora adicional agrega un 12,5 por ciento o (aproximadamente) $ 12 billones al PIB mundial (en términos de PPA) de $ 107 billones. Esto es equivalente a lo que hacen esos dos estudios. Una alternativa es evaluar una política específica que conduzca a una hora menos de sueño (por ejemplo, ¿quizás alarmas ruidosas?) Y evaluar lo que sucede con el PIB real. Mi conjetura es que los impactos serían menores. Para la igualdad de género, los estudios equivalentes serían como los informados por Hsieh et al. así como el Informe sobre el desarrollo mundial del propio Banco Mundial sobre género (del cual yo era miembro del equipo).
Pero el resultado, una hora menos de sueño aumentará el PIB mundial en 12 billones de dólares y acaparará más titulares.
Cuando los políticos citan estos informes como evidencia creíble, devalúa un proceso de investigación que puede llevar años, desde la recopilación de datos hasta las constantes revisiones y refinamientos que responden a los comentarios de colegas, revisores y editores. Es largo, pero cada paso obliga a los investigadores a comprender los factores subyacentes en juego y matizar sus conclusiones, lo que finalmente otorga mayor credibilidad al trabajo. Pero si los poderes fácticos señalan que todo esto no es necesario (los informes que no están sujetos al escrutinio de nuestros pares están bien si producimos grandes números y nos aseguramos de tener buenas imágenes), esa es eventualmente la dirección en la que algunas investigaciones cambiarán. Aunque muchos se opondrán a la tendencia, el peligro es que cada vez se dirijan menos fondos hacia ellos. Esto creará una brecha aún mayor entre los investigadores académicos y los grandes productores de informes, ya que la diferencia entre los pequeños éxitos de los primeros y las afirmaciones de billones de dólares de los últimos finalmente chocará. A la larga, todos serán pintados con el mismo pincel de noticias falsas y la multitud de evidencia basada en políticas habrá obtenido otra victoria.
Las citas irresponsables se deben principalmente a la dificultad de mantenerse al día con campos en rápida evolución y un trabajo de traducción insuficiente. Con ese espíritu, a continuación se ofrecen algunas sugerencias basadas en los debates actuales sobre el terreno.
1. Espere hasta la revisión por pares y la publicación: No cite investigaciones que aún no hayan sido revisadas y publicadas por pares. La publicación no es garantía de calidad, pero los redactores de discursos pueden, y deben, verificar si el diario es depredador o, alternativamente, limítese a revistas de renombre que han existido por un tiempo. Si todo esto es difícil de hacer, ¿por qué no financiar un sitio independiente como www.econofact.org , ¿asignarle la responsabilidad de sintetizar la investigación para la participación pública y citar solo el material discutido en el sitio? Esta sería una solución parcial al problema de adjudicar una investigación de calidad y permitiría al público comprender la fuente del material citado. Esta recomendación puede ser impopular entre los colegas, ya que los documentos de trabajo se citan con frecuencia, pero creo que es justa, especialmente porque Los documentos de trabajo a menudo se revisan en gran medida después del proceso de revisión. .
2. Tenga cuidado con las muestras pequeñas: Cuanto más pequeña sea la muestra, más probable es que los resultados estadísticamente significativos sean cualitativamente grandes cuando el efecto real es cero. Suponga que el efecto real es cero y hace un experimento con 20 personas 1000 veces. Debido a que las muestras pequeñas conducen a grandes errores estándar, los únicos resultados estadísticamente significativos serán aquellos con efectos de gran tamaño. Si es más probable que las revistas publiquen resultados positivos (el sesgo de publicación), la mayoría de los efectos importantes con muestras pequeñas son sospechosos. Una buena regla general es no citar la investigación de N pequeño hasta que se haya replicado varias veces. No estoy argumentando que tales resultados no deban publicarse, deberían hacerlo, pero la gran precaución que es necesaria a menudo se pierde cuando se citan como la próxima gran novedad.
3. Cite las fallas: Por el contrario, la mayoría de las investigaciones con N grande no producirán grandes números; Mucha investigación descubrirá que las cosas que pensamos que deberían funcionar realmente no funcionan. Los políticos rara vez citan investigaciones que documenten los fracasos de los programas y, por lo tanto, los millones de dólares en mala financiación que se ahorraron. Hay muchos, muchos ejemplos de esto y haría maravillas para la moral de los investigadores que no encuentran resultados (como la mayoría suele hacer) entender que esto es crítico e importante para la política. Quizás también podría ayudar a mitigar el sesgo de publicación contra resultados cero. (Un ejemplo es un artículo (incorrecto) que muestra que los partos institucionales mejoraron los resultados de salud en India, que obtuvo 569 citas según Google Scholar el 3 de julio, en comparación con cuatro artículos cuidadosos que muestran un impacto cero de los partos institucionales en los resultados de salud en India, Malawi y Ruanda con menos de 150 ciudades entre ellos).
4. Tenga cuidado con la bala de plata. Nada nos emociona más que una bala de plata. Desafortunadamente, rara vez existen y pasa un tiempo después de la primera intervención antes de que el brillo de ese elusivo metal desaparezca. Entonces, sí, hay programas con muchas promesas, pero esa promesa inicial debería generar llamadas extáticas para más investigación en lugar de un respaldo absoluto.
Es probable que estas sugerencias sean controvertidas. Pero una atmósfera de certeza vertiginosa que rodea a un gran número de personas y grandes efectos es peligrosa, especialmente cuando los estudios posteriores que desacreditan los milagros originales generalmente reciben menos juego y, por lo tanto, es menos probable que se emprendan en primer lugar. Cuando menciono estos discursos con mis colegas, la respuesta suele ser poner los ojos en blanco, sacudir la cabeza y la conclusión inevitable: son políticos. Pero si hay un grupo que comprende el poder de las palabras y la importancia de señalar intenciones y preferencias a través de la escritura y el hablar en público, son precisamente los políticos. Y les hacemos un flaco favor al no señalar por qué sus citas son problemáticas. Deberíamos trabajar con ellos para incorporar los últimos avances en investigación en sus compromisos públicos. Los políticos deben citar de manera responsable; los investigadores deben hacerles responsables cuando no lo hacen.