Nota del editor: El Grupo de Evaluación Independiente (IEG) del Banco Mundial publicó recientemente una autoevaluación de sus actividades. Además de representar el pensamiento actual entre los expertos en evaluación del Banco Mundial, también refleja de manera más amplia algunas de las fortalezas y lagunas en los enfoques que utilizan los evaluadores para evaluar y aprender del desempeño de las instituciones internacionales con las que trabajan. La vieja pregunta ¿Quis custodet ipsos custodes? - traducido libremente como ¿Quién evalúa a los evaluadores? - sigue siendo tan relevante como siempre. Johannes Linn se desempeñó como revisor externo de pares de la autoevaluación y ofrece una visión general de las lecciones aprendidas.
Una descripción general del informe de autoevaluación del IEG del Banco Mundial
En 2011, el Grupo de Evaluación Independiente (IEG) del Banco Mundial llevó a cabo y publicó un autoevaluación de sus actividades. El equipo de autoevaluación fue dirigido por un gerente interno, pero involucró a un respetado experto en evaluación externa como autor principal y también como un revisor externo.
La autoevaluación del IEG sigue las mejores prácticas profesionales codificadas por el Grupo de Cooperación en Evaluación (ECG). Este grupo reúne a las oficinas de evaluación de siete importantes instituciones financieras multilaterales en esfuerzos conjuntos diseñados para mejorar el desempeño de la evaluación y la cooperación entre sus evaluadores. Por lo tanto, se puede inferir que el enfoque y el enfoque de la autoevaluación del IEG es representativo de un conjunto más amplio de prácticas que actualmente utiliza la comunidad de evaluación de las organizaciones financieras internacionales.
Al principio, el informe de IEG establece que IEG es el departamento de evaluación más grande entre los miembros del Grupo de Capacidad de Evaluación (ECG) y es muy apreciado por la comunidad de evaluación internacional. Las evaluaciones independientes del papel de IEG como una función de evaluación independiente para el Banco y la CFI lo calificaron por encima de las funciones de evaluación en la mayoría de los otros miembros del ECG, organizaciones no gubernamentales internacionales y corporaciones transnacionales y encontraron que IEG sigue los principios de evaluación de buenas prácticas.
¿Por qué el océano pacífico se llama océano pacífico?
El informe de autoevaluación generalmente confirma esta valoración positiva. Para cuatro de las seis áreas de su mandato, el IEG se otorga a sí mismo la segunda calificación más alta (buena) de las seis posibles categorías de calificación. Esto incluye (a) la calidad profesional de sus evaluaciones, (b) sus informes sobre cómo la administración del Banco Mundial da seguimiento a las recomendaciones del IEG, (c) la cooperación con otras oficinas de evaluación, y (d) la asistencia a los países prestatarios para mejorar sus capacidad de evaluación. En el área de la evaluación de las prácticas de autoevaluación y gestión de riesgos del Banco Mundial, el informe ofrece la tercera calificación más alta (satisfactoria), mientras que otorga la tercera calificación más baja (modesta) para el impacto de IEG en las políticas, estrategias y operaciones del Banco. Además, la autoevaluación concluye que, en general, el desempeño de IEG ha sido bueno y que opera de manera independiente, eficaz y eficiente.
El informe hace una serie de recomendaciones para mejorar, que probablemente sean útiles, pero tienen un impacto limitado en sus actividades. Abarcan medidas para mejorar aún más la independencia del IEG y la coherencia de las prácticas de evaluación aplicadas en las sucursales del Grupo del Banco Mundial: el Banco Mundial, la Corporación Financiera Internacional (IFC) y la Agencia Multilateral de Garantía de Inversiones (MIGA); mejorar el diseño de las evaluaciones y el compromiso con la administración del Banco en etapas iniciales para lograr un mayor impacto; y monitorear el impacto de los cambios organizacionales recientes en IEG en términos de resultados logrados. El informe también recomienda que se haga más para evaluar el trabajo analítico del Banco y que las evaluaciones se basen en evidencia comparativa.
Evaluación
En términos de los parámetros de autoevaluación establecidos por la práctica predominante entre los evaluadores de las agencias financieras internacionales, la autoevaluación del IEG es precisa y útil. Desde mi propia experiencia como gerente operacional en el Banco cuyas actividades fueron evaluadas por IEG en años pasados, y como usuario de evaluaciones de IEG (y de evaluaciones de otras organizaciones internacionales de ayuda) para mi investigación sobre la efectividad de la ayuda, estoy de acuerdo en que IEG es independiente y eficaz en el cumplimiento de su mandato según lo definido. Además, la autoevaluación produce evidencia cuantitativa útil (incluidos los resultados de la encuesta, el análisis presupuestario, etc.) para corroborar los juicios cualitativos.
Sin embargo, la autoevaluación adolece de una serie de limitaciones en el enfoque y lagunas en el enfoque, que son ampliamente representativas de las prácticas que prevalecen entre muchas de las oficinas de evaluación de los organismos internacionales de ayuda.
La lectura cuidadosa del informe revela seis brechas importantes en la autoevaluación del IEG, en la práctica de evaluación predominante en el Banco Mundial y, de manera más general, en la forma en que las organizaciones financieras internacionales evalúan su propio desempeño. Las primeras tres lagunas se relacionan con aspectos del enfoque de evaluación utilizado y las segundas tres lagunas se relacionan con la falta de enfoque en la autoevaluación en cuestiones organizativas internas clave:
1. Evaluaciones de impacto: El informe señala que IEG lleva a cabo dos o tres evaluaciones de impacto por año, pero elude el debate en la literatura y la práctica de evaluación actual sobre hasta qué punto el estándar de oro de la evaluación de impacto aleatoria debería ocupar un papel mucho más central. Dada la importancia de este debate y la divergencia de opiniones, habría sido apropiado que la autoevaluación evaluara la práctica actual del IEG de un uso muy limitado de evaluaciones aleatorias.
cuando comienza el invierno 2020
2. Evaluación de la ampliación: El informe no aborda la cuestión de hasta qué punto la práctica actual del IEG no solo evalúa el desempeño de proyectos individuales en términos de sus resultados y sostenibilidad, sino también en términos de si el Banco ha construido sistemáticamente su experiencia en proyectos específicos para ayudar a escalar. aumentar su impacto mediante el apoyo para la expansión o la reproducción en las operaciones de seguimiento o mediante un traspaso efectivo al gobierno u otros socios. De hecho, actualmente IEG no considera explícita y sistemáticamente la ampliación en sus evaluaciones de proyectos y programas. Por ejemplo, en una evaluación reciente de IEG de financiados por el Banco Mundial proyectos de desarrollo municipal (MDP), el IEG descubrió que el Banco ha apoyado a múltiples MDP en muchos países a lo largo de los años, pero la evaluación no abordó la pregunta obvia de si el Banco planificó sistemáticamente la secuencia del proyecto o aprovechó su experiencia de proyectos anteriores en operaciones posteriores. Si bien la mayoría de las otras oficinas de evaluación como el IEG no consideran la ampliación, algunas (en particular las del Fondo Internacional de Desarrollo Agrícola y el Programa de las Naciones Unidas para el Desarrollo) han comenzado a hacerlo en los últimos años.
3. Aprovechando la experiencia y la evaluación comparativa frente a otras instituciones: El informe de autoevaluación hace un buen trabajo al comparar el desempeño del IEG en varios aspectos con el de otras instituciones multilaterales. En el texto principal del informe se indica que el IEG tiene previsto desarrollar directrices para los documentos de enfoque a fin de garantizar una mayor calidad, en particular en la elaboración de información comparativa de otras fuentes y la evaluación comparativa con otras instituciones. Esta es una intención bienvenida, pero está inadecuadamente motivada en el resto del informe y no se refleja en el Resumen Ejecutivo. La realidad es que el IEG, como la mayoría de las oficinas de evaluación multilaterales, hasta ahora no se ha basado sistemáticamente en las evaluaciones y la experiencia relevante de otras agencias de ayuda en sus evaluaciones del desempeño del Banco Mundial. Esto ha limitado gravemente el impacto de las evaluaciones en el aprendizaje.
4. Políticas internas del banco, procesos de gestión e incentivos: Las evaluaciones del IEG tradicionalmente no se centran en cómo las políticas internas, la gestión y los incentivos del Banco afectan la calidad de la participación del Banco en los países. Por lo tanto, las evaluaciones no pueden ofrecer información sobre si las modalidades operativas internas del Banco contribuyen a los resultados y de qué manera. Dos excepciones recientes son excepciones notables. Primero, el IEG evaluación del enfoque del Banco para la armonización con otros donantes y la alineación con las prioridades del país evalúa los incentivos para que el personal apoye la armonización y la alineación. La evaluación concluye que los incentivos son insuficientes, un hallazgo cuestionado por la administración. En segundo lugar, está la evaluación de los arreglos de gestión de la matriz interna del Banco, que está actualmente en curso. La autoevaluación señala que la administración del Banco intentó anular la evaluación matricial con el argumento de que no estaba comprendida en el mandato del IEG. Este es un argumento desafortunado, ya que una evaluación de las razones institucionales del desempeño del Banco es un componente esencial de cualquier evaluación significativa de los programas respaldados por el Banco. Si bien presenta un buen caso para la instancia específica de la evaluación matricial, el informe de autoevaluación se aleja de una declaración más general en apoyo de la participación del IEG en cuestiones de políticas internas del Banco, procesos de gestión e incentivos. Cabe destacar que la Oficina de Evaluación Independiente del FIDA parece ser más agresiva a este respecto: actualmente está llevando a cabo una evaluación completa de la eficiencia interna del FIDA y evaluaciones anteriores (por ejemplo, una evaluación de innovación y ampliación) no rehuyó evaluar las dimensiones institucionales internas.
¿cuántos días hay en un año bisiesto?
5. Gobernanza del Banco Mundial: La autoevaluación del IEG es aún más restrictiva en la forma en que interpreta su mandato con respecto a la evaluación de las estructuras y procesos de gobernanza del Banco Mundial (incluido su enfoque de la voz y el voto de los miembros, el funcionamiento de su junta directiva, la selección de sus miembros superiores). gestión, etc.). Considera estos temas más allá del mandato del IEG. Esto es lamentable, ya que la forma en que evolucione la gobernanza del Banco afectará sustancialmente su legitimidad, eficacia y viabilidad a largo plazo como institución financiera internacional. Dado que IEG informa a la junta directiva del Banco, y muchos de los problemas de gobernanza implican cuestiones de la composición, función y funcionamiento de la junta, existe una pregunta válida sobre la eficacia con la que IEG podría llevar a cabo dicha evaluación. Sin embargo, es notable que la Oficina de Evaluación Independiente del FMI, que informa de manera similar a la junta directiva del FMI, publicó un evaluación de la gobernanza del FMI en 2008, que abordó con eficacia muchas de las cuestiones correctas.
6. Sinergias entre el Banco Mundial, IFC y MIGA: El informe de autoevaluación señala que la reciente reorganización interna del IEG tuvo como objetivo asegurar evaluaciones más efectivas y consistentes en las tres ramas miembros del Grupo del Banco Mundial. Esto es bienvenido, pero el informe no evalúa cómo las evaluaciones pasadas abordaron la cuestión de si el Banco Mundial, la CFI y el MIGA capitalizaron efectivamente las sinergias potenciales entre las tres organizaciones. El reciente evaluación de la respuesta del Grupo del Banco Mundial a la crisis económica mundial de 2008/9 proporcionó evaluaciones paralelas del desempeño de cada organismo, pero no abordó si trabajan juntos de manera eficaz para maximizar sus sinergias. La realidad es que las tres organizaciones tienen culturas institucionales profundamente arraigadas y, en general, siguen sus propios caminos en lugar de coordinar estrechamente sus actividades sobre el terreno. Las evaluaciones futuras deben considerar explícitamente si los tres cooperan efectivamente o no. Si bien el Banco Mundial es único en la forma en que ha separado organizativamente sus operaciones de garantía y el sector privado, otras organizaciones de ayuda también tienen problemas de falta de cooperación, coordinación y sinergia entre las diferentes unidades dentro de la agencia. Por lo tanto, el mismo comentario también se aplica a sus enfoques de evaluación.
Conclusiones
Las autoevaluaciones son herramientas valiosas para la evaluación del desempeño y se debe felicitar al IEG por llevar a cabo y publicar dicha evaluación de sus propias actividades. En cuanto a todas las autoevaluaciones, debe verse como un insumo para una evaluación externa independiente, decisión que, por ahora, aparentemente ha sido postergada por el directorio del Banco.
La autoevaluación de IEG tiene muchos puntos fuertes y proporciona una evaluación general positiva del trabajo de IEG. Sin embargo, refleja algunas limitaciones importantes del análisis y de ciertas lagunas en el enfoque y la cobertura, que una revisión externa independiente debería considerar explícitamente y que la dirección de IEG debería abordar. Dado que muchos de estos problemas probablemente también se apliquen a la mayoría de los otros enfoques de evaluación de otras oficinas de evaluación, las lecciones tienen relevancia más allá del IEG y el Banco Mundial.
Las lecciones clave incluyen:
Las evaluaciones juegan un papel fundamental en la rendición de cuentas y el aprendizaje de las organizaciones internacionales de ayuda. Por lo tanto, es fundamental que las evaluaciones aborden los problemas correctos y utilicen técnicas adecuadas. Si las lecciones anteriores se reflejaran en las prácticas de evaluación de las instituciones de ayuda, esto representaría un avance significativo en la calidad, pertinencia y probable impacto de las evaluaciones.