Reforma rural integral: ¿Oportunidad que se desvanece?. Amanda Alvarado Cortés

otro lado, Scriven (2011a) sugiere que, desde una perspectiva que admita la diversidad, es posible reconocer una gran diversidad de actores o roles durante la evaluación. No solo está el evaluador, el cliente (gobierno), el personal de la política y la población objeto, sino que también se reconocen roles adicionales como 1) la población impactada de manera recurrente, futura y potencial; 2) otros actores interesados (donantes, familiares y amigos de la población impactada, simpatizantes, enemigos, reporteros, políticos e historiadores, entre otros); 3) audiencias reales, futuras y potenciales (como agencias de supervisión); y 4) asesores de evaluación (apoyo para la evaluación).

      En este escenario, la evaluación de quinta generación requiere reconocer que el conocimiento puede provenir de diferentes escenarios y esferas. Ello equivale a afirmar que todo conocimiento es válido. En ese sentido, el objetivo del conocimiento (construido) es comprender los comportamientos sistémicos y complejos de la totalidad orgánica del mundo vivo. Para ello, este tipo de evaluación pretende rescatar e integrar algunos elementos del enfoque empíricoanalítico (tercera generación) y del enfoque comprensivo (cuarta generación). Lo anterior, a partir de lo que Muñoz (2007, pp. 163-164) considera “las tres etapas del proceder metódico”:

      → Brindar al ejercicio evaluativo de un piso teórico, por ejemplo, a partir de un análisis documental juicioso y sistemático.

      → Contrastar el piso teórico con las subjetividades de las realidades que van a ser evaluadas, por ejemplo, a través del instrumento de la etnografía.

      → Analizar integralmente la información recopilada a través de la triangulación, con base en saberes de expertos de uso, expertos usuarios y el investigador. Esto con el propósito de resolver acercamientos y diferencias entre paradigmas, posiciones y opiniones.

      Así pues, en la quinta generación de la evaluación, lo importante no es la acumulación de saberes segmentados, sino las relaciones y conjuntos que emergen de ellas, lo que permite la interrelación y comunicación entre especialistas y especialidades. Como puede observarse, la interrelación y la intercomunicación de los diversos actores es fundamental para obtener la mayor diversidad posible de información, tanto cualitativa como cuantitativa. Esta información debe servir para ayudar a mejorar las condiciones de vida, puesto que está orientada a mostrar las cualidades y calidades de la política, en función de la satisfacción de las necesidades. En todo caso, la evaluación debe considerarse una investigación social, formulada de manera que permita plantear alternativas sistémicas a problemas sistémicos.

      Criterios para evaluar los efectos de la política pública

      Una política pública tiene el objetivo de resolver un problema social que, después de un debate público pasa a la agenda pública, para convertirse prácticamente en un tema que es competencia de la esfera pública. Una vez programada e implementada, la política debe ser objeto de una evaluación sistemática. Al analizar esta última parte de la política como proceso cíclico, es necesario evidenciar si los grupos objetivo identificados como causantes del problema público, en efecto, modifican su conducta (¿qué impactos?) y si, gracias a ello, la situación de los beneficiarios finales o quienes sufren el problema público mejoró realmente (¿cuáles fueron los efectos reales?, ¿outcomes?). En suma, la evaluación de las políticas públicas busca encontrar evidencia empírica para validar el modelo causal en que se fundamentó.

      Subirats y sus colaboradores (2008) definen de manera operacional los “impactos” producidos como aquellos que evidencian los cambios de conducta en los grupos-objetivo y, por otro lado, describen los efectos reales, inducidos sobre los beneficiarios finales (outcomes). En función de estas dos variables, los autores proponen cinco criterios aplicados, generalmente, para evaluar los efectos de una política pública: 1) efectividad, 2) eficacia, 3) eficiencia en la asignación de recursos, 4) pertinencia y 5) eficiencia productiva, como se describe más adelante.

      Los actos formales de la implementación de una política pública (outputs) se refieren a los productos finales de los procesos práctico-administrativos, es decir, los resultados tangibles de la implementación; mientras que los “impactos” y los outcomes se refieren a los efectos reales que produce una política pública en el terreno social. En estas circunstancias, se busca examinar, empíricamente, la pertinencia tanto de la hipótesis de intervención (¿los grupos objetivos reaccionan como se había previsto?), como de la hipótesis de causalidad (¿mejoró la situación de los beneficiarios finales gracias a las actuaciones previstas en la política?).

      Los impactos de una política pública se definen como el conjunto de cambios de conducta de los grupos objetivo que pueden ser alcanzados directamente a la entrada en vigor de los programas de actuación político-administrativa (PPA), los acuerdos de actuación político-administrativos (APA), los planes de actuación y los actos formales de implementación (outputs) que los concretan, sin importar si tales modificaciones de conducta son o no las deseadas. Así, los impactos representan los efectos reales de las políticas públicas en los grupos objetivo, definidos, a su vez, como los causantes del problema público. Por consiguiente, el estudio debe hacer evidentes los efectos directos de los actos de implementación en los grupos objetivo.

      El interés fundamental de quien analiza una política pública es saber si los objetivos de esta pueden alcanzarse con las medidas y los recursos usados en su implementación. La evidencia de los impactos permite verificar la hipótesis de intervención. Así, la modificación de la conducta de los grupos objetivo podría interpretarse como una condición necesaria, pero no suficiente, para alcanzar los objetivos, pues, posteriormente, los efectos reales (outcomes) derivados de esto deben analizarse de manera crítica, cuando se haya mejorado la situación de quienes padecían el problema.

      Los outcomes de una política pública se definen como el conjunto de efectos en términos del problema público que se piensa resolver, los cuales pueden ser atribuidos a las modificaciones de conducta de los grupos objetivo (impactos). Vale mencionar que se intenta obtener estos efectos a través de los actos de implementación (outputs) y que todo esto se concreta a través de indicadores que reflejan la evolución del problema que la política pública intenta resolver.

      A continuación, se describen los criterios propuestos por Subirats y sus colaboradores (2008), para valorar los efectos de una política pública:

      1. La efectividad analiza si los impactos se producen de la manera prevista por el programa político-administrativo y los planes de acción (¿ha sucedido algo?).

      2. La eficacia relaciona los outcomes observables con los objetivos planeados (¿ha sucedido lo que se habría previsto?).

      3. La eficiencia en la asignación de los recursos compara los outputs con los recursos invertidos (¿se han hecho las inversiones de la mejor manera posible?).

      4. La pertinencia de la política pública busca analizar la relación de los objetivos del programa político-administrativo y el problema político que se quiere resolver.

      5. La eficiencia productiva de los procesos administrativos que conducen a los actos formales relaciona los outputs con los recursos destinados al programa.

      Aquí, es necesario destacar la debilidad relativa de las evaluaciones de las políticas públicas en Colombia, debido, parcialmente, al enfoque positivista predominante que reproduce un tipo de evaluación cuyos resultados se dan a conocer cuando ya no tienen pertinencia política y cuyos impactos observados, no necesariamente son los elementos más centrales para fundamentar la toma de decisiones (Roth-Dubel, 2009).

      Aproximación metodológica

      En esta sección se describe la aproximación metodológica realizada para efectos del presente ejercicio, es decir, el proceso metodológico para evaluar el seguimiento del Punto 1 del Acuerdo Final. En otras palabras, el CPDR dirigió sus esfuerzos para construir un documento, del estilo de un estado del arte, en el que pudieran analizarse los diferentes documentos institucionales con los que está realizándose seguimiento a la implementación de lo acordado, en este caso específico, la implementación de la RRI. Esto, debido a la preocupación del CPDR