Evaluación de Programas y Políticas

Introducción a las Políticas Públicas

• El tema 5 se centra en la evaluación, incluyendo su concepto, funciones y características específicas.
• La evaluación implica recoger y analizar sistemáticamente información para determinar el valor o mérito de algo, considerando su importancia y significado.
• La evaluación no tiene criterios universales, sino que los indicadores deben servir a las preguntas, no al revés.
• La evaluación, en esencia, es fijar el valor de algo a través de un procedimiento de comparación con un criterio o patrón determinado.

Qué es la Evaluación (Parte 1)

• La evaluación se basa en métodos de investigación para recoger información sobre la efectividad de un programa o política. (Definición estrecha).
• La evaluación considera la evaluación como un proceso que utiliza metodologías específicas, desde un punto de vista amplio para juzgar algo.
• La evaluación es sistemática, valorativa y política.

Qué es la Evaluación (Parte 2)

• La evaluación es sistemática en todo su proceso.
• La evaluación implica valor o juicio sobre algo.
• La evaluación tiene una naturaleza política.

Las Funciones de la Evaluación

• Una función de la evaluación es la retroalimentación o mejora (improvement).
• Otra función de la evaluación es el control de responsabilidades y rendición de cuentas (accountability).
• Otra función de la evaluación es la ilustración para acciones futuras (enlightenment).

Características Específicas: El Carácter Político y Contexto

• Las políticas y programas que se evalúan son resultado de decisiones políticas.
• La evaluación se utiliza para alimentar el proceso de toma de decisiones.
• La evaluación, por su propia naturaleza, asume una postura política.
• La evaluación requiere capacidad de respuesta, sensibilidad social y política, credibilidad y aceptación (participación), temporalidad, flexibilidad y realismo.

Características Específicas: Valorativo y Sistemático

• El análisis se realiza a través de cuatro niveles: hallazgos empíricos, interpretaciones de los hechos y datos, juicios basados en valoraciones y recomendaciones con sugerencias para futuras acciones.
• Esta metodología implica la consideración sistemática como elemento central en el proceso de evaluación.

Características Específicas: Carácter Práctico y Aplicado

• La evaluación debe ser útil y práctica, proporcionando información pertinente y fácilmente aplicable.
• Debe estar orientada hacia la acción, utilizando la información recolectada para la toma de decisiones.
• Se debe considerar el contexto específico, implicar a los actores clave (“stakeholders”) y usar diferentes formatos para presentar los resultados.

Pensamiento Evaluativo

• El pensamiento evaluativo es un pensamiento crítico que aplica al contexto de evaluación.
• Está motivado por la curiosidad y la creencia en la evidencia, e implica identificar asunciones, hacer preguntas razonadas, perseguir comprensiones profundas y ofrecer decisiones informadas.

Lo que no es Evaluación

• La evaluación no es investigación, seguimiento, monitoreo, observatorio, evaluación diagnóstica ni memoria.

La Evaluación Paso a Paso

• Etapas para realizar una evaluación: motivación para evaluar mediante el diagnóstico, delimitación del conocimiento, identificación de “stakeholders”, definición de criterios y preguntas, elección de métodos y técnicas, análisis, interpretación, enjuiciamiento, recomendaciones, comunicación y difusión.

Fases de la Evaluación (Diagrama)

• Movilizar para evaluar
• Definición de unidad y contexto
• Elección de aproximación evaluativa
• Operacionalización de preguntas
• Búsqueda de fuentes y diseño de técnicas
• Diseño metodológico
• Trabajo de campo
• Análisis de datos
• Interpretacion y juicios
• Recomendaciones
• Comunicación de resultados

El Diagnóstico del Contexto y Situación Evaluativa

• Existe un contexto político y la necesidad de responder ante él, presentando la capacidad de respuesta.
• Variables situacionales. Patton identifica las variables para considerar el contexto:
• Numero de responsables
• Historia del programa
• Actitud del staff frente a la evaluación
• Conocimiento de evaluación del staff
• Patrones de interacción
• Historia evaluativa del programa
• Nivel educativo
• Homogeneidad
• Localización
• Recursos
• Número de financiamiento
• Naturaleza
• Tipo de actuaciones
• Estructura
• Claridad/Ambigüedad
• Datos existentes
• Enfasis
• Tiempo disponible

El Objeto y Unidad de Evaluación

• ¿Qué se quiere evaluar y cuál es la unidad de evaluación?
• La clave es la teoría del programa, el análisis de los marcos y la delimitación y alcance temporal.
• El objeto de la evaluación se compone de planes, programas, proyectos, medidas, servicios, estrategias y campañas.

Identificación de Stakeholders

• ¿Quiénes son y cuál es su papel en el programa?
• Preocupaciones y necesidades informativas de cada uno de los stakeholders.
• Papel del evaluador.

Audiencias en la Evaluación (Stakeholders)

• Gente con autoridad y responsabilidad para tomar decisiones.
• Autoridad y responsabilidad para la gestión y ejecución del programa.
• Beneficiarios directos y el público en general.

Fases para el Diseño de Criterios de Evaluación

• Identificación de fuentes y actores claves.
• Extracción de las necesidades informativas. (trabajo divergente y convergente).
• Operacionalización de criterios y preguntas (vertical y horizontal).

Operacionalización: Indicadores

• Definición de preguntas.
• Identificación de indicadores para cada pregunta.
• Técnicas o Fuentes para recopilar la información.

Criterios y Preguntas de Evaluación

• Definir qué se quiere evaluar.
• Usar una base lógica que justifique las perspectivas de valoración.
• Utilizar fuentes como el contexto evaluativo, el estado actual de la cuestión, el programa o política, la teoría del programa, documentos, objetivos y preocupaciones de los stakeholders.

Preguntas / Criterios de Evaluación

• Las preguntas deben implicar una valoración.
• Son requisitos de información para evaluar los efectos de la intervención.
• Se centran en la adquisición de conocimientos, en la adecuación de metodologías y la cualificación del personal.

Ponerse de Acuerdo sobre el Valor de las Palabras

• Es crucial que todos los involucrados en la evaluación compartan la misma comprensión de los criterios.
• Se deben definir los conceptos y cómo se están utilizando en el análisis.

Criterios CAD (OCDE) Revisados

• Pertinencia
• Coherencia
• Eficacia
• Eficiencia
• Impacto
• Sostenibilidad

Criterios y Preguntas de Evaluación (Adaptación de Stufflebeam y Shinkfield, 1987)

• Respuesta a las expectativas de la ciudadanía y la clientela.
• Mérito del programa, política o servicio
• Necesidad y validez (adecuación al contexto)
• Viabilidad (recursos, problemas)
• Equidad (participación/acceso para todos)

Otros Criterios de Valor

• Cobertura (alcance de la población beneficiaria)
• Visibilidad (conocimiento por parte de agentes/población)
• Equidad/Igualdad (distribución igualitaria de beneficios)
• Participación
• Ética en desarrollo y ejecución del programa
• Satisfacción de clientes/beneficiarios
• Esfuerzo (evidencia de acciones)
• Suficiencia (adecuación al objetivo propuesto)
• Coherencia (coherencia de la intervención)
• Homogenización (uniformidad de servicios)
• Transparencia (acceso a información/decisiones)
• Rapidez en implementación
• Utilización (eficacia y efectividad de las intervenciones)
• Productividad (rentabilidad)
• Desempeño (correcta ejecución de actividades)

Operacionalización: Indicadores (Continuación)

• Formulación
• Los indicadores deben ser redactados como condiciones lógicas.
• Deben ser medibles, observables, registrables.
• Ejemplo: Disminución del consumo de marihuana entre los escolares (incremento de percepción del riesgo).

Operacionalización: Rúbricas

• Una rúbrica es una herramienta que describe un desempeño en varios niveles.
• Existen rúbricas de gradiente (valor absoluto) y de ranking (valor relativo). Ejemplos de rúbricas: ejemplos de rúbrica para evaluar el desempeño de los estudiantes.

Elección de Métodos y Técnicas

• Naturaleza de la información (cuantitativa, cualitativa).
• Métodos combinados, incluyendo tipos de combinación.
• Tiempo y recursos.
• Credibilidad y confianza.
• Técnicas (documentos, observación, encuestas, cuestionarios, entrevistas).

Relación de Técnicas

• Ejes de clasificación (primarias vs. secundarias, cualitativo vs. cuantitativo, estructurado vs. no estructurado).
• Técnicas usuales (encuesta, observación, entrevistas, grupos de discusión, historia de vida, análisis documental).
• Fuentes primarias y secundarias.
• Enfoque cuantitativo/cualitativo
• Técnicas estructuradas/semiestructuradas/abiertas

El Análisis en Evaluación

• Cuatro niveles de análisis en evaluación: hallazgos empíricos, interpretaciones, juicios y recomendaciones. (adaptado de Patton, 1986).

El Análisis: Las Recomendaciones

• Importancia de las recomendaciones.
• Vínculo formal entre evaluación y uso.
• Secuencia lógica y sistemática de los análisis previos.
• Elementos a considerar en las recomendaciones (quienes participan, realismo, tiempo para la elaboración, Categorización y clasificación, costes).

El Informe y la Comunicación sobre la Evaluación/Meta-Evaluación

• Informes de evaluación deben ser claros y comprensibles.
• Necesidad de comunicación oportuna para distintas audiencias.
• Normas de responsabilidad en las evaluaciones.
• Documentación completa de los procedimientos.

Comunicación y Difusión de la Evaluación (Informe)

• Objetivo: facilitar el uso de los resultados de la evaluación por parte de los decisores.
• Importancia de la comunicación y difusión (utilidad, debate, transparencia, rendición de cuentas).

Uso e Influencia de la Evaluación

• Cuatro tipos de uso: instrumental, conceptual, persuasivo e influencia en otras instituciones.
• Evaluación para tomar decisiones, cambiar la comprensión del programa.
• Influencia en otros contextos y agenda política.

Del Uso a la Influencia

• El uso de las evaluaciones debe ser responsable y adaptar a la posible influencia.
• Distintos usos (instrumental, conceptual, simbólico).
• El impacto de la evaluación puede influir en el cambio a nivel individual, interpersonal, colectivo.