Evaluación 2024 PDF - Políticas Públicas

POLÍTICAS PÚBLICAS Tema 5 Evaluación: Concepto, funciones y características específicas de la evaluación. Pasos a seguir María Bustelo Universidad Complutense 1.Qué es la evaluación  Recoger y analizar sistemáticame...

POLÍTICAS PÚBLICAS Tema 5 Evaluación: Concepto, funciones y características específicas de la evaluación. Pasos a seguir María Bustelo Universidad Complutense 1.Qué es la evaluación  Recoger y analizar sistemáticamente una información que nos permita determinar el valor o mérito de algo (Stufflebeam y Shinkfield, 1987)  Se evalúa mérito, pero además valor y significado (importancia), lo que significa que no hay criterios universales e iguales para todos y que los indicadores deben estar al servicio de las preguntas y no al contrario  Evaluar es fijar el valor de una cosa; para hacerlo se requiere de un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado (Franco, 1971) 1.Qué es la evaluación (2)  La evaluación como un proceso que se basa en métodos de investigación para recoger información sobre cómo el programa o política funciona y si es o no efectivo (Definición estrecha; Schwandt, 2015)  La evaluación como una forma de pensamiento crítico que utiliza metodologías específicas de evaluación para juzgar algo (Definición amplia; Schwandt, 2015) 1.Qué es la evaluación (3)  La evaluación es sistemática  La evaluación valora o juzga de alguna manera algo  La evaluación es política  Donna Podems (2019) Being an evaluator. Nueva York: Guildford Press 2. Las funciones de la evaluación  La retroalimentación o mejora (improvement)  El control de responsabilidades y el rendición de cuentas (accountability)  Ilustración para acciones futuras (enlightenment) Adaptado de (Stufflebeam y Shinkfield, 1987) 5. Características específicas: 5.1.El carácter político y la importancia del contexto Esto implica:  Las políticas y programas  Capacidad de respuesta que se evalúan son resultado de decisiones  Sensibilidad social y política políticas  Credibilidad y aceptación  La evaluación se hace para (participación) alimentar el proceso de  Temporalidad toma de decisiones  Flexibilidad  La evaluación en sí misma,  Realismo por su misma naturaleza, adopta una postura política Adaptado de Carol H. Weiss (1987) 5. Características específicas: 5.2.El carácter valorativo y el enjuiciamiento sistemático Implica su consideración como elemento sistemático en el proceso de evaluación Los 4 niveles de análisis  HALLAZGOS empíricos, ✓ Siguiendo la secuencia lógica hechos, datos e información que se recoge de los cuatro niveles del análisis  INTERPRETACIONES: explicaciones sobre los hechos y ✓ Proporcionando y datos clarificando una base lógica  JUICIOS: valoraciones acerca de que justifique las perspectivas los hallazgos y sus de valoración utilizadas para interpretaciones interpretar y valorar los  RECOMENDACIONES: resultados sugerencias sobre posibles líneas de acción Adaptado de Patton (1986) 5. Características específicas: 5.3.El carácter práctico y aplicado. El uso y la utilidad (1) Esto implica La evaluación ha de ser, ante todo, ✓ Tener en cuenta el contexto útil y práctica. específico Útil, porque la información que ✓ Identificar e implicar a nos ofrezca debe ser una stakeholders desde el diseño pertinente y fácilmente aplicable ✓ Ajustar los informes a los y utilizable. destinatarios, usando una Práctica, porque debe estar variedad de formatos orientada hacia la acción. ✓ Presentar los resultados a Si no se utiliza la información, los tiempo esfuerzos y energías empleados no merecerán la pena. 6. Pensamiento evaluativo  Es pensamiento crítico aplicado al contexto de evaluación, que está motivado por una actitud de curiosidad y de creencia en el valor de la evidencia, que implica:  1. Identificar asunciones y supuestos  2. Hacer preguntas razonadas  3. Perseguir una comprensión profunda a través de la reflexión y la toma de perspectivas múltiples  4. Ofrecer decisiones informadas en preparación para la acción Buckley, Archibald, Hargraves & Trochim, 2015 6. Lo que no es evaluación La evaluación de programas no es:  Investigación  Seguimiento o monitoreo  Observatorio  Evaluación del rendimiento del alumnado  Evaluación diagnóstica  Memoria 1.La evaluación paso a paso 1. Motivación para evaluar: diagnóstico del contexto y de la situación evaluativa 2. Delimitación conocimiento de lo que se quiere evaluar: unidad de evaluación y tipos de evaluación a realizar 3. Identificación de stakeholders y el diagnóstico de sus necesidades informativas. 4. Definición de criterios y preguntas de evaluación. Operacionalización en aspectos o indicadores 5. La elección de métodos y técnicas de recopilación de información 6. Análisis, interpretación, enjuiciamiento y recomendaciones 7. La comunicación y el uso de los resultados: el informe y su difusión  FASES DE LA EVALUACIÓN 1. MOTIVACIÓN PARA EVALUAR, ENCARGO 2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DE CONTEXTO 3. ELECCIÓN APROXIMACIÓN EVALUATIVA 4. OPERACIONALIZACIÓN: 5. BÚSQUEDA DE FUENTES Y 6. DISEÑO METODOLÓGICO PREGUNTAS, INDICADORES O DISEÑO DE TÉCNICAS SISTEMAS DE MEDIDA 7. TRABAJO DE CAMPO 8. ANÁLISIS DE DATOS 9. INTERPRETACIONES 10. JUICIOS 11. RECOMENDACIONES 12. COMUNICACIÓN DE RESULTADOS 2. El diagnóstico del contexto y la situación evaluativa  El contexto político y la necesidad de responder ante el mismo: capacidad de respuesta  Variables situacionales (Patton)  Variables situacionales de Patton (1) 1. Número de responsables a tratar. 2. Historia del programa (corta-larga) 3. Actitud de los profesionales que trabajan en el programa (staff) ante la evaluación (entusiasmo-resistencia). 4. Conocimientos de evaluación de dichos profesionales. 5. Patrones de interacción (dirección-trabajadores-beneficiarios o clientes) en el programa (cooperación-conflicto). 6. Historia evaluativa del programa. 7. Nivel educativo y cultural de los profesionales y beneficiarios. 8. Homogeneidad-heterogeneidad de profesionales y beneficiarios. 9. Localización del programa (única o múltiple).  Variables situacionales de Patton (2) 10.- Recursos para la evaluación. 11.- Número de fuentes de financiación. 12.- Naturaleza del programa: si es simple (ej: programa para dejar de fumar) o multidimensional (ej: programa para la prevención de la droga). 13.- Tipo de actuaciones o tratamiento (estables para el mismo grupo durante un tiempo, individuales o grupales, etc.) 14.- Estructura en la toma de decisiones en el programa (vertical-horizontal). 15.- Claridad-ambigüedad sobre el fin y la función de la evaluación. 16.- Datos existentes sobre el programa. 17.- Énfasis en la evaluación (voluntaria, impuesta). 18.- Tiempo disponible para la evaluación (mucho o poco, tiempo límite flexible o cerrado). 3. El objeto y la unidad de evaluación  ¿Qué se quiere evaluar y cuál es la unidad de evaluación?  Para conocerlo: teoría del programa, análisis de marcos  Delimitación y alcance temporal El objeto de evaluación ¿En qué se ‘cristaliza’ una política pública?  Planes  Programas  Proyectos  Medidas  Servicios  Otros: estrategias, campañas, etc. 17 4. Identificación de stakeholders  ¿Quiénes son y qué papel cumplen en el programa?  ¿Cuáles son sus preocupaciones y necesidades informativas?  ¿Cuál es el papel del evaluador?  STAKEHOLDERS, CONDICIONES Y NECESIDADES INFORMATIVAS Stakeholders Se puede entender por stakeholders , aquellos actores sociales que resultan afectados o afectan al programa, política o servicio que se quiere evaluar. Se podría traducir el término como agente crítico, actor social o actor implicado. El segundo paso para lograr una mayor optimización del uso de la evaluación es saber cómo se debe diseñar la evaluación para que se ajuste a las necesidades informativas de los diversos actores implicados. Diversidad de actores con diferentes intereses informativos. Hay diversos agentes implicados en el programa o en una organización en diferentes situaciones y posicionamientos. El resultado es una multiplicidad de actores con intereses legítimos en la evaluación que pueden tener diferentes inquietudes en cuanto al programa o al servicio y por supuesto también hacia su evaluación. Necesidad Informativa Es el requerimiento de información que le hace a la evaluación un determinado “actor social” o stakeholder. Esta petición de información no siempre es explicita y no tiene por qué estar estructurada. Eso no quiere decir que no exista la demanda o que el interlocutor no sepa lo que se quiere saber. En cualquier caso, no se debe olvidar que puede haber otras necesidades informativas legítimas y “deseadas” que no se han llegado a verbalizar. En síntesis, lo que se pretende es identificar qué es lo que se quiere saber o qué es lo que se quiere evaluar con relación al programa o al servicio.  AUDIENCIAS (extraídas de los grupos de stakeholders ): 1. Gente con autoridad y responsabilidad para tomar decisiones acerca del programa que está siendo evaluado. 2. Gente con autoridad y responsabilidad para la gestión y ejecución del programa. 3. Gente que son beneficiarios directos declarados, así como el público en general. 4. Diapositiva de Jennifer Greene, La articulación metodológica en evaluación 5. FASES PARA EL DISEÑO DE CRITERIOS DE EVALUACIÓN  1. Identificación de fuentes y actores clave  2 Extracción de las necesidades informativas  a) Fase divergente  b) Fase convergente  3. Operacionalización  a) Trabajo vertical. Definición de los criterios y preguntas  b) Trabajo horizontal. Definición de indicadores y fuentes   OPERACIONALIZACIÓN Dimensiones, criterios, necesidades de actores, aspectos de cambio,… Preguntas Aspectos que Indicadores Técnicas o fuentes definen la pregunta de recogida de (opcional) información 1, Definición de 2, Indicadores para cada pregunta. preguntas. 3, Fuentes o técnicas.  Criterios y preguntas de evaluación  Definen qué queremos evaluar  Proporcionan y clarifican una base lógica que justifica las perspectivas de valoración utilizadas para interpretar y valorar los resultados  Fuentes para establecer criterios: contexto evaluativo y propósitos de la evaluación, estado de la cuestión, programa o política (teoría del programa, documentos y objetivos), preocupaciones de los stakeholders,…  PREGUNTAS/CRITERIOS EVALUACIÓN Las preguntas son requerimientos de información que implican una valoración sobre la intervención o sus efectos. Por ejemplo: - ¿Se ha conseguido que los jóvenes adquieran los conocimientos? - ¿La metodología docente es adecuada? - ¿Los docentes están suficientemente cualificados? Es conveniente tener en cuenta: Las preguntas deben implicar una valoración y no una mera indagación sobre algún aspecto del objeto. Las preguntas tienen que estar dirigidas al programa (o a su relación con las necesidades sociales) y no a sucesos o dinámicas sociales ya que esto sería otro objeto de estudio más propio de la investigación. No deben ser indicadores, deben dejar claro las cuestiones que se quieren evaluar indistintamente de que especifique o no cómo se van a medir.  Ponerse de acuerdo sobre el valor de las palabras Sean cuales fueran los criterios que se vayan a utilizar en la evaluación y por muchas definiciones que existan de cada uno, lo más importante es que todos los actores implicados con la evaluación se pongan de acuerdo y conozcan el significado de cada uno de ellos. Aunque sean criterios muy conocidos siempre es conveniente incluir una definición de cómo se están utilizando en el análisis. CRITERIOS CAD (OCDE) Revisados Pertinencia Coherencia- (nuevo) Eficacia Eficiencia Impacto Sostenibilidad  Criterios y preguntas de evaluación Bases de valoración. Adaptación de Stufflebeam y Shinkfield (1987)  1. Respuesta a las diferentes expectativas de la ciudadanía y la clientela.  2. El mérito o excelencias del servicio, programa o política en cuestión: ¿hace bien lo que se supone que debe hacer?  3. Hasta qué punto el servicio, política o programa es necesario o adecuado a la comunidad a la que se dirige, es decir si tiene validez.  4. Hasta qué punto es viable, ya que es posible que consuma más recursos de los que necesite o cause infinidad de problemas políticos.  5. Equidad. ¿El servicio, programa o política pública es asequible para todos/as? ¿Hay participación equitativa en la utilización de los servicios? ¿Los resultados son similares en la mejora del bienestar de todos los grupos sociales?  OTROS CRITERIOS DE VALOR  Cobertura: hasta qué punto un programa llega a la población beneficiaria del mismo. (Alvira 1991; Ligero 2001)  Visibilidad: El proyecto es conocido por los diferentes agentes implicados y por la población beneficiaria y se identifica a sus financiadores.  Equidad / igualdad: Se distribuyen por igual o en proporción a los más necesitados los productos y los efectos del programa.  Participación: Establece el juicio sobre si el programa ha sido promovido, diseñado, ejecutado y evaluado con el protagonismo real del grupo de beneficiarios.  Ética. Indistintamente de las consideraciones legales o prácticas, este criterio define tanto si el programa como su ejecución han sido desarrollados de acuerdos a principios éticos. Hay que considerar que estos principios pueden variar según los agentes implicados.  Satisfacción del cliente /expectativas del cliente (beneficiario): Establece la satisfacción del cliente o el beneficiario como un valor de juicio sobre el programa o el servicio.  Esfuerzo: Valoración de lo que se hace y no del producto. Indica que por lo menos se está haciendo algo para solucionar el problema.  Suficiencia del trabajo: El trabajo coincide con las necesidades expuestas.  Coherencia: La intervención se ajusta a la lógica y a un marco teórico que lo sustente.  Homogeneización: Todos los servicios se prestan de igual forma en todas las áreas o lugares del programa, plan o política.  Trazabilidad: Se identifica claramente la secuencia de una persona, objeto o unidad en su transcurso por los diferentes procesos y actividades de la intervención.  Transparencia: Todas las decisiones y acciones del programa son públicas y de libre acceso para los agentes implicados.  Rapidez: La intervención llega con rapidez a cubrir las necesidades  Utilización: “Es el uso efectivo que se hace de un recurso que se encuentra disponible (…)Cohen y Franco: 100)”Coeficiente de utilización = recursos efectivamente utilizados / recursos disponibles (Pabón Lasso, 1985).  Productividad: Es un concepto similar a la eficiencia. Mide la relación entre los insumos y el producto.  Desempeño: Analiza si las actividades se han realizado correctamente.  …… OPERACIONALIZACIÓN INDICADORES  INDICADOR Las preguntas de evaluación (criterios o subcriterios) no tienen por qué atender al hecho de que puedan ser medidos o no. El indicador, en cambio, es el recurso que permite medir el concepto definido, por lo general a través de aproximaciones. Mientras las preguntas se tienen que encargar de representar lo más completamente posible las necesidades de los actores sociales o de las diversas aproximaciones evaluativas, el indicador debe ser una variable medible, observable y registrable que aporte una información que presumiblemente conteste a las preguntas. Los indicadores, por tanto, buscan acercarse lo más posible al concepto o al criterio a medir, aunque frecuentemente tienen que conformarse con reflejar la realidad de fenómenos paralelos, similares o parciales del concepto buscado, aportando a la evaluación solamente una aproximación a la información buscada. Por eso, los indicadores siempre deben estar al servicio de las preguntas de evaluación, y no al contrario  FORMULACIÓN Los indicadores deben ser redactados como condiciones lógicas que si se cumplen contestan a la pregunta de evaluación. Se fija un estado, un punto o una condición a partir del cual se puede contestar afirmativa o negativamente a la pregunta formulada. En el caso del consumo de cannabis la redacción del indicador podría ser el que se indica en la tabla siguiente (Tabla 4): TABLA 4: Ejemplo de pregunta de evaluación e indicador Pregunta de evaluación Indicador Incremento con relación al semestre pasado de la Disminución del consumo de percepción del riesgo en el consumo de marihuana entre los escolares. marihuana/hachís. OPERACIONALIZACIÓN RÚBRICAS  RÚBRICAS Una rúbrica es una herramienta que da una descripción evaluativa de lo que la calidad o desempeño de algo “`parece” a dos o más niveles. Una rúbrica de gradiente se utiliza para determinar el valor o calidad absoluta, mientras que una rúbrica de ranking se usa para valores y calidades en términos relativos. Jane Davidson (2005) Evaluation Methodology Basics. Thousand Oaks: Sage Ejemplos de RÚBRICAS (evaluación alumnado; relativo) https://www.educaciontrespuntocero.com/noticias/evaluar-con-rubricas/ 6.La elección de métodos y técnicas  Naturaleza de la información: cuantitativa, cualitativa  Métodos combinados: ¿tipo de combinación?  Tiempo y recursos disponibles  Credibilidad y comanditarios de la evaluación  Técnicas básicas: recopilación documental, observación, encuesta y cuestionario, entrevista  Relación de técnicas 1. Ejes de clasificación  Fuentes primarias – fuentes secundarias.  Cualitativo – Cuantitativo.  Estructurada – no estructurada. 2. Listado de técnicas más usuales  Encuesta.  Observación.  Entrevistas.  Grupos de discusión.  Historia de vida.  Análisis documental y fuentes secundarias ( puede ser cualquiera de las expuestas anteriormente)  Eje: Fuentes primarias/secundarias Análisis fuentes primarias Se entiende cualquier tipo de indagación en la que el investigador analiza la información que él mismo obtiene, mediante la aplicación de una o varias técnicas de obtención de datos (cuestionario, guión de entrevista, observación)(Cea D’ Ancona, 1996). Análisis fuentes secundarias Es una indagación que utiliza el análisis de datos recabados por otras personas investigadoras (con anterioridad al momento de la investigación).  Eje: cuantitativo/cualitativo El enfoque cuantitativo se refiere a las técnicas que operan cuantificando, es decir, los datos se expresan en números y se tratan mediante un análisis agregado. Esta visión trabaja con la realidad social a través de variables, que permiten el tratamiento de la información a través de procedimientos estadísticos. El enfoque cualitativo analiza categorías, valoraciones, motivaciones, estructuras y disposiciones de personas y grupos sociales ante una realidad social dada, en lo que también se ha denominado perspectiva estructural (ver Ibáñez, 1994).  Eje: estructurado/abierto Técnicas estructuradas. El término “estructurado” hace referencia a un listado de preguntas ( o ítems), ordenados y redactados por igual para todos los entrevistados y con respuestas cerradas (Vallés, 1997). Técnicas semiestructuradas. Igual que en la anterior categoría, la técnica se aborda con preguntas definidas a priori, pero se deja que libremente se articulen respuestas, discursos y observaciones en un orden no predeterminado. Técnicas abiertas. Sobre un tema a indagar, se deja que sean las personas informantes quienes estructuren la información tanto por los contenidos que se tratan, como en la importancia, priorización, argumentación y disposición de la información.  7. El análisis en evaluación Los 4 niveles de análisis  HALLAZGOS empíricos, hechos, datos e información que se recoge  INTERPRETACIONES: explicaciones sobre los hechos y datos  JUICIOS: valoraciones acerca de los hallazgos y sus interpretaciones  RECOMENDACIONES: sugerencias sobre posibles líneas de acción Adaptado de Patton (1986) El análisis: las recomendaciones La importancia de las Hay que tener en cuenta recomendaciones ✓ Quiénes participan en Son “el vínculo formal su elaboración entre una evaluación y su uso” (Torres, Preskill y ✓ Que sean realistas y Piontek, 1996) posibles Las recomendaciones ✓ Tiempo para su deben también seguir la elaboración secuencia lógica y sistemática de los niveles ✓ Categorizarlas y de análisis anteriores clasificarlas ✓ Calcular los costes... 8. El informe y la comunicación sobre la propia evaluación/meta-evaluación The Joint Committe on Standards for Educational Evaluation 1994 2011  Comunicación y difusión de la evaluación (informe) El proceso de evaluación no termina con el Informe, el equipo evaluador tiene responsabilidad en las tareas de comunicación, difusión y seguimiento del Informe. ❑ Comunicación: Objetivo: presentar resultados de la evaluación mediante procedimientos orientados a promover su uso por los decisores públicos, el aprendizaje organizativo y el desarrollo de una cultura de evaluación. ❑ ¿Por qué es importante la comunicación y difusión del Informe? - Refuerza su utilidad como herramienta para la toma de decisiones de los decisores/gestores - Genera debate social sobre el problema y el tipo de intervención - Cumple con su papel de ser herramienta de transparencia, rendición de cuentas sobre el uso de los recursos públicos  9. Uso e influencia de la evaluación. Diferentes formas de uso Los cuatro tipos de uso de la evaluación (Weiss, 1998)  Uso instrumental: se usan los resultados para tomar decisiones.  Uso conceptual: se utiliza la evaluación para cambiar la comprensión de lo que el programa o política es, hace o pretende.  Uso persuasivo: la evaluación sirve para movilizar apoyos para conseguir cambios necesitados en el programa.  Influencia en otras instituciones y eventos, más allá del programa o política evaluada. Las conclusiones de una evaluación pueden influir en las redes de política (policy networks) y en los profesionales, alterar paradigmas de política, y producir cambios en la agenda política.  Del uso a la infuencia Joint Committe 3rd ed. 2011 Distinción entre uso e influencia (Henry & Mark, 2003) Uso instrumental, conceptual, simbólico (no llega conceptualmente a los procesos de cambio ni de mejora social) Influencia va más allá del uso  Influencia a nivel individual  Influencia a nivel interpersonal  Influencia a nivel colectivo