Manual de Formulación, Evaluación y Monitoreo de Proyectos Sociales - Cohen y Martínez PDF

MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 2 I. CONCEPTOS BASICOS 1.1 Programas y Proyectos Sociales Un proyecto social es la unidad mínima de asignación de recursos, que a través de un conjunto integrado de procesos y actividades pretende transf...

MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 2 I. CONCEPTOS BASICOS 1.1 Programas y Proyectos Sociales Un proyecto social es la unidad mínima de asignación de recursos, que a través de un conjunto integrado de procesos y actividades pretende transformar una parcela de la realidad, disminuyendo o eliminando un déficit, o solucionando un problema. Un proyecto social debe cumplir las siguientes condiciones: ƒ Definir el, o los problemas sociales, que se persigue resolver (especificar cuantitativamente el problema antes de iniciar el proyecto). ƒ Tener objetivos de impacto claramente definidos (proyectos con objetivos imprecisos no pueden ser evaluados). ƒ Identificar a la población objetivo a la que está destinada el proyecto (la que teniendo las necesidades no puede satisfacerlas autónomamente vía el mercado). ƒ Especificar la localización espacial de los beneficiarios. ƒ Establecer una fecha de comienzo y otra de finalización. Los proyectos sociales producen y/o distribuyen bienes o servicios (productos), para satisfacer las necesidades de aquellos grupos que no poseen recursos para solventarlas autónomamente, con una caracterización y localización espacio-temporal precisa y acotada. Sus productos se entregan en forma gratuita o a un precio subsidiado. Un programa social es un conjunto de proyectos que persiguen los mismos objetivos, que pueden diferenciarse por trabajar con poblaciones diferentes y/o utilizar distintas estrategias de intervención. La política social es un conjunto de programas que pretenden alcanzar los mismos fines. Da las orientaciones sobre qué problemas sociales priorizar y define las principales vías y/o límites para la intervención que la política plantea. Los programas y proyectos sociales, se enmarcan en una política, de la que constituyen su traducción operacional, vía la asignación de recursos que permite su implementación. En la literatura tradicional se ha asumido que los proyectos se definen por la existencia de inversión, esto es, porque se asignan recursos para la adquisición de bienes de capital (terreno, construcciones, equipamiento). Los programas, alternativamente, supondrían sólo la utilización de recursos para gastos corrientes (por ejemplo, los sueldos y salarios que se requieren para la operación). Hoy existe acuerdo en que los proyectos no se definen por la presencia o ausencia de inversión, sino por ser una unidad organizada de gestión que busca solucionar un problema. Aun cuando la inversión sea inexistente o marginal, todo proyecto puede y debe ser evaluado. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 3 Cuadro 1.1.- Relación entre Política, Programas y Proyectos Sociales POLITICA SOCIAL PROGRAMA 1 PROGRAMA 2 PROYECTO 1.1 PROYECTO 1.2 PROYECTO 2.1 PROYECTO 2.2 Ejemplos: a) Política Fortalecimiento de la empleabilidad de los jóvenes de bajos recursos mediante inversión en capital humano. Programa Programa Nacional de Capacitación Juvenil. Proyectos * Capacitación en manipulación de alimentos para jóvenes de escasos recursos del sector rural de la región sur. * Capacitación en contabilidad para egresados de Enseñanza Media de la región metropolitana. b) Política Satisfacción de las necesidades alimentario-nutricionales de los sectores poblacionales que están por debajo de la línea de pobreza. Programas - Programa Nacional de Comedores Escolares - Programa Nacional de Complementación Alimentaria - Programa Materno Infantil Proyectos * Comedor de la Escuela San Alfonso (dentro del Programa Nacional de Comedores Escolares) * Proyecto de distribución de alimentos y educación alimentaria para madres y lactantes del consultorio San José. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 4 1.2 Problema social y objetivos Los problemas sociales se definen como carencias o déficits existentes en un grupo poblacional determinado. Constituyen una brecha entre lo deseado (por la sociedad) y la realidad. Son situaciones observables empíricamente que requieren de análisis científico- técnico. No se pueden, por tanto, fundamentar en meras suposiciones o creencias. Los valores que alcanzan los indicadores de la "variable problema" al momento de su identificación es la Línea de Base (LB) del proyecto. Es deseable que la identificación y caracterización técnica de los problemas sociales sean equivalentes a las demandas efectivas de la población. Sin embargo, ello no siempre ocurre, lo que debe llevar al análisis y discusión, de modo de alcanzar una comunidad de intereses que limite los riesgos y aumente la probabilidad de éxito del proyecto. No se debe confundir un problema social con la ausencia de cobertura o falta de entrega de un servicio específico. Esta podría ser una causa importante en la generación de un problema social (que se refiere a la calidad de la oferta) pero no es el problema en sí. Circunscribir el problema social a la gestión, calidad o cantidad de la oferta existente limita el campo de intervención y la posibilidad de alcanzar los objetivos perseguidos. Ejemplos: Problema mal formulado Problema social bien formulado Baja cobertura de los servicios de Alta incidencia de morbilidad y atención primaria de salud para la mortalidad infantil de la población El población materno infantil de El Cabildo. Cabildo. Poca cantidad de escuelas en la Bajo nivel educacional de la región norte. población en edad escolar de la región norte. Insuficiente oferta de servicios de Altos niveles de desempleo y capacitación para el empleo de jóvenes del subempleo en la población juvenil del sector rural. sector rural. En una misma población, los problemas sociales pueden ser muchos y de diversa índole, frecuentemente asociados a la situación de pobreza.1 También se los puede identificar por su asociación con segmentos particulares de la población.2 1 Entre ellos se pueden distinguir sectores o temas específicos, vinculados a: Salud: morbilidad, mortalidad, epidemias, pandemias, malnutrición, daño, discapacidad, calidad de vida, etc.; Educación: analfabetización, baja escolaridad, repitencia, deserción, ausentismo, etc.; Vivienda: hacinamiento, allegados, mala calidad de viviendas, etc.; Empleo: desempleo, bajos ingresos, falta de seguridad social, informalidad, productividad, etc.; Violencia; Delicuencia; Drogadicción. 2 Por ejemplo: Juventud: mala inserción social, frustración, drogas, alcoholismo, prostitución, embarazo precoz, etc.; Tercera edad: calidad de vida, recreación, salud mental, etc.; Género: baja participación, derechos, inserción social y laboral, maternidad, etc.; Familia: violencia, desestructuración, divorcio, paternidad y maternidad, etc.; Ruralidad: trabajo, productividad, migración, etc.; Mundo urbano: contaminación, estrés, consumismo, recreación, transporte, etc.  MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 5 La clara identificación y medición del o los problemas permiten conocer la magnitud de la brecha y plantear los objetivos que procuran disminuirla o eliminarla. Por tanto, se los define como estados positivos a alcanzar3. Los extremos polares de un proyecto social pueden ser definidos como una «situación actual» en la que aparece tal problema y una «situación deseada» en la que el mismo ha sido eliminado o ha disminuido como resultado que la intervención o proyecto representa. En una primera instancia, los proyectos sociales definen un gran objetivo general, que marca el camino para solucionar el o los problemas priorizados, que, posteriormente, se especifica en la etapa de formulación. 1.3 Impacto El impacto de un proyecto o programa social es la magnitud cuantitativa del cambio en el problema de la población objetivo como resultado de la entrega de productos (bienes o servicios) a la misma. Se mide comparando la situación inicial (LB), con una situación posterior (Línea de comparación = LC), eliminando la incidencia de factores externos. El éxito de un proyecto es la medida de su impacto en función de los objetivos perseguidos. Es por tanto, la justificación última de su implementación. El impacto se asocia directamente al problema social que dio origen al proyecto (disminución de la morbilidad, malnutrición, analfabetismo, desempleo, mayor escolaridad, etc.). En los proyectos productivos, el impacto es su beneficio económico. La magnitud del impacto logrado no necesariamente es una función lineal de la inversión realizada en un proyecto. El incrementar la inversión no implica aumentar proporcionalmente el impacto del mismo. Incluso su relación puede ser inversa. Por ejemplo, si un proyecto nutricional no entrega la cantidad de alimentos requeridos por los beneficiarios, tomando en cuenta la distribución intrafamiliar de dichos bienes, puede tener un impacto igual a cero o negativo. Si no se aumenta la cantidad de calorías y proteínas por ración, y éstas no se distribuyen adecuadamente, puede incrementarse de manera ilimitada la inversión produciendo impactos marginales o, incluso, perversos (aumento de la tasa de prevalencia de la desnutrición). 3 Para un análisis más preciso del proceso de definición y tipos de objetivos, ver capítulo II, Diagnóstico. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 6 Gráfica 1.3.- Ejemplos de posibles relaciones entre inversión e impacto Impacto Lineal Discreta Crecimiento Decreciente 0 Inversión Nula-Positiva- Negativa Asociada a la definición del impacto sobre los problemas sociales, es preciso considerar la equidad. Los programas y proyectos sociales no son equitativos por entregar iguales productos y servicios a una población con distintas características, sino por disminuir las brechas existentes entre distintos sectores poblacionales. Para incrementar el impacto y la equidad se deben entregar los productos en cantidades y calidades adecuadas según las necesidades de cada grupo. Es decir, que los individuos y grupos que tienen necesidades equivalentes, reciban bienes o servicios en igual cantidad y calidad (ejemplo: igual cantidad de subsidio de agua potable por cada familia NBI), pero que cuando existen diferencias en las necesidades, éstas se reflejen en los productos (ejemplo: mayor cantidad de materiales y refuerzo educativo para las escuelas pobres con mayores problemas de calidad educativa). Ambos conceptos son complementarios en la política social. El primero resalta el cambio que se produce en la población objetivo y el segundo destaca las diferencias entre distintas poblaciones. Es perfectamente factible utilizar los aumentos de equidad como medida de impacto. 1.4 El proceso productivo de la gestión de un proyecto social Todo programa social debe nacer a partir de un problema, cuya solución implica la definición de uno o más objetivos específicos de impacto. Su logro se persigue a través de la producción y distribución de productos. Los productos son los bienes y/o servicios que se entregan a los beneficiarios finales. Un proyecto puede entregar uno o varios productos, normalmente complementarios entre sí. Su selección y proceso productivo se definen en la evaluación ex-ante. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 7 La tecnología de producción utilizada condiciona los insumos requeridos. Estos, son los recursos de todo tipo (humanos, materiales, equipos y servicios) que se utilizan en el proyecto, los que pueden ser definidos en unidades físicas (cantidad y calificación del personal, metros cuadrados y calidad de la infraestructura, etc.) y son traducidos en unidades monetarias (costos del proyecto). Los procesos, se definen como la organización racional de los insumos para alcanzar un fin determinado. Se implementan a través de un conjunto de actividades, con procedimientos, normas y reglas, que permiten, en forma directa o indirecta, transformar los insumos en productos. La relación insumo producto, definida por la tecnología de producción utilizada, da cuenta de la combinación de cantidades y calidades de insumos que se requieren para obtener un determinado producto. En algunos casos, es necesario incluir los efectos (resultados o “outcomes”) entre los productos y el impacto. Estos permiten medir el grado de uso de los productos, observar las conductas que éstos generan en los beneficiarios y predecir la probabilidad de logro de las metas de impacto perseguidas. Su consideración es esencial cuando el producto entregado requiere un cambio de conducta en la población. Es también un estimador proxy del impacto, cuando sus indicadores son difíciles de observar directamente. Los efectos, por definición son una condición necesaria pero no suficiente para el logro del impacto. Diagrama 1.4 El proceso productivo de la gestión social Insumos + Procesos/Actividades = Productos Impactos Efectos Los pasos requeridos para generar y distribuir productos, son el componente interno del proyecto o programa y se enmarcan en la gestión del mismo. Los efectos e impactos constituyen el componente externo. Este se produce en la población objetivo, y su relación con los productos es una estimación que debe ser explicitada en la evaluación ex-ante y verificada durante la evaluación ex-post. Para que los productos generen los impactos esperados, es necesario tomar en cuenta su sustentabilidad y sostenibilidad. Un programa o proyecto social es sustentable en la medida que exista capacidad instalada (recursos físicos, humanos y financieros) para que los procesos requeridos sean adecuadamente implementados. Es sostenible cuando los impactos producidos perduran en el tiempo. Hay impactos que son sólo sostenibles durante la operación del programa o proyecto. Este es el caso de los subsidios al consumo de servicios básicos, como el agua potable o la electricidad, que ayudan a disminuir las NBI mientras están presentes, pero que al terminarse, puede volverse a la situación que originó el proyecto. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 8 Existen otras situaciones en las que el impacto alcanzado implica algo más permanente (el logro de una suerte de meseta). Aquí se inscriben casos tales como la conclusión de un nivel de calificación determinado o la vacuna contra la poliomielitis. 1.5 Población Objetivo La población objetivo es un subconjunto de la población total (población de referencia) a la que están destinados los productos del proyecto. Se la define normalmente por la pertenencia a un segmento socioeconómico (con NBI), grupo etario (menores de seis años), localización geográfica (zona rural) y carencia específica (desnutridos). A continuación se presenta la lógica de identificación de la población objetivo: Diagrama 1.5. Población Objetivo POBLACIÓN OBJETIVO POBLACIÓN (Menores de 2 años y mayores AFECTADA de 60, bajo la línea de pobreza) (Menores de 2 años y POBLACIÓN POBLACIÓN DE mayores de 60) POSTERGADA REFERENCIA (Menores de 2 años y mayores de 60, no pobres) (Población total del POBLACIÓN NO Municipio) AFECTADA (Mayores de 2 años y menores de 60) El gráfico muestra una secuencia en la que se parte de la población total de un territorio (municipio), donde se detecta quienes son los afectados potenciales por un problema (la población con mayor probabilidad de contagio de la influenza (menores de 2 años y mayores de 60). Entre estos se selecciona un subconjunto que recibirá los servicios (las personas de menores recursos, que se vacunan gratuitamente). Se posterga a la población que puede resolver su problema autónomamente comprando la vacuna en cualquier farmacia. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 9 1.5.1 Cobertura Es la razón existente entre la cantidad de personas atendidas y el tamaño de la población objetivo. Cantidad de personas atendidas Cobertura = * 100 Tamaño de la población objetivo Cuando no se diferencia en la población beneficiaria los que integran (o no) a la población objetivo, se obtiene la cobertura bruta. Cuando sólo se considera a los beneficiarios que forman parte de ésta, se tiene la cobertura neta. Esta última puede alcanzar valores que fluctúan entre 0 y 100 %; la cobertura bruta podría sobrepasar este límite, si la oferta fuese más grande que la población objetivo.4 POA + PNOA Cobertura = * 100 POP POA Cobertura = * 100 POP POA = Población Objetivo Atendida (los que tienen la necesidad y reciben los productos) PNOA = Población No Objetivo Atendida (los que no tienen la necesidad pero reciben los productos) POP = Población Objetivo Programada (la población que tiene la necesidad y es la destinataria del programa) 1.5.2 Focalización Criterios que permiten identificar a la población objetivo para que sean ellos (y no otros) los que reciban los beneficios del programa. Requiere conocer características relevantes en función de los objetivos de impacto perseguidos, para que el proyecto se adecue a sus necesidades específicas. Focalizar, entonces, implica generar una oferta de productos (bienes y/o servicios) orientada a la población objetivo. Una oferta homogénea suele no ser adecuada para quienes tienen mayores necesidades insatisfechas, debido a barreras culturales, analfabetismo y carencia de información. Se debe focalizar porque los recursos disponibles son limitados (para satisfacer las necesidades existentes y hay crecientes necesidades insatisfechas. Por consiguiente, se debe aumentar la eficiencia para hacer más con menos. Pero también es fundamental incrementar el impacto, para lo que es imprescindible adecuar la oferta a las características específicas de la estructura de la demanda que tiene la población objetivo. 4 Para mayor información sobre los indicadores de cobertura, ver capítulo 6. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 10 En definitiva, para aumentar el impacto y la eficiencia de un proyecto social, debe existir un modelo de focalización que asegure la selección y acceso de la población objetivo definida para el mismo. Para ello se requiere elaborar criterios y diseñar procedimientos que, vía los indicadores identificados, posibiliten su implementación. En algunos casos las características de los bienes o servicios ofrecidos hace que algunos los demanden y otros se automarginen, como sucede con los proyectos de capacitación laboral de bajo nivel de especialización, a los que difícilmente asisten personas de nivel socioeconómico medio o alto (autofocalización). En otras situaciones, se requiere que, a partir de una caracterización de la población objetivo, se utilicen cuestionarios, entrevistas, observación, etc. que incluyan indicadores (edad, sexo, nivel socioeconómico, vivienda, empleo, etc.), que permitan focalizar adecuadamente a, por ejemplo, los potenciales beneficiarios de subsidios (agua, luz, vivienda, etc.). Hay dos situaciones en las que no es recomendable focalizar: a Cuando la probabilidad de impacto sobre el problema dependa de la incorporación de otros sectores como beneficiarios, aun cuando los productos distribuidos a cada uno sean diferenciados. Por ejemplo, no es factible detener la pandemia del SIDA si no se sensibiliza a toda la sociedad y se divulgan las formas de evitar el contagio. b Cuando hacerlo es más caro que distribuir los productos universalmente. Por ejemplo, la distribución de vacunas y/o medicamentos ante una epidemia. Para analizar los resultados de la focalización, se deben considerar cuatro posibles situaciones. Dos de ellas positivas, definidas como aciertos, y dos negativas, los errores. ⇒ Acierto de inclusión: entregar productos a quienes son integrantes de la población objetivo (las familias pobres reciben los beneficios de un subsidio para la vivienda social). ⇒ Acierto de exclusión: no entregar productos a quienes no forman parte de la población objetivo (no hay familias de clase media recibiendo el subsidio de vivienda social). ⇒ Error de inclusión: entregar productos a personas ajenas a la población objetivo (las familias de clase media acceden a subsidios de vivienda social). ⇒ Error de exclusión: no entregar productos a personas que forman parte de la población objetivo. (hay familias pobres que no tienen acceso al subsidio de vivienda social). Cuando sólo están presentes los aciertos, esto es, que ambos errores son iguales a “0”, la focalización es totalmente correcta. Entonces: cobertura bruta = cobertura neta = 100%.5 1.5.3 Tipos de beneficiarios Todos los proyectos sociales se formulan para los beneficiarios legítimos directos, la población objetivo que recibe los productos del proyecto (acierto de inclusión). Los beneficiarios directos son ilegítimos cuando no forman parte de la PO (error de inclusión). Los programas y proyectos sociales también producen impacto sobre otras personas. Estos son los beneficiarios indirectos. Estos son legítimos, cuando no se definen como 5 Para mayor información sobre los indicadores de focalización, ver capítulo 6. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 11 población objetivo, pero favorecerlos se compadece con el espíritu del proyecto. Es el caso de las familias de escolares beneficiarios de programas alimentarios, que reciben una transferencia equivalente al valor monetario de la alimentación entregada a sus hijos. Los beneficiarios indirectos ilegítimos son favorecidos por el proyecto a pesar de no ser destinatarios de los mismos y, al mismo tiempo atentan contra los objetivos redistributivos que este persigue. Por ejemplo, cuando el mercado inmobiliario se beneficia de una disminución de los precios de terrenos, generado por subsidios o asignaciones (vía reforma agraria, por ejemplo), en que los beneficiarios venden propiedades a menor valor que el de mercado, traspasando el beneficio recibido. También es el caso de las fallas de la burocracia, cuando sus agentes (intermediarios de los procesos de producción, distribución y/o administración) se orientan al logro de sus objetivos particulares a costa del impacto. 1.5.4. El rol de los beneficiarios en el proyecto Para maximizar el impacto potencia per cápita de un proyecto, es fundamental la participación de sus beneficiarios. La población objetivo conoce sus reales necesidades insatisfechas así como sus capacidades. Cuando éstas (necesidades y capacidades) son definidas externamente, pueden derivar en impactos menores a los potenciales y/o en costos mayores a los estrictamente necesarios. Existen múltiples pruebas en América Latina, Africa y Asia que la participación incrementa substancialmente tanto la eficiencia como el impacto de los programas y proyectos sociales. Esto es así por varias razones: 9 Permite que el diagnóstico exprese la estructura de las necesidades objetivas, priorizadas por la población destinataria. 9 Posibilita una formulación con alternativas de solución que optimicen las opciones tecnológicas combinándolas con las potencialidades de los recursos locales disponibles. 9 Hace que la evaluación, el monitoreo y el control de gestión se complementen con el control social, lo que aumenta la productividad global del proceso del proyecto. 'Proporciona a la gente un sentimiento de positiva propiedad sobre un proyecto a ellos destinado. La pregunta no es, entonces, si la participación es o no deseable, sino en qué realmente consiste y cómo debe ser implementada. La participación en su expresión más pasiva consiste en recibir la información que resulta relevante para un proceso decisorio. Pero se perfecciona en su forma activa cuando se traduce en incidir concretamente en las decisiones que se adopten. Por lo tanto, un proyecto es participativo, cuando su población objetivo es un actor central en la elaboración del diagnóstico, la priorización de las necesidades que se van a satisfacer, el análisis de las opciones técnicamente viables para lograr los objetivos de impacto perseguidos, el monitoreo, el control de gestión y la evaluación ex-post. Se deben priorizar las relaciones horizontales entre los ejecutores y beneficiarios del proyecto para viabilizar su participación. La frustración en la participación de estos últimos puede limitar los logros del mismo. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 12 1.6 Formulación, evaluación y monitoreo La formulación es la etapa centrada en el diseño de las alternativas del proyecto, es decir, las opciones técnicamente viables para alcanzar los objetivos de impacto perseguidos o, complementariamente, para solucionar el problema que le dio origen. Las alternativas surgen de la teoría disponible, de la experiencia de los especialistas en el área y de las evaluaciones ex-post llevadas a cabo en proyectos análogos. La evaluación permite tomar decisiones a través de la comparación de distintas alternativas. Tanto en la vida cotidiana como en los proyectos, en general, sean estos sociales o productivos, públicos o privados, se requiere de la evaluación para adoptar decisiones racionales. El significado de la evaluación difiere según la etapa del ciclo de vida del proyecto en la que se la utilice. Si es durante la formulación, proporciona los criterios de decisión para aceptar un proyecto específico u ordenar las alternativas consideradas en función de las relaciones existentes entre sus costos e impacto (o beneficio). Si se la aplica durante la operación o, inclusive, habiendo ésta concluido, permite determinar el grado de alcance de los objetivos perseguidos, así como el costo en que se ha incurrido. Así, formulación y evaluación son dos caras de una misma moneda. Un proyecto no se puede formular a menos que se sepa cómo se lo va a evaluar, porque sólo a partir de la metodología de la evaluación es posible determinar cuál es la información que se debe recoger para su formulación. Por otro lado, la evaluación ex-post (durante o después de la implementación del proyecto) permite reorientar la operación, adecuando el diseño realizado o adaptándola a las condiciones cambiantes del contexto. Asimismo posibilita aprender de la experiencia. La evaluación, entonces, sirve de marco de referencia para la formulación de un programa o proyecto, permitiendo medir los costos y el impacto (o los beneficios) del mismo, así como las relaciones existentes entre ambos. Existen dos tipos de evaluación según el momento que se realiza y el objetivo perseguido: a La evaluación ex-ante, que se realiza antes de la inversión y la operación. Ella permite estimar tanto los costos como el impacto (o beneficios) y así adoptar la decisión (cualitativa) de implementar o no el proyecto. A partir de ella resulta posible priorizar distintos proyectos e identificar la alternativa óptima para alcanzar los objetivos de impacto perseguidos. b La evaluación ex-post se lleva a cabo tanto en la etapa de operación como una vez finalizado el proyecto. Tiene dos funciones: i. una cualitativa, que permite decidir si debe continuarse o no con el proyecto - cuando se realiza durante la operación-, o establecer la conveniencia de formular otros proyectos similares -cuando se realiza después que éste ha terminado-. ii. otra cuantitativa, que surge en proyectos que se encuentran operando y posibilita tomar la decisión de si es necesario o no reprogramar. El monitoreo se relaciona directamente con la gestión administrativa y consiste en un examen continuo o periódico que se efectúa durante la implementación del proyecto, en las etapas de inversión y/u operación. Se realiza con el objeto de hacer un seguimiento del MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 13 desarrollo de las actividades programadas, medir los resultados de la gestión y optimizar sus procesos, a través del aprendizaje que resulta de los éxitos y fracasos detectados al comparar lo realizado con lo programado, algún estándar (promedio u óptimo) y/u otros programas o proyectos. El monitoreo se desarrolla en distintos niveles de la gestión, con el objeto de conocer sobre los insumos, actividades, procesos y productos, cuyos principales indicadores se relacionan con el tiempo, la cantidad, la calidad y el costo que tiene cada uno. Aun cuando la evaluación ex-post y el monitoreo se realizan durante la operación, el segundo se preocupa del análisis de los distintos componentes de la gestión interna (terminando en los productos), mientras que la evaluación ex-post centra su atención en la relación entre los productos y el logro de objetivos. En el monitoreo, el centro del análisis está en la eficacia, la eficiencia y la focalización (lo interno a la gestión del proyecto), en la evaluación ex-post se incorporan los efectos y el impacto (lo externo, en la población objetivo). La eficacia dice relación con el volumen de producción, la cantidad de productos que genera y distribuye el proyecto, en un período determinado. A mayor producción, mayor eficacia. La eficiencia relaciona el volumen de producción con los recursos utilizados para ello. La eficiencia incluye a la eficacia y la asocia a alguna unidad de recurso (dinero, horas/persona, horas/equipo, etc.). A menor costo de producción, mayor eficiencia6. 1.7 Metodologías de evaluación La evaluación compara información para la toma de decisiones. Requiere investigar, medir y comparar. Las diferencias teórico-metodológicas radican en los universos de análisis y las variables, indicadores e instrumentos de medición utilizados. Existe una tradición evaluativa que proviene del análisis económico y otra de la investigación social. Hay un continuo entre quienes ponen acento en los costos y los que lo hacen exclusivamente en el logro de los objetivos de impacto. Así, evaluar puede significar distintas cosas y tener distintos alcances. En el análisis de proyectos se pueden distinguir tres metodologías que buscan comparar los costos con el logro de objetivos de impacto. La forma de medir los costos es la misma, lo que varía es la medición del impacto. a Análisis Costo Beneficio (ACB): consiste en comparar los costos con los beneficios económicos del proyecto. Si éstos son mayores que los costos, existe una primera indicación de que el proyecto debería ser, en principio, aprobado. Un requisito básico es que los costos y beneficios sean expresados en unidades monetarias, por lo tanto, es una metodología adecuada para el análisis de proyectos que tienen fines productivos. En el caso de los proyectos sociales, los beneficios difícilmente pueden expresarse en moneda, por lo que la utilización del ACB queda severamente limitada. Esta metodología se utiliza casi exclusivamente en la etapa ex-ante, para tomar una decisión respecto a la ejecución, rechazo o postergación de un proyecto. 6 Para mayor información de estos indicadores y su forma de cálculo, ver el capítulo VII. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 14 b Análisis del Costo Mínimo (ACM): compara los costos-monetarios (tanto en una evaluación ex-ante como ex-post), con el nivel de producción y distribución de los bienes y servicios que entrega el proyecto. El ACM deja de lado el análisis de los objetivos de impacto. Acepta que ellos derivan de una decisión política, y se dedica a asegurar que los mismos sean alcanzados incurriendo en los costos mínimos. Se limita a garantizar la eficiencia, pero nada dice respecto al impacto del proyecto. Éste se presume igual en las distintas alternativas de intervención. c Análisis Costo-Impacto (ACI): compara, al igual que el ACM , los costos (monetarios) con el logro de los objetivos de impacto. El ACI, no se restringe a considerar la eficiencia sino que también su impacto determinando en qué medida el proyecto alcanzará (o ha alcanzado sus objetivos), qué cambio producirá (o ha producido) en la población destinataria y cuáles son sus efectos secundarios. El ACI se debe aplicar tanto en la evaluación ex-ante como en la ex-post. El siguiente cuadro muestra la relación entre las diferentes metodologías de evaluación. Cuadro 1.7 - Comparación entre ACB, AMC, ACI ACB AMC ACI Términos de Costos y Beneficios (expresados Costos Costos de producción e Comparación en unidades monetarias) impacto alcanzado Población considerada La sociedad en conjunto (sin La sociedad en su conjunto La población objetivo fijada importar quién asume los costos según los objetivos del y quién recibe los beneficios). proyecto Estado en que se Evaluación ex-ante Evaluación ex-ante Evaluaciones ex-ante y ex-post aplica Criterio de decisión Mayor valor en la relación entre Menor costo Menor valor en la relación beneficios y costos monetarios entre los costos y el impacto 1.8 El ciclo de vida del proyecto Para llevar adelante un proyecto se deben dar una serie de pasos. En los proyectos con inversión (en activos físicos) se destacan tres "estados" básicos: preinversión, inversión y operación. En el primero, se desarrollan las tareas de diagnóstico, formulación, evaluación ex- ante y programación, que se asocian al desarrollo de la idea del proyecto, el estudio del perfil, el análisis de prefactibilidad y el de factibilidad. En el segundo se reconocen las etapas de diseño y ejecución. El tercero, comienza con las actividades de producción y distribución de los bienes o servicios en la marcha blanca para continuar con la operación plena. En los proyectos que no requieren inversión, (como sucede frecuentemente con los proyectos sociales) se pasa directamente del análisis de factibilidad a la operación. Sin embargo, hay proyectos sociales en los que deben cumplirse todas las etapas del ciclo de vida del proyecto. Es el caso de la construcción de hospitales, escuelas, viviendas, etc. A continuación se desarrolla brevemente cada una de las etapas del ciclo del proyecto.  MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 15 Gráfica 1.8 - Etapas en el ciclo de un proyecto con inversión IDEA No ¿Continúa? Sí PERFIL No ¿Sigue? PREINVERSION Sí Espera PREFACTIBILIDAD ó No ¿Aprueba? Sí FACTIBILIDAD No Sí, operar ¿Aprueba? Sí, invertir DISEÑO INVERSION EJECUCIÓN MARCHA BLANCA OPERACION OPERACION PLENA MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 16 1.8.1 El estado de preinversión La preinversión se divide en etapas con el objeto de minimizar el costo de los estudios que cada una de ellas requiere. Al final de cada una se plantean tres opciones: ⇒ Abandonar, si las relaciones existentes entre los costos y los objetivos perseguidos es claramente insatisfactoria; ⇒ Postergar, si el proyecto es atractivo pero no existen los recursos necesarios para llevarlo a cabo; ⇒ Continuar, cuando las relaciones entre las variables centrales que proporciona la metodología son satisfactorias y, al mismo tiempo, existen los recursos requeridos para implementarlo. A medida que se avanza en las etapas, se obtiene información mayor (en cantidad) y más confiable. Esto disminuye el riesgo de implementar un proyecto malo pero, al mismo tiempo, aumentan los costos del análisis. Disminuir la incertidumbre implica aumentar los costos, por lo tanto hay que realizar los estudios requeridos sólo cuando el tamaño del proyecto lo justifique. Mientras mayor es el volumen de recursos involucrados, habrá que realizar mayores y más profundos estudios antes de implementarlo. Si el proyecto es pequeño, se pueden eliminar las dos últimas etapas. Gráfico 1.8.1- Proceso de adquisición de certidumbre Etapas de la preinversión: costo vs. incertidumbre 100 90 80 70 60 50 40 30 20 10 0 a Inc Ide ert rfíl idu Pe Co mb id ad sto re il tib ad e fac ilid Pr c tib Fa MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 17 a) Idea En esta fase se inicia el proyecto. Incluye un diagnóstico preliminar que busca dar respuesta a un conjunto de preguntas que se profundizan en las fases posteriores. ƒ ¿Cuál o cuáles son los problemas que se pretende(n) resolver? ƒ ¿En qué medida se quiere resorverlos? ƒ ¿A quiénes está dirigido el proyecto? ¿cuál es su población objetivo? ƒ ¿Dónde está localizada la población objetivo? ƒ ¿Qué características tiene la oferta y demanda existente de los bienes y servicios que permiten solucionar el problema? ƒ ¿Cuales son las principales causas y consecuencias del problema central? ƒ ¿Cuáles son las áreas de intervención posibles? ƒ ¿Qué restricciones y/o potencialidades se deben considerar (actores o grupos relevantes, temporalidad, antecedentes geográficos, demográficos, socioeconómicos, socioculturales, legales, etc? ƒ ¿Cuáles son las fuentes de financiamiento y recursos existentes? Esta etapa se trabaja con la información disponible (de tipo secundaria) y entrevistas a informantes claves. A su finalización se requiere contar con una primera visión del o los problemas sociales que originaron el análisis, sus principales características y posibles formas de intervención, con el objeto de decidir si es aconsejable profundizar el análisis, en miras a su implementación, o si es preferible rechazar o postergar la idea. b) Perfil. En esta etapa se profundizan los antecedentes del diagnóstico. Se realiza una formulación preliminar de las alternativas implementación del proyecto y se analiza su viabilidad técnico-económica, con una primera estimación de los costos e impactos, comparando las alternativas "sin" proyecto, "con" proyecto y la que resulta de optimizar la situación de base. Esta etapa supone profundizar la información secundaria previamente recogida en capítulos tales como: oferta existente, demanda insatisfecha, localización espacial, aspectos técnicos vinculados a las opciones consideradas, productos y sus planes de producción, magnitud de la inversión, aspectos financieros, características de la gestión y organización requeridas para la ejecución y operación. Si a este nivel la evaluación es positiva se continúa con la fase siguiente. Dependiendo del tamaño de la inversión, se debe decidir se continuar con el estudio de prefactibilidad o pasar directamente a la inversión u operación del proyecto. Un resultado negativo implica rechazar el proyecto en forma temporal (postergación) o definitiva. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 18 c) Prefactibilidad En esta fase se realiza la evaluación ex-ante de las alternativas, considerando: i. El estudio del mercado, que incluye la demanda prevista para los bienes y/o servicios que entregará el proyecto y la oferta existente de los mismos. ii. El análisis de alternativas tecnológicas. iii. La localización y escala (tamaño), con las restricciones y condicionantes que pueden incidir sobre ellas. iv. La estimación de los costos e impactos durante la vida del proyecto. v. Los requerimientos organizacionales y condicionantes legales. Se debe tener en cuenta las leyes y reglamentos restrictivos o promocionales que lo afectan directa o indirectamente. vi. El momento óptimo para comenzar el proyecto según los condicionamientos temporales existentes. Cuando hay inversión en activos físicos (terreno, construcción, equipamiento), pueden presentarse tres casos diferentes: ¾ que la inversión tenga una vida útil ilimitada y los resultados sean independientes del momento de iniciación; ¾ la misma situación anterior, pero con una inversión de vida útil limitada; ¾ que la inversión tenga una vida útil limitada y los resultados sean función del tiempo y del momento de concreción del proyecto. Los resultados obtenidos en esta fase deben ser sometidos a un análisis de sensibilidad, considerando los efectos producidos por cambios en las variables relevantes del proyecto. El informe permite escoger entre proseguir con el estudio de factibilidad, realizar un análisis complementario, o abandonar el proyecto de manera transitoria o permanente. d) Factibilidad En esta etapa se realiza la programación detallada de las actividades, organización y programa de desembolsos correspondientes a la alternativa seleccionada, para la obra física (tamaño y localización), el diseño y ejecución de la inversión, la puesta en marcha y operación plena del proyecto. Se requiere la elaboración de un mapa de procesos y actividades, el cronograma y ruta crítica, la estructura organizacional, los requerimientos de información, el diseño del plan de monitoreo y evaluación ex-post, un presupuesto detallado y el plan de financiamiento. Concluido este análisis el proyecto está completamente formulado y corresponde adoptar una decisión respecto a su puesta en marcha. Cuando un proyecto ha llegado hasta esta fase, a lo sumo puede sufrir modificaciones menores o postergar su inicio. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 19 1.8.2 La inversión Este estado se considera sólo en aquellos proyectos que requieren activos físicos para su operación. a) Diseño Marca el comienzo del proceso de inversión. Su aspecto central es el desarrollo de los detalles de la ejecución, considerando los requerimientos y especificaciones de arquitectura e ingeniería que exige la naturaleza de la obra. b) Ejecución Es el proceso de asignación de los insumos previstos para conseguir los resultados esperados en cada una de las fases de la obra, siguiendo el cronograma y el camino crítico elaborados en la factibilidad. 1.8.3 La operación En este estado es necesario distinguir dos fases: a. Puesta en marcha (marcha blanca) Se inicia con la formación de los equipos de trabajo, la compra de insumos y la operación programada según los procesos y actividades previstos, con el objeto de verificar su funcionamiento y, si es necesario, enmendarlos para la operación plena. En algunos casos se realiza una prueba piloto, en la que se implementa la programación a una escala menor. b. Operación plena Etapa en que se implementa el proceso de producción y distribución de productos en la escala y tiempos programados. 1.9 Pasos a seguir en la formulación y evaluación de proyectos Existen algunos pasos que son fundamentales en la formulación, evaluación y monitoreo de un proyecto social. Estos son: ⇒ Diagnóstico 1 Análisis de problemas sociales 2 Identificación del problema central 3 Elaboración de la línea de base 4 Definición de la población objetivo 5 Estudio de la oferta y la demanda MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALE 20 6 Análisis del contexto (geográfico, demográfico, socioeconómico, sociocultural, legal y financiero) 7 Identificación de actores y grupos relevantes 8 Análisis de causas y efectos (árbol de problemas) 9 Identificación de medios y fines (árbol de objetivos) 10 Áreas de intervención (viabilidad e importancia) ⇒ Formulación 1 Definición de los objetivos y metas de impacto 2 Descripción de los objetivos de producto 3 Determinación del horizonte del proyecto 4 Definición de las metas y planes de producción 5 Descripción de la tecnología y proceso productivo 6 Identificación de las variables e indicadores a utilizar 7 Selección de las fuentes de información 8 Caracterización de los supuestos 9 Confección de una Matriz Lógica de las alternativas a evaluar ⇒ Evaluación Ex-Ante 1 Identificación de los recursos necesarios 2 Estimación de los costos 3 Estimación de los impactos 4 Análisis de las relaciones costo/impacto ⇒ Programación 1. Generación del mapa de procesos 2. Descripción de las actividades por proceso 3. Confección del cronograma y ruta crítica 4. Determinación de insumos 5. Definición de la estructura organizacional 6. Diseño del modelo de focalización 7. Programación del monitoreo y la evaluación ex-post 8. Análisis detallado del presupuesto y plan de financiamiento. MANUAL DE FORMULACION, EVALUACION Y MONITOREO DE PROYECTOS SOCIALES 21 ⇒ Monitoreo y Evaluación Ex-Post 1. Diseño de un plan de Monitoreo 2. Recolección y procesamiento de la información 3. Elaboración de informes ⇒ Evaluación Ex-Post 1 Diseño del modelo de evaluación 2 Medición de los costos reales 3 Análisis de la relación entre costos e impactos 4 Elaboración de informes En los capítulos que siguen se presentan las metodologías, técnicas e instrumentos a utilizar para llevar a cabo este proceso. Su grado de aplicación depende de la escala del proyecto.