Evaluación de Servizos PDF

AVALIACIîN DE SERVIZOS E INSTITUCIîNS EDUCATIVAS Noa Garc’a Pazos Grado en Pedagog’a Curso 24/25  Noa Garc’a Pazos Avaliaci—n de servizos e instituc...

AVALIACIîN DE SERVIZOS E INSTITUCIîNS EDUCATIVAS Noa Garc’a Pazos Grado en Pedagog’a Curso 24/25  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Bloque I. Conceptualizaci—n e avaliaci—n do sistema educativo ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ I. CONCEPTUALIZACIîN ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ 1. AVALIACIîN Enxuizar o valor de algo. Estimar o valor dun obxecto, intervenci—n ou suxeito. Non Ž so medir, recoller datos, etc., sup—n a recollida e an‡lise de datos para emitir xuizos e procurar a toma de decisi—ns. Proceso: conxunto de acci—ns previamente planiÞcadas: organizar elementos, sistematizar fases, establecer tempos, prever recursos, etc. Non Ž unha acci—n improvisada nin puntual. Proceso de investigaci—n: a avaliaci—n require a recollida e an‡lise da datos en que fundamentar os xu’zos, implica realizar un proceso de investigaci—n que debe cumprir certos requisitos metodol—xicos. Emitir xuizos: valores. A avaliaci—n require a emisi—n dun xu’zo sobre o obxecto, partir da informaci—n recollida, e en base a uns criterios previamente Þxados. Toma de decisi—ns. A avaliaci—n ten como Þnalidade tomar decisions a partir dos xu’zos emitidos, a toma de decisions posterior non Ž parte do proceso avaliativo e as decisi—ns non corresponden xeralmente ao equipo avaliador. 2. AVALIACIîN EDUCATIVA Proceso de estimaci—n do valor dunha realidade educativa con Þnalidade de tomar decisi—ns. Para facer una avaliaci—n educativa Ž necesario establecer criterios e os correspondientes indicadores para recoller datos e emitir xuizos. Estimaci—n do valor ou do mŽrito dun obxecto. 2.1 - Distinci—n entre mŽrito e valor MŽrito. Depende das caracter’sticas intr’nsecas do obxecto avaliado, ao marxe do seu uso. O valor que ten en si mesmo. INTRêNSECO. Valor. Depende do uso que se faga del. Do contexto no que Ž empregado. EXTRêNSECO. 2.2 - Xu’zos de valor - compo–entes: criterios, indicadores e est‡ndares  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Criterios. Norma ou regra de referencia para asignar valor ao obxecto avaliado. - Referente empregado para interpretar e comparar a informaci—n recollida. - Aspecto ou categoria que se emprega para emitir o xu’zo. - Gu’a para a recollida de informaci—n. - Ex. EÞcacia: grao de consecuci—n dun obxectivo. a) Obxectivo: Òrozar un terreoÓ. b) EÞcacia: Ògrao en que o suxeito sabe rozar un terreoÓ Indicadores. Aspectos da realidade sobre as que recollemos informaci—n, realizaci—n observables dos criterios. - Dato que mostra algo mediante indicios ou sinais. - Realizaci—ns observables dos criterios. - Cuantitativos ou cualitativos. - Existen sistemas de indicadores formalmente aceptados. - Ex.: Tempo empregado e estado Þnal do terreo a partir do xu’zo dun experto Est‡ndar. - Nivel de logro que se espera acabar no indicador. - Fai referencia ao nivel deseable. - Ex.: Nivel de tempo establecido como Žxito e nivel de puntuaci—n outorgada polo xu’z. 2.3 - ÒObxectosÓ da avaliaci—n Na avaliaci—n dos resultados da aprendizaxe: tres tipos de est‡ndares ou grandes referentes en base aos que comparan a informaci—n recollida (indicador) / tres tipos de avaliaci—n: 1. Est‡ndar normativo: - O nivel de referencia o marca o grupo. - Posici—n dun indiv’duo (indicador obtido) con respecto ao resto do grupo. - Ex.: comp‡rase o tempo empregado co do resto do grupo de alumnos/as. 2. Est‡ndar criterial: - O nivel f’xase en termos absolutos. - F’xase previamente o nivel desexado. - Comp‡rase o indicador con valores Þxados. - Ex.: tempo m‡ximo esperado. 3. Est‡ndar de progreso (personalizado, auto - referido): - O nivel establŽcese a partir da comparaci—n da realidade avaliada en situaci—ns anteriores. - Comp‡rase o valor Þnal obtido cos valores de partida do indicador. - Ex.: o tempo Ž menor que o empregado nunha proba anterior. 2.4 - Que avaliamos? Aprendizaxes. Axentes: profesorado, educadores/as, profesionais, É Programas: pol’ticas, plans, programas, proxectos. Servizos.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Instituci—ns. Sistema. 2.5 - Funci—ns TradicionalmenteÉ 1. Sumativa. 2. Diagn—stica. 3. Formativa Diagn—stica Formativa Sumativa Valorar puntos dŽbiles e Valorar o nivel de logro Consiste enÉ Valorar procesos fortes acadado Mellorar o obxecto Para PlaniÞcar acci—n futura Acreditar avaliado 3. INTRODUCIîN ç AVALIACIîN DE INSTITUCIîNS A avaliaci—n nas instituci—ns e servizos sup—nÉ - Proceso sistem‡tico. - Descrici—n da realidade. - Elaboraci—n de criterios de comparaci—n con respecto —s obxectivos. - Emisi—n de criterios de comparaci—n con respecto dos obxectivos. - Emisi—n de xuicios de valor. - Toma de decisi—ns na procura de calidade. - Instrumentos — servizo da educaci—n. - Integraci—n de metodolox’as cuantitativas e cualitativas. Para que avaliar? - Obter informaci—n obxectiva (cuantitativa / cualitativa) de xeito sistem‡tico para orientar a toma de decisi—ns. - Axustar a eÞcacia e a eÞciencia: ¥ EÞcacia: capacidade para alcanzar o efecto esperado ou desexado trala realizaci—n dunha acci—n. ¥ EÞciencia: consecuci—n —ptima da eÞcacia. - Mellorar os servizos ofertados pola instituci—n. - Ofrecer evidencia da sœa calidade ‡ sociedade. - Garantir un bo funcionamento. En s’ntese, a avaliaci—n das instituci—ns ŽÉ Tarefa de an‡lise selectiva, contextualizada e democr‡tica que, reßexionando sobre a informaci—n obtida mediante procedementos e instrumentos validados, posibilita o xu’zo e a toma de decisi—ns para a mellora da instituci—n de acordo con certos principios Žticos.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Algœns aspectos a ter en conta: - Viabilidade: partir da posibilidade de que se leve a cabo (en funci—n dos recursos que esixe). - Equidade: (alcanzable a todos/as) acceso e participaci—n, difusi—n dos informes, diversidade nas medidas de melloraÉ Principais fases: 1. IdentiÞcar indicadores de valor e mŽrito. 2. Obter resultados sobre val’a, mŽrito e viabilidade. 3. Dese–ar propostas para a mellora da val’a, mŽrito e viabilidade (car‡cter instrumental). Secuencia: a) Dese–o do plan avaliador. b) Recollida sistem‡tica de datos. c) An‡lise de datos. d) Valoraci—n. e) Conclusi—ns. f) Toma de decisions. Enfoques: 1. Centrada na mellor’a dos resultados: - Uso preferente da avaliaci—n externa (a calidade apoyase no control externo, segue metas como a rendici—n de contas, o control do produto e a comparaci—n de instituci—ns / centros con est‡ndares ou con outras instituci—ns) - Elementos que inßœen nos resultados:. ¥ Liderado forte. ¥ Expectativas dos destinatarios / cliente. ¥ Dominio de tŽcnicas instrumentais. ¥ Clima seguro e disciplinado. ¥ Avaliaci—n frecuente dos destinatarios. 2. Centrada na mellor’a dos procesos: - Instituci—ns vistas como entes complexos: ¥ Metas mœltiples - Estrutura determinada - Roles diversos - Recursos por criterios pol’ticos - Destinatarios: clientes, producto e membros da organizaci—n - Vulnerabilidade ante cambios socio - culturais - etc. ¥ Avaliaci—n preferentemente interna (cada instituci—n ten unha ÒculturaÓ propia que se val’a dende dentro, a calidade nas instituciones esta no control interno: comprensi—n dos fritos e transformaci—n interna). 3. Mixta: - Busca a xesti—n eÞciente da calidade educativa nas instituci—ns / centros. - Combina avaliaci—n externa e interna (ofrecen dœas perspectivas da mesma realidade, xuntas son complementarias). - Proposta polas Administraci—ns e asumida polos centros. Complexidade da avaliaci—n: - Nas instituci—ns e servizos conßœen demandas sociais e directrices das administraci—ns.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Actœan como: Organizaci—ns formais. Organizaci—ns en continuo desenvolvemento. Comunidades educativas. A avaliaci—n debe resultar œtilÉ - Non pode constituir un feito illado. - Compromiso de todos e todas as axentes: c—mpre total claridade nas Þnalidades, consecuencias e requisitos da avaliaci—n. - O alcance da avaliaci—n vai depender de: Estilo de liderazgo. Participaci—n do persoal en din‡micas formativas, innovadoras e de investigaci—n. Comunicaci—n entre as persoas. Implicaci—n da comunidade educativa. Que debe recoller? Informaci—n œtil: 1. Contorna. 2. Instalaci—n e recursos. 3. Persoal. 4. Organizaci—n (pedagoxica). 5. Innovaci—n en procesos. 6. Funcionamento interno. 7. Relaci—ns coa comunidade. 8. Resultados. En que se basea? Referentes: - Normativa: en base a instituci—ns similares (norma). - Individual: comparaci—n coa mesma instituci—n (diacr—nica ou a travŽs do tempo). - Criterial: a partir de certos criterios establecidos. Opci—ns metodol—xicas? Recollida de informaci—n: - Cualitativa: entrevistas, debates, grupos de discusi—n, É - Cuantitativas: (medici—n, indicadores, est‡ndares, É) escalas, cuestionarios, inventarios, É - EclŽctica (mixta): gu’as para a an‡lise de documentaci—n, debates, grupos de discusi—n, observaci—n, cuestionarios, entrevistas, É 4. A AVALIACIîN ORIENTADA ç MELLORA DA CALIDADE Calidade? De que estamos a falar?  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas A calidade nas instituci—ns educativas: - A educaci—n non pode entenderse como un producto f’sico ou manufacturado, sen—n como un servizo que se presta. - DiÞcultades na deÞniciones da calidade educativa: ¥ Educaci—n, realidade complexa. ¥ Diferenzas notables entre as ideas / conceptos sobre o que debe ser a educaci—n. ¥ Procesos mentais de aprendizaxe non evidentes. ¥ O educador/a Ž un ser libre. - Factores: Sentido das avaliaci—ns para a calidade (Doherty, 1994): 1. Asegurar a calidade: corrixir erros antes de por en pr‡ctica un programa (cumprimento de certos requisitos).  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 2. Controlar a calidade: obter informaci—n (en tempo e forma) para poder corrixir erros cometidos. 3. Xesti—n da calidade: instauraci—n da xesti—n da calidade en todos os procesos. 4. Auditor’a de calidade: interna / externa (comitŽ de avaliaci—n para veriÞcaci—n). 5. Avaliaci—n da calidade: xu’zos internos / externos sobre o rendemento da instituci—n de acordonarte a uns par‡metros (acreditaci—n). 6. Mellora da calidade: mellora do rendemento ou dun proceso en particular mediante cambios (precisa diagnostico e estratexias axeitadas). Sentido das avaliaci—ns para a calidade (Gobantes, 2001): a) Instrumento de reßexi—n cr’tica. b) Construci—n cr’tica m‡is ala que calcular valor e mŽrito. c) An‡lise de problemas prioritarios. d) Proceso sucesivo e contextualizado de toma de decisi—ns: econ—mica, factible e œtil. e) Flexible e emerxente. f) Implicaci—n de todos os/as responsables do obxecto avaliado. ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ II. AVALIACIîN DO SISTEMA EDUCATIVO ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ 1. POLêTICA EDUCATIVA Pedr— (1999): Òo resultado da actividade dunha autoridade pœblica (investida de poder pœblico e de legitimidade e de lexitimidade gobernamental) no ‡mbito educativoÓ. 2. AVALIACIîN DO SISTEMA EDUCATIVO Dous conceptos clave: - Metaavaliaci—n. - Avaliaci—n da avaliaci—n. Avaliamos o sistema educativo con motivo de mellorar a calidade da educaci—n: - QuŽn o evalœa? Profesionais da educaci—n, grupo de expertos, - Por quŽ o evalœa? - C—mo o evalœa? - QuŽ evalœa? 2.1 - Finalidade da avaliaci—n do SE (por quŽ) - Para a toma de conciencia entre logros e obxectivos.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Emitir xuizos. - Tomar decisi—ns optimizadoras. QuŽ avaliar no sistema educativo? - Todo proceso educativo. ¥ Estudante. ¥ Elementos estruturais (condici—ns organizativas, materiais, É) ¥ Procedimentos (actividades, contidos, É) ¥ Propio sistema educativo. ¥ Pluralidade de axentes (Gargallo, 1994). - Avaliaci—n NON Ž a œnica clave de calidade. - Evoluci—n pa’ses avanzados: dunha mellora cuantitativa a unha mellora cualitativa 2.2 - Modelo de avaliaci—n do SE Modelo USA vs UE: USA UE Anos 70 Anos 80 Contexto de crise econ—mica Evoluci—n do modelo americano Avaliaci—n: instrumento de mellora para a calidade Movemento de accountability (en lugar de avaliaci—n de produtos - control) Control en favor eÞcacia - eÞciencia Autoavaliaci—n institucional: - Potenciaci—n do desenvolvemento profesional do Control de los recursos: avalaici—n sumativa profesorado. (rendemento alumnado e profesorado) - Avaliaci—n formativa e democr‡tica. Risco: educaci—n para a avaliaci—n (en lugar de - Supervisi—n interna das instituci—ns avaliaci—n para a educaci—n) 2.3 - Enfoques de avaliaci—n do SE Avaliaci—n institucional en Espa–a: Estatal Comunidades Aut—nomas 1993. INCE (Instituto Nacional de Calidade e 2 modelos: Evaluaci—n). LOGSE (art.62) (hoy INEE): (—rgano - Modelo Institucional (Òtendencia actualÓ). da administraci—n Xeral do Estado responsable - Modelo de asignaci—n a entidades o servicios da avaliaci—n xeral do sistema educativo (sin preexistentes) prejuicio das competencias auton—micas). - Avaliaci—n xeral do SE. - Aaliaci—n dos sistemas educativos auton—micos  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Institutos e axencias de avaliaci—n Inspecci—n educativa Nivel macroeducativo ou stistŽmico - Nivel mesoeducativo o institucional (centros e programas). - Nivel microeducativo o individual (docentes, funci—n directiva, É) Consello Escolar de Estado Consejos Escolares Consejos Escolares de centro Aut—nomos - Art. 32 e 33 da LODE. îrganos consultivos Supervisi—n da actividade xeral - Elaboraci—n do informe anual do centro en aspectos sobre o SE administrativos e docentes. Enfoques na Avaliaci—n do Sistema: - De eÞciencia. CŽntrase en: ¥ Gasto - rendemento. ¥ Xesti—n dos centros. ¥ Formaci—n do profesorado. - Pedag—xico: ¥ Avaliaci—n do sistema como factor para a mellora cualitativa da educaci—n. ¥ Busca co–ecer o papel que boga cada axente na mellora da calidade. Os sistemas soen decantarse por un (pero non son irreconocibles). 2.4 - Por quŽ avaliar o SE? - Conseguir informaci—n para a toma de decisiones. - Rendici—n de contas. - Valorar resultados. - Analizar os procesos. - Abrir procesos de reßexi—n e debate. - Coordinar a todos os axentes. - Orientar as pol’ticas e proceso de cambio. - Mellorar o rendemento - optimizar inversi—n. 2.5 - A quŽn compete a avaliaci—n do SE? - ç Administraci—n educativa (por delegaci—n da sociedade). - Modelos de avaliaci—n institucional: ¥ Instituci—n - especiÞca œnica. ¥ Diversas instancias a travŽs de programas. ¥ Modelo mixto (Espa–a). 2.6 - C—mo avaliar o SE - Sistemas de indicadores (Gargallo , 2003) Perspectivas:  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Macrosc—pica (nivel macro e mesoeducativo). - Microsc—pica. Enfoque metodol—xicos: - Cuantitativos (an‡lisis estad’sticos cl‡sicos: promedios, variadas, factoriales, É). - Cualitativos (procesos, claves de explicaci—n, contexto, É). Tipos de avaliaci—n: - Interna. - Externa. Modernos Sistemas de Indicadores: - Medidas estad’sticas ou datos que recollen de maneira sintŽtica informaci—n relevante e signiÞcativa referida a un aspecto importante dentro do SE. - Cobran sentido non aislados, senon conxuntamente con outros indicadores. - Proxecto INES (indicadores Internacionais dos Sistemas Educativos -OCDE, 1987, 31 indicadores agrupados en 6 cap’tulos). - Proxecto PISA (1998) -OCDE. - Ince (1994 - 2000) - Sistema Estatal de indicadores (29 indicadores en 6 bloques). - Cr’tica ‡ OCDE: ¥ Indicadores economicidas, non neutros. ¥ Cultura tecnocratica e eÞcientista (calidade = costo - beneÞcio; eÞcacia - eÞciencia). ¥ Ausencias: Indicadores: solidaridad, defensa da liberdade, tolerancia, respeto mœtuo, comprensi—n, xustiza, signiÞcatividade e relevancia das aprendizaxes, contidos ou experiencias, clima no aula, participaci—n dos/as alumnos/as na planiÞcaci—n, É Democratizaci—n da avaliaci—n: participaci—n da sociedade e da comunidade educativa na elaboraci—n dos indicadores (Consejos Escolares, inspeccionaban educativa, institutos e axencias de avalaiaci—n e especialistas universitarios). Xuiz e parte (as axencias de avaliaci—n forman parte da Administraci—n; deber’a ser mixta Administraci—n - Universidade).  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Bloque II. La evaluaci—n institucional ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ TEMA III. EVALUACIîN INSTITUCIONAL ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ 1. EVALUACIîN INSTITUCIONAL 1.1 - Aproximaci—n conceptual La instituci—n es el punto de conßuencia entre lo individual y lo social. El prop—sito principal de su evaluaci—n es conocer c—mo y por quŽ funciona de una manera determinada, para comprender y explicar su naturaleza a Þn de fundamentar el punto de partida y referencia para el dise–o y desarrollo de sus planes. 1.2 - Perspectiva de evaluaci—n de instituciones 1.2.1 - Principios de la teor’a de sistemas con relaci—n a las instituciones educativas - Las instituciones que analizamos son sistemas de car‡cter abierto. - Son din‡micas.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - La funcionalidad. - Globalidad / totalidad. - Autorregulaci—n. - EquiÞnalidad. - Control. - Historicidad. - L—gica circular versus l—gica causal. 1.2.2 - Conclusiones - Una instituci—n est‡ compuesta por diferentes niveles de an‡lisis que se mueven de lo m‡s expl’cito a lo m‡s impl’cito: estructura de la instituci—n, procesos organizativos y procesos sociales. La interrelacionando entre ellos es constante. - Toda instituci—n tiene una historia anterior que ha inßuido en el desarrollo de las funciones y Þnalidades que la instituci—n tiene que cumplir a travŽs de los elementos que distribuidos en cada uno de sus niveles la conÞguran. - Los niveles presentes en una instituci—n est‡n integrados dentro de otras realidades, factores contextuales m‡s amplios, tales como el medio social, la cultura, y Žstos tambiŽn ejercen procesos sistem‡ticos de inßuencia sobre dicha instituci—n que no pueden olvidarse ya que determinan la realidad de la misma. - Todos los elementos que hemos se–alado en los puntos anteriores interaccionan para conformar la manera global de funcionamiento de la instituci—n. Es lo que podemos denominar el estilo de la instituci—n. Este estilo conÞgura la identidad institucional, que quedar‡ reaÞrmada o rechazada en funci—n de la percepci—n, por parte de sus miembros, de los resultados obtenidos por la organizaci—n. 1.3 - Modos de realizar la evaluaci—n institucional Se han se–alado por diferentes autores distintos modos de llevar a cabo la evoluci—n institucional, que se clasiÞcan en funci—n de los criterios. 1.3.1 - Criterios de clasiÞcaci—n CuantiÞcaci—n inclusiva: - Global. - Parcial. - Mixto. Localizaci—n espacial: - Interna. - Externa. - Mixta. 1.3.2 - Evaluaci—n interna o autoevaluaci—n  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Se produce cuando es la propia instituci—n, como sujeto evaluado, quien valora su propio funcionamiento; esto es, la suÞciencia o n¼ de sus recursos, infraestructura, as’ como el grado de eÞcacia y eÞciencia con el que diversos elementos o variables vienen contribuyendo a los Þnes de aquella. Dimensiones de la autoevaluaci—n institucional: - Dimensi—n tŽcnica: ¥ Referencial. ¥ Continua. ¥ Procesual. ¥ Sistem‡tica. - Dimensi—n institucional - comunitaria: ¥ Profesionalizaci—n. ¥ Consensuada. ¥ Integrada. ¥ Contextualizada. ¥ Participativa. ¥ Asesorada. Resistencias a la autoevaluaci—n institucional: - Cultura individualista del ejercicio profesional. - Resistencia de los profesionales a ser evaluados. - Falta de motivaci—n profesional. - Carencia de tiempo. - Falta de formaci—n y apoyo tŽcnico. - Falta de credibilidad sobre los que realizan la autoevaluaci—n. - Ocultaci—n de los problemas sustantivos. - Retrasar el comienzo. - Impaciencia por obtener resultados. - Jerarquia. - Territorializaci—n. - Privacidad. Estrategias para la autoevaluaci—n institucional: - Negociaci—n de la propuesta de evaluaci—n con los profesionales. - Negociaci—n con todos los estamentos de la instituci—n, - PlaniÞcaci—n de la evaluaci—n. - Obtenci—n de datos a travŽs de distintos mŽtodos. - Elaboraci—n de informes. - Negociaci—n de los informes. - Toma de decisiones. 1.3.3 - Evaluaci—n externa  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Es la que se produce cuando la evaluaci—n institucional es realizada por agentes externos a la instituci—n evaluada. Ventajas de la evaluaci—n externa: - Independencia. - Implicaci—n. - Percepciones y creencias. Inconvenientes de la evaluaci—n externa: - No se poseen conocimientos e informaciones especiÞcas y de primera mano de la instituci—n a evaluar. - No se tiene una posici—n privilegiada en el entramado de relaciones y comunicaciones de la organizaci—n de la cual no se forma parte ni se hace uso. - Se tiene falta de capacidad para formar iniciativas y deÞnir metas y estrategias de actuaci—n a partir de los resultados obtenidos de la evaluaci—n. ÀQuiŽn promueve la evaluaci—n externa? - Estamentos de jerarqu’a superior a la instituci—n evaluada. Es necesario crear condiciones que garanticen la independencia de los evaluados en todas las fases del proceso: elaboraci—n de proyectos, desarrollo y elaboraci—n del informe. - La propia instituci—n: La instituci—n es patrocinadora y participante a la vez. La evaluaci—n, en este caso, puede tener como objetivos valorar su funcionamiento o complementar los resultados obtenidos con la autoevaluaci—n. De antemano y en ambas propuestas, presupone una postura positiva y abierta por parte de la instituci—n. Estrategias de la evaluaci—n externa: - La instituci—n evaluada ha de vigilar que el cumplimiento de los requisitos aceptados en la negociaci—n previa a la puesta en marcha del proceso se cumplen. - Debe conseguirse una predisposici—n positiva de los implicados y negociar con ellos c—mo y hasta quŽ informaci—n se har‡ llegar. - El equipo debe asegurar la no Þltraci—n de informaci—n irrelevante para que pueda ser utilizada por otros agentes con una intenci—n alejada de la propia evaluaci—n institucional. - Asegurar la conÞdencialidad de los datos, as’ como el anonimato de los informantes. - El equipo evaluador debe garantizar no hacer pœblico el informe hasta que los integrantes de la comunidad estŽn de acuerdo con Žl. Paralelamente, es necesario que el informe tambiŽn reßeje las discrepancias que existan sobre Žl. - Se debe redactar un documento de negociaci—n que recoja todos estos acuerdos, modiÞcables pero por acuerdo de los implicados. 1.3.4 - ÀEvaluaci—n externa vs. Evaluaci—n institucional? Si es la instituci—n quien promueve su evaluaci—n, la puesta en marcha de mecanismos de evaluaci—n institucional deber’a complementarse con la evaluaci—n externa. La soluci—n, por tanto, se encuentra en lo que Santos Guerra (1990) deÞne como coevaluaci—n, en la que se combinan evaluaci—n externa e interna.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 2. APROXIMACIîN A LOS çMBITOS SOBRE LOS QUE INCIDIR EN LA EVALUACIîN INSTITUCIONAL Aspectos a considerar: Es necesario desarrollar y utilizar destrezas de interpretaci—n y reßexiones para poder comprender con garant’as de Žxito la vida de la organizaci—n. Esta fase debe desarrollarse teniendo presente que: 1. Una organizaci—n puŽdenla estudiarse desde mœltiples dimensiones. Sin embargo, lo que intentamos en esta etapa es conocer aquella informaci—n que sea realmente relevante, no acumular datos de manera inÞnita. 2. El rigor de bœsqueda de informaci—n depender‡ de los medios de que disp—ngame la instituci—n, de la experiencia en la elaboraci—n de planes de formaci—n y de las posibilidades que tengan sus responsabilidades. 2.1 - SolŽ y Mirabet (1977), es necesario considerar al menos 7 ‡mbitos 1. Historia de la instituci—n. 2. Su entorno. 3. Situaci—n econ—mico - Þnanciera. 4. Nuevos productos, diversiÞcaciones, diferenciaci—n, inversiones y nuevos productos. 5. Cultura. 6. Recursos humanos. 7. Organizaci—n. 8. Gesti—n estratŽgica. 2.1.1 - Historia de la instituci—n 1. Descripci—n del contexto sociocultural en el que se origina el proyecto, las necesidades y demandas sociales (situaciones decadente). 2. Descripci—n de la interpretaci—n que hace el grupo gestor en esta situaci—n y su concreci—n en el proyecto fundacional. 3. Descripci—n de la operacionalizaci—n inicial del proyecto, del colectivo inicial y las caracter’sticas sociohist—ricas del origen. 4. Discriminaci—n y descripci—n de las etapas hist—ricas de mayor interŽs segœn la versi—n de informantes clave y actores institucionales. 5. An‡lisis minucioso de las viscitudes del proyecto original en cada una de sus etapas, as’ como de la paulatina conÞguraci—n de un estilo y componentes singulares en la cultura institucional. 6. Estimaci—n de logros actuales del proyecto. 7. An‡lisis comparado original en su primera y actual concreci—n. 8. Estimaci—n de relaciones de sentido entre las etapas hist—ricas, estilo y cultura institucional, y el proyecto en su versi—n original y actual con los resultados. Indicadores sobre la historia institucional:  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Estrategias y objetivos de la instituci—n. - Actividades y productos y/o servicios. - Incorporaci—n de nuevas tecnolog’as e inversiones. - Cambios en la producci—n y/o servicios que ofrece. - Relaciones con los proveedores. - Pol’tica de calidad. - Ubicaci—n geograÞca. - Organizaci—n. - PlaniÞcaci—n y gesti—n de la formaci—n. - Hitos hist—ricos. 2.1.2 - Entorno de la instituci—n - La instituci—n jo es un microcosmos que pueda estar aislado del medio ambiente en el que esta inmerso. - Las instituciones son organizaciones que est‡n sujetas a las caracter’sticas de su entorno. Indicadores sobre el entorno de la instituci—n: 1. Interdependencias con el entorno. - Describir y evaluar la importancia de los diferentes agentes que tienen relaci—n con la organizaci—n. Aqu’ podemos incluir diversos tipos -clientes, ciudadanos, proveedores, instituciones, etcÉ- que estar’an en funcionamiento del tipo de instituci—n sobre la que interviniŽramos. - Valorar la importancia y grado de inßuencia que la instituci—n puede ejercer sobre sus proveedores y clientes. - Valorar la posici—n de la instituci—n dentro de la realidad econ—mica del entorno. - Evaluar el posicionamiento de loa organizaci—n a nivel macroecon—mico, nivel de sensibilidad a los per’odos de crisis, capacidad de cooperaci—n con otras instituciones, etc. 2. Posici—n competitiva con el entrono. - IdentiÞcaci—n de otras instituciones que pueden competir: actuales y potenciales. - Principales diferencias en relaci—n con la instituci—n que es principal competidora. - Estimaci—n del comportamiento futuro de la competencia. 3. Servicios / productos ofertados. - Caracter’sticas actuales. - Posicionamiento de la instituci—n en cada segmento de servicio o producto que oferta. - Pol’tica de precios. - Nœmero de intermediarios antes de ofrecer el servicio o producto. - Fuentes de acceso a la informaci—n sobre los servicios / productos existentes en el entorno. - Bases para dise–ar una pol’tica de planiÞcaci—n y oferta de servicios. - PlaniÞcaci—n de la oferta. 4. Entorno exterior.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Valoraci—n de c—mo pueden afectar a la instituci—n las variaciones de otras instituciones que est‡n en un entorno lejano, por ejemplo, la Uni—n Europea, el Mercado ònico, etc. 5. Previsiones de contingencia. - ÀTiene la organizaci—n previstas respuestas reactivas y proactivas a las variaciones del entorno? - ÀC—mo ser‡n los servicios / productos del futuro? - ÀC—mo se est‡ preparando la instituci—n para poder satisfacer las nuevas demandas? 2.1.3 - Situaci—n econ—mica Saber si la instituci—n Òse encuentra en una etapa de crecimiento o de estancamiento, cu‡les ser‡n las repercusiones econ—micas de los futuros proyectos de inversi—n y cu‡l ser‡ el coste de la formaci—n necesaria para que estos proyectos funcionen correctamenteÓ. (SolŽ y Mirabet, 1977: 46 - 47). Indicadores sobre la situaci—n econ—mica de la instituci—n: 1. Situaci—n econ—mica. - Valoraci—n de la informaci—n que nos suministran los indicadores Þnancieros que se utilizan en la instituci—n como par‡metros de control. - ÀEst‡n relacionados estos indicadores con los objetivos de la organizaci—n? 2. Presupuestos. - Valoraci—n de los procedimientos utilizados por la instituci—n para la elaboraci—n del presupuesto. - ÀQuiŽn forma parte del proceso de deÞnici—n del presupuesto? ÀQuiŽn los revisa? - ÀSe utilizan mŽtodos para realizar la evaluaci—n econ—mica de los proyectos? ÀCu‡les? 3. Gesti—n y control de la facturaci—n. - ÀCu‡l ha sido la facturaci—n del pasado ejercicio? - ÀC—mo ha evolucionado la facturaci—n en los œltimos a–os? - ÀCu‡l es el volumen de facturaci—n previsto en el presente a–o? - ÀQuŽ porcentaje de facturaci—n se ha cubierto hasta el momento? 4. Inversiones. - L’mite de inversi—n previsto en este a–o y en los pr—ximos. - Valoraci—n de los l’mites de inversi—n previstos. - ÀSe han previsto en los costes de las nuevas inversiones los relativos a la formaci—n? 2.1.4 - Cambios en los servicios / productos Los cambios en los servicios y productos ofertados tendr‡n una incidencia importante en diferentes aspectos de la organizaci—n, produciŽndose necesariamente tambiŽn cambios en los procesos, en la organizaci—n y en la manera de ofrecerlos.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Indicadores sobre los cambios en servicios / productos ofertados: 1. I + D. - ÀC—mo organiza la instituci—n el proceso de desarrollo de nuevos servicios / productos? - ÀQuiŽn participa en el proceso? - ÀTiene el personal de la instituci—n la preparaci—n ? 2. Inversiones. - ÀHace la instituci—n estudios previos y an‡lisis para comprobar las nuevas demandas y la viabilidad de la inversi—n en su desarrollo? 3. DiversiÞcaci—n de servicios / productos. - ÀQuŽ estrategias ha seguido la instituci—n en relaci—n con el desarrollo de los nuevos servicios / productos? - ÀTiene autonomia para su desarrollo? - ÀQuŽ posibilidades tiene de diversiÞcaci—n? - ÀQuŽ servicios / productos podr’an desarrollar y no lo hacen? ÀQuŽ diÞcultades y/o motivos tienen para no hacerlo? 4. Limitaciones. - ÀCu‡l es la limitaci—n m‡s importante que tiene la instituci—n para el desarrollo de nuevos servicios / productos? (Econ—micos, de cualiÞcaci—n de los recursos humanos, etc.). 2.1.5 - Cultura de la instituci—n En l’neas generales, podemos deÞnir la cultura organizativa como Òel conjunto de signiÞcados, creencias, expectativas, normas sociales y pautas de comportamiento que los miembros de la organizaci—n o un grupo de ellos compartenÓ. (L—pez Ya–ez, 1977: 93) Indicadores sobre la cultura institucional: 1. Contenido. - Apariencia f’sica de la organizaci—n y el signiÞcado que trasluce: decoraci—n, espacios (accesos, usos, reparto), se–as de identidad de la corporaci—n. - Pautas de conducta sistem‡ticas de la vida colectiva dentro de la organizaci—n: rituales, ceremonias y pautas de socializaci—n. - Lenguaje y signiÞcados compartidos que se expresan a travŽs de Žl. Met‡foras, historias, leyendas, mitos utilizados por la instituci—n. - Reglamento impl’cito, normas y reglas no establecidas formalmente y que determinan lo que es admisible y lo que no lo es dentro de la organizaci—n (costumbres, convenciones sociales y tabœes). - Valores, criterios utilizados para juzgar los hechos, las acciones y las personas. A partir de aqu’, c—mo se clasiÞcan los grupos. - Asunciones, creencias b‡sicas de los miembros de la organizaci—n, pensamientos compartidos y signiÞcados comunes. 2. Fuerza.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Penetraci—n y extension del consenso que se da en torno a los contenidos identiÞcados en la cultura de la instituci—n. - Homogeneidad, consistencia o solidez de los componentes de la cultura para homogeneizar la conducta organizativa. - Claridad, accesibilidad que tienen los miembros de la instituci—n al conocimiento y al aprendizaje de los componentes de la cultura organizativa. - Responder a: ¥ ÀConoce el personal de la organizaci—n cu‡les son los elementos que deÞnen la cultura institucional? ¥ ÀEst‡ el personal de la organizaci—n satisfecho con sus condiciones profesionales (salario, funciones atribuidas, relaciones internas, la adecuaci—n funci—n - formaci—n, condiciones f’sico - ambientales)? ¥ ÀCu‡l es el grado de implicaci—n institucional y de identiÞcaci—n del personal con los objetivos de la organizaci—n? ¥ ÀPredominan en general las actitudes de servicio y de logro con calidad en el desarrollo de la funci—n laboral? 3. Orientaci—n. - Retrospectiva: perdurabilidad en la instituci—n de los componentes de la cultura organizativa. - Prospectiva: proyecci—n de la cultura organizativa en tŽrminos de su tendencia predominante hacia la estabilidad o hacia el cambio de sus componentes. - Responder a: ¥ ÀLa cultura de la organizaci—n favorece o diÞculta su desarrollo? ¥ ÀCu‡l es la actitud de la instituci—n frente a la innovaci—n? ¥ ÀCu‡l es su actitud cuando la formaci—n va unida a procesos de innovaci—n? ¥ ÀQuŽ factores mejoran la productividad y el nivel de satisfacci—n del personal? ¥ ÀC—mo suelen remediarse los aspectos negativos? 4. La trama social. - HŽroes: personiÞcados de los valores de la organizaci—n. - Narradores: hacen entender de una determinada manera los actos organizativos. - Sacerdotes: son los ortodoxos y guardianes de la cultura organizativa, atendiendo las confesiones y proporcion‡ndotelos consejos y soluciones. - Murmuradores y esp’as: recogen toda la informaci—n, aparentemente irrelevante, que circula por la organizaci—n y le dan un valor simb—lico de primera magnitud. - Coaliciones: es la vertebraci—n de los conßictos y las negociaciones que caracterizan la lucha de poder dentro de las organizaciones. - Responder a: ¥ ÀC—mo es la red informal de relaciones e intercambios de car‡cter psicosocial? 2.1.6 - Recursos humanos Cuando hablamos de recursos humanos nos estamos reÞriendo Òal grupo de personas que esta dispuesto y es capaz de contribuir a los objetivos de una organizaci—nÓ (Werther y Davis. 1995: 378).  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Indicadores sobre los recursos humanos: 1. Capital humano de la instituci—n. - Nœmero de trabajadores en plantilla y colaboradores a tiempo real. - Distribuci—n de los trabajadores por edad y antigŸedad. - Nœmero de empleados por ‡reas y coste dedicado a cada una de ellas. - Nœmero de horas de trabajo por persona al a–o. - Horarios de trabajo. 2. Potencial interno. - PerÞl de competencias por cada puesto de trabajo. - Responsabilidades y objetivos del personal. - Actuaciones para que se identiÞquen los empleados con los objetivos de la instituci—n. - Relaci—n del perÞl del puesto de trabajo con la valoraci—n del mismo. - Relaci—n del perÞl del puesto de trabajo con las categor’as profesionales. - Relaci—n del perÞl del puesto de trabajo con la pol’tica de contrataci—n y de remuneraci—n. - Dise–o de carreras profesionales del personal de la instituci—n a nivel horizontal y vertical, rotaciones, itinerarios profesionales. - Sistemas de incentivaci—n del personal. 3. Relaciones laborales. - Convenios colectivos. - Normativas internas. - Centros de interes del comitŽ de empresa. 4. Estad’sticas laborales. - Absentismo y puntualidad. - Accidentes de trabajo. - Curas sin baja laboral. - Bajas superiores a tres d’as. - Horas extraordinarias. 5. Movilidad. - Evaluaci—n del movimiento de personal debido a bajas, altas y rotaciones. - Contrataci—n de personal en los tres œltimos a–os. 6. Subcontrataci—n. - Subcontrataci—n de trabajos por parte de la instituci—n. - Valoraci—n de la subcontrataci—n: ventajas e inconvenientes. 7. Formaci—n. - Nivel de dominio tŽcnico y profesional del personal. - CaliÞcaci—n de la formaci—n del personal. - ÀTiene el personal la formaci—n necesaria para desempe–ar sus funciones? - ÀEn quŽ aspectos es mejorable la formaci—n?  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 2.1.7 - Estructura organizativa (organizaci—n) La estructura, tal como escribe Ram—n (1999: 45): Òmaterializada gr‡Þcamente en un organigrama, es la forma de ordenar los elementos que componen una organizaci—n, y de este orden dependen muchos m‡s factores de los que a primera vista pudieran parecer. Entre otras: distribuci—n de funciones, relaciones de poder entre sus miembros, la comunicaci—n, la capacidad de reacci—n ante el cambioÉ; en suma, todo aquello de lo que depende el resultado de una organizaci—nÓ. Conocer: C—mo la instituci—n organiza el trabajo, el nivel de ßexibilidad permitida, el fomento del trabajo en grupo, la disciplina de los trabajadores, el grado de autonom’a, las posibilidades de elecci—n, el grado de creatividad, la movilidad profesional, la comunicaci—n interna, etc. Estructura organizativa segœn H. Mintzberg (1988): 1. Nœcleo estratŽgico. Es el que dirige la organizaci—n como un todo: personas encargadas de la responsabilidad general de la organizaci—n: el / la director/a y gerentes de alto nivel cuyos intereses son globales, como aquellos que les suministran apoyo directo: secretari@s, asistentes, etc. - Sus funciones son: ¥ El conocimiento del entorno. ¥ La Þjaci—n de los objetivos de la instituci—n. ¥ La creaci—n y desarrollo de su estructura. ¥ Representaci—n de la organizaci—n ante su entorno. 2. Nœcleo operativo. - Base de cualquier operaci—n. - Compuesto por operarios que ejecutan las tareas siguiŽndoselos unas directrices m‡s o menos detalladas del nœcleo estratŽgico y transmitidas por la l’nea media. - La tensi—n organizativa de este componente es la profesionalizaci—n Ñ> basar la toma de decisiones en criterios tŽcnicos y profesionales. 3. L’nea intermedia. - Mandos que se encuentran entre la alta direcci—n y el nivel operativo. Segœn Mintzberg, el surgimiento de la l’nea media general la divisi—n del trabajo entre quienes administran el trabajo y quienes lo realizan. - Permite la comunicaci—n entre las diferentes unidades especializadas y operativas con la cœspide estratŽgica, confeccionando una pir‡mide articulada. - Los —rganos de la linealidad intermedia desarrollan dos tipos de funciones: a) Verticales, transmitiendo —rdenes y transform‡ndonoslo planes de orden superior en programas operativos. b) Horizontales, coordinando las diferentes unidades operativas que dirigen. 4. Staff tecno - estructura.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Constituida por expertos dedicados a la estandarizaci—n del trabajo. - çrea encargada del dise–o, control y planiÞcaci—n formal del trabajo. - Parte de la organizaci—n que presta ciertos servicios internos que afectan y transforman los mecanismos de trabajo de los receptores de sus servicios. 5. Staff de apoyo. - çmbito de la organizaci—n que agrupa un conjunto de actividades operativas que no forman parte de las actuaciones b‡sicas de la organizaci—n, pero que son imprescindibles para su buen funcionamiento. - Son servicios mayoritariamente orientados a satisfacer demandas de la estructura humana y f’sica de la organizaci—n: cafeter’a, aseo, central, telef—nica, relaciones pœblicas, asesor’a legal, seguridad, etc. - Su tensi—n caracter’stica es la colaboraci—n y la persuasi—n con la Þnalidad de conseguir inßuencia en el funcionamiento de la organizaci—n. 6. Investigaci—n y desarrollo. - Agrupa actividades de estudio, planiÞcaci—n y dise–o y desarrollo de nuevos servicios o productos. - Su tensi—n se ubica en la innovaci—n, en la prestaci—n de servicios y en los procesos de trabajo. Modelos de estructuras organizativas segœn H. Minztberg: Cinco modelos estructurales: 1. Estructura simple. - Coordinaci—n: lleva la cœspide estratŽgica mediante supervisi—n directa. M’nimo personal y de linea media. - Parte esencial: cœspide estratŽgica. 2. Burocracia medi‡tica. - Coordinaci—n: a travŽs de la estandarizaci—n del trabajo, lo que hace que sea creada toda la estructura organizativa.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Parte esencial: tecnoestructura. 3. Burocracia profesional. - Coordinaci—n: a travŽs del conocimiento de las personas empleadas, lo que exige profesionales altamente entrenados en el nœcleo operativo y considerable personal de apoyo. La estructura y l’nea intermedia no son muy elaborados. - Parte esencial: nœcleo operativo. 4. Forma divisional. - Coordinaci—n: se lleva a cabo mediante la estandarizaci—n de los productos de diferentes unidades de producci—n. - Parte esencial: l’nea intermedia. La l’nea media de cada una de las divisiones o unidades tiene gran autonom’a. 5. Adhocracia. - Ausencia de jerarqu’a. Opuesto a burocracia. - Todas las personas participantes tienen autoridad para tomar decisiones y llevar a cabo acciones. - Parte esencial: staff de apoyo. ÀSon estas conÞguraciones ideales abstractos? - Son ideales abstractos y simpliÞcaciones. - Sin embargo, todas las organizaciones experimentan las tendencias subyacentes en estas conÞguraciones: ¥ La alta direcci—n tiende hacia la centralizaci—n. ¥ La tecnoescritura hacia la formalizaci—n. ¥ El staff de apoyo hacia la colaboraci—n. ¥ La linea intermedia y el nœcleo operativo hacia la profesionalizaci—n. - Este esquema de las cinco conÞguraciones sirve como instrumento eÞcaz a la hora de diagnosticar una serie de aspectos relacionados con la estructura organizativa, el poder y el sistema de comunicaci—n de la instituci—n. Indicadores sobre la estructura organizativa: 1. Estructura organizativa. - Organigrama y responsabilidades. - Organigrama actual y el previsto para los pr—ximos a–os. - Tipo de distribuci—n: horizontal o vertical. 2. Estilo de direccional en la instituci—n. - Inicia la elaboraci—n de proyectos o participa en ella.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Se desarrollan capacidades para solucionar problemas. - Delegaci—n de funciones y responsabilidades. - Motivaci—n del personal para trabajar en equipo. 3. Comunidad interna. - Reuniones peri—dicas con el personal. Frecuencia de las reuniones. Obtenci—n de resultados. - ÀC—mo es la comunicaci—n interna, en general y entre los diferentes departamentos, unidades etc.? - ÀCu‡l es el clima sociolaboral en la instituci—n? 2.1.8 - Gesti—n estratŽgica Tiene como objetivo que una instituci—n siempre estŽ preparada para afrontar el futuro. Car‡cteres deÞnitorios (Gimbert, 1999: 13): - Proactividad / cambio: anticipaci—n y respuesta a las exigencias del futuro. Se plantea a largo plazo. El cambio est‡ impl’cito en su desarrollo. - Decisiones no repetitivas: consecuencias de lo anterior, es muy escasa la probabilidad de poder repetir una soluci—n (decisi—n) del pasado. - Visi—n global de la instituci—n. - Orientada hacia el entorno. - Informaci—n cualitativa. An‡lisis DAFO en la planiÞcaci—n estratŽgica: Es el resultado de la consideraci—n de los puntos fuertes y los puntos dŽbiles de la instituci—n, y de las amenazas y oportunidades del entorno competitivo. An‡lisis externo An‡lisis interno Oportunidades Amenazas Oportunidades aprovechables Amenazas contrarrestadas por Fortalezas para las fuerzas las fortalezas Oportunidades que se Amenazas que no se podr‡n Debilidades aprovechar‡n si se superan las contrarrestar mientras no se debilidades superen las debilidades PlaniÞcaci—n estratŽgica segœn JosŽ Mar’a Pascual (1997):  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Conceptos clave de la gesti—n estratŽgica: 1. Valores: sentido colectivo de identidad, una comprensi—n compartida de lo que es la instituci—n. - En la base de la gesti—n estratŽgica se encuentran las creencias o valores de la compa–’a y de sus gestores, las cuales fundamentan las decisiones clave de la organizaci—n. 2. Misi—n: a partir de los valores de la instituci—n se construye la misi—n, la raz—n de la existencia de la instituci—n. - En la misi—n, la organizaci—n explica quŽ es lo que hace. La mejor manera de clariÞcar una instituci—n su misi—n es respondiŽndonosla a tres cuestiones claves propuestas por Abell: a) ÀQuŽ necesidades? b) ÀA quiŽn? c) ÀC—mo? 3. Visi—n: es la imagen del futuro que desea conseguir la instituci—n, mostrando hacia d—nde quiere ir. - Tensi—n creativa. Fuerza que conduce al cambio, a conseguir alcanzar esta visi—n deseada. 4. Objetivos: representan la meta, el Þn a alcanzar. - Deben ser medibles, alcanzables y programados en el tiempo, cubriendo todas las ‡reas cr’ticas para la viabilidad de la instituci—n. 5. Estrategias: forma de conseguir los objetivos a partir de la misi—n y visi—n de la instituci—n, siempre sin perder de vista sus valores. 6. Pol’ticas: son gu’as de actuaci—n, l’neas maestras o criterios de decisi—n para la selecci—n de alternativas estratŽgicas. - Su funci—n: acotar el campo de la estrategia, canalizarla. Indicadores sobre la gesti—n estratŽgica, SolŽ y Mirabet (1997:56): 1. ÀEs la instituci—n consciente de sus puntos fuertes y dŽbiles, as’ como de los de las instituciones que compiten con ella o de su entorno? 2. ÀExiste en la instituci—n una estrategia que complemente el futuro de la organizaci—n? ÀEsta formulada en un documento oÞcial? ÀSe detallan los objetivos a medio y largo plazo? 3. ÀEst‡ el a–o en curso planiÞcado y el pr—ximo planiÞcado? 4. ÀExiste en la instituci—n una estimaci—n de las actividades a desarrollar a cinco a–os vista? En caso negativo, Àpor quŽ no? 5. ÀC—mo perciben la estrategia los miembros de la direcci—n? 6. ÀQuŽ dice el plan estratŽgico sobre las diferentes ‡reas o departamentos de la instituci—n?  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ IV. EFQM ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ El Modelo EFQM de excelencia ofrece una herramienta integral que tiene como objetivo ayudar a las organizaciones a conocerse mejor a s’ mismas, a realizar un an‡lisis objetivo, riguroso y estructurado de su funcionamiento y, en consecuencia, a mejorar su gesti—n. De una forma muy simple podr’amos decir que el Modelo EFQM es un diagrama de causa y efecto. Si queremos lograr un resultado diferente, necesitamos cambiar algo de lo que hacemos dentro de la organizaci—n. El Modelo EFQM es el modelo l’der en Europa y en todo el mundo, con m‡s de 50.000 organizaciones que lo utilizan. Caracter’sticas: - Estructura sistŽmica para una gesti—n de calidad total. - Permite a la organizaci—n aprender mediante la comparaci—n consigo misma. - Ayuda a la organizaci—n: ¥ En la planiÞcaci—n. ¥ En la deÞnici—n de estrategias. ¥ En el seguimiento de los programas. ¥ En la correcci—n de errores y de deÞciencias. La evaluaci—n, base de la Þlosof’a del Modelo EFQM: - Lo que no se mide, no se puede mejorar. Esa es la base de la Þlosof’a EFQM. Para mejorar la competitividad de una organizaci—n, es necesario saber d—nde est‡ y, a partir de ah’, identiÞcar los cambios y las acciones necesarias para avanzar en el camino hacia la excelencia en la gesti—n. - Con esta Þlosof’a de medici—n, las organizaciones logran identiÞcar un conjunto de puntos fuertes, para poder potenciarlos, y oportunidades de mejora, en base a los cu‡les poder deÞnir objetivos, prioridades y tomar decisiones fundamentales. El Modelo EFQM de Excelencia est‡ integrado por tres componentes: 1. Los Valores de la Excelencia: describen los cimientos esenciales para alcanzar una excelencia sostenida en el tiempo.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 2. El Modelo EFQM: permite comprender las relaciones causa - efecto que existen e entre lo que la organizaci—n hace (gesti—n) u lo que se consigue (resultados). 3. El Esquema REDER: proporciona una herramienta para analizar el rendimiento, para medir la madurez de la gesti—n de una organizaci—n. Criterios (9 bloques): 1. Liderazgo. Compromiso visible de los directivos en la creacionista de valores de calidad. - Orientaci—n a las personas. Misi—n, visi—n, valores, implicaci—n, motivaci—n, transparencia y conÞanza. Cultura de Liderazgo Compartido. - Gesti—n del cambio. Comprensi—n de cambios en el entorno. Flexibilidad y adaptaci—n r‡pida a las nuevas necesidades. - Orientaci—n a la gesti—n del negocio. Sistema de direccional, gobierno, Sistema de indicadores, Decisiones basadas en datos. - Relaciones externas. Clientes, mercados, asociaciones, proveedores clave, alianzas. 2. PlaniÞcaci—n y estrategia. La organizaci—n que se evalœa aplica su misi—n y visi—n a travŽs de una estrategia apoyada por las pol’ticas, planes, objetivos y procesos. - Captaci—n y an‡lisis de informaci—n. Necesidades y expectativas de GI: rendimiento y capacidad propia; an‡lisis DAFO. - Decisi—n de: objetivos estratŽgicos y l’neas de actuaci—n estratŽgicas.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Comunicaci—n e implantaci—n: objetivos espec’Þcos; programaci—n de planes y actuaciones. 3. Gesti—n del personal. Gesti—n, desarrollo y potenciaci—n de las personas de la organizaci—n, con el objetivo de dar soporte a la pol’tica estratŽgica y su mejora constante. - Responsabilidades. Implicaci—n activa: mejora de la eÞcacia y eÞciencia de los procesos; comunicaci—n interna. - Gesti—n de RRHH. Selecci—n, contrataci—n, habilidades, capacidades, competencias, formaci—n y desarrollo y clima laboral. 4. Recursos. PlaniÞcaci—n y gesti—n de los recursos internos y de relaciones de asociaci—n, a Þn de asegurar el logro de los objetivos. - Recursos econ—micos. - Gesti—n de la informaci—n y el conocimiento. - Gesti—n de la tecnologia. - Equipos, ediÞcios, materiales. - Aliados y proveedores. 5. Procesos. Dise–o, gesti—n y mejora de los procesos a Þn de generar valor a–adido y satisfacer a todos los grupos implicados. - Sistema de gesti—n: procesos y procedimientos. Indicadores y resultados, mejora de los procesos: eÞcacia y eÞciencia. - Productos y servicios. Necesidades; ciclo de dise–o; especiÞcaciones; contratos y compromisos; calidad en la prestaci—n del servicio; medidas de calidad, percepci—n, quejas y sugerencias. Criterios sobre los resultados: 1. Satisfacci—n del cliente. Grado de satisfacci—n de los distintos pœblicos o clientes/as, medido a travŽs de la recogida de opiniones y por indicadores internos. 2. Personal. Grado de satisfacci—n de las personas de organizaci—n, medido a travŽs de la recogida de opiniones y por indicadores internos. 3. Impacto en la sociedad. Grado de satisfacci—n de las necesidades y expectativas a escala local, nacional o internacional, medidlo a travŽs de la recogida de opiniones y por indicadores internos. 4. Resultados. Lo que est‡ logr‡ndoselas la organizaci—n respecto de los resultados previstos m‡s signiÞcativos. Fundaci—n Europea para la Calidad EFQM (versionŽis 2020 - 2024): El Modelo EFQM es un marco reconocido mundialmente que ayuda a las organizaciones a gestionar el cambio y mejorar su rendimiento. Dotar a la organizaci—n de un marco de creatividad, innovaci—n y pensamiento disruptivo resulta esencial para incrementar su valor y mejorar sus niveles de rendimiento. Se caracteriza por centrarse mucho m‡s en el futuro de la organizaci—n y mirar menos a los logros del pasado y supondr‡ un reto, pero tambiŽn una gran oportunidad para las organizaciones.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas El Modelo EFQM es el faro que nos permite alumbrar el futuro y transform‡rnoslas con Žxito. La estructura del Modelo EFQM se basa en una l—gica muy sencilla pero muy poderos y que responde a tres cuestiones:  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Bloque III. La pr‡ctica de la evaluaci—n institucional ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ V. MODELOS TEîRICOS DE AVALIACIîN; MODELOS DE CALIDADE; NORMAS / ESTçNDARES ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ Os indicadores dos instrumentos constrœense en base aÉ - Modelos te—ricos de avaliaci—n. - Modelos de calidade. - Normas / est‡ndares. 1. MODELOS TEîRICOS DE AVALIACIîN AUTOR MODELO PARADIGMA Tyler (1942) Orientado ao logro de obxectivos Provus (1971) Discrepante Positivista Suchman (1967) MŽtodo cient’Þco. Stake (1975) Respondente Parlett e Hamilton (1977) Iluminativo Interpretativo Scriven (1967) Sen metas Stufflebeam (1966) CIPP Eisner (1971) Cr’tica art’stica Susceptible de Wolf (1974) Contraposto complementariedade PŽrez Juste (1991) Inicial - procesual - Þnal 2. MODELOS DE CALIDADE MODELO DATA ORGANISMO DE XESTIîN Uni—n Xaponesa de Cient’Þcos e Deming 1951 Enxe–eiros (JUSE). Xap—n Fundaci—n para o premio de Malcolm Baldrige 1987 calidade Malcolm Baldrige. EEUU European Foundation for Quality EFQM 1988 Management (EFQM). Europa  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas MODELO DATA ORGANISMO DE XESTIîN Fundaci—n Iberoamericana para a Modelo iberoamericano 1998 xesti—n da calidade (FUNDIBEQ) 3. NORMAS / ESTçNDARES (que normas ou est‡ndares de calidade existen para o ‡mbito educativo?) Normas ISO: - En 1947 crŽase a Organizaci—n Internacional de Estandarizaci—n (ISO), - ISO Ž unha organizaci—n internacional non gubernamental independente e membro de 169 organismos nacionais de normalizaci—n de case todos os pa’ses do mundo. - Os organismos de normalizaci—n de cada pa’s producen est‡ndares internacionais de consenso, en xuntanzas onde est‡n presentes expertos da industria e de organismos estatais, que apoian a innovaci—n e proporcionan soluci—ns aos desaÞos globais. - As normas ISO apr—banse a travŽs dos representantes dos organismos de normalizaci—n de cada pa’s na sede central (Xenebra - Suiza). - As Normas Internacionais ofrecen especializaci—ns de calidade para produtos, servizos e sistemas para garantir a calidade, a seguridade e a eÞciencia. Son fundamentais para facilitar o comercio internacional. As normas apr—banse cando te–an o consenso de dœas terceiras partes dos representantes dos organismos de cada pa’s. - ISO publicou m‡is de 24.000 normas internacionais e documentos relacionados, que abarcan case todos os sectores industriais, desde tecnolox’a, seguridade alimentaria, agricultura e saœde. - De todas estas normas internacionais trataremos as que te–en relaci—n coa garant’a da calidade na xesti—n das organizaci—ns. Ñ> ISO 9000 Normas ISO. ISO 9000: - ISO 9000 Ž a denominaci—n de uso comœn para unha serie de normas internacionais de garant’a da calidade dentro das organizaci—ns. - As Normas ISO son revisadas polo menos cada 5 anos. Actualmente frito destas revisi—ns as Normas ISO 9000 engloban tres normas b‡sicas: 1. ISO 9000: 2015. Sistemas de xesti—n da calidade. Principios e vocabulario. 2. ISO 9001: 2015. Sistemas de xesti—n da calidade. Requisitos. 3. ISO 9004: 2018. Sistema de xesti—n da calidade. Recomendaci—ns para levar a cabo a mellora. - O certiÞcado de calidade do cumprimento dos requisitos das Normas ISO o realizan entidades ou organismos certiÞcadores, que te–en que ser acreditadas pola Entidade Nacional de Acreditaci—n, designada polo Goberno, para operar en Espa–a como o œnico Organismo Nacional de Acreditaci—n, en aplicaci—n del Reglamento (CE) n¼ 765/2008 que regula o funcionamento da acreditaci—n en Europa. - As persoas representantes destas entidades apoian en todo o proceso, e son as que Þnalmente fan unha auditor’a certiÞcando que cumpram cos requisitos. Este proceso pode durar como m’nimo entre 12 - 18 meses.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Todo este proceso ten un custo econ—mico, para a organizaci—n que busca a certiÞcaci—n, dif’cil de calcular plis depende de moitos factores. Van Den Berghe, W. (1998, p.24) estima que para unha soa organizaci—n pode ser Òentre 2500 e 10000 eurosÓ. Normas ISO. ISO 21001:2018 - O 30 de Maio de 2018 publicouse a ISO 21001:2018 ÒSistemas de Gesti—n para Organizaciones Educativas: Requisitos con orientaci—n para su usoÓ. - ƒ unha norma que se atopa parcialmente alienada coa normas ISO 9001:2015. Proporciona unha ferramenta de xesti—n comœn para as empresas educativas co obxectivo de mellorar os seus procesos e atender todas as necesidades e expectativas das persoas que utilizan os seus servizos. - Cubre todo o ciclo educativo dende a educaci—n inicial ata estudos de posgrado. Normas ISO. ISO/TS 21030:2023 - En outubro de 2023 publicouse a ISO/TS 21030:2023. ÒOrganizaciones educativas. Requisitos para los —rganos de auditor’a y certiÞcaci—n de los sistemas de gesti—n de las organizaciones educativasÓ. - DeÞne as normas aplicables as auditor’as e certiÞcaci—n dos sistemas de xesti—n das organizaci—ns educativas (EOMS) que se ajustan aos requisitos que se establecen na norma ISO 21001 (ou outros conxuntos de requisitos EOMS especiÞcados). Diferencia entre normas ou est‡ndares e modelos de calidade: As normas ou est‡ndares Þxan os requisitos m’nimos que deben cumprir os sistemas da calidade, si se quer conseguir a certiÞcaci—n correspondente (Dom’nguez e Lozano, 2003, p.80). Os modelos de calidade est‡n baseados en proposta realizadas por unha persoa ou grupos de expertos, co Þn de que as empresas cumpran uns est‡ndares previamente establecidos, para poder presentarse a un concurso para optar a un premio. (Dom’nguez e Lozano, 2003, p.70).  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ VI. MODELOS DE CALIDADE: EFQM / SELO EXCELENCIA EUROPEA EFQM / PREMIOS DE XESTIîN ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ 1. MODELOS DE CALIDADE Caracter’sticas comœns entre modelos de calidade: - Todos aval’an a Calidade Total / Excelencia da Empresa. - Todos outorgan un premio. - Centrarse principalmente na xesti—n eÞcaz das empresas. - Serven como modelo para a autoavaliaci—n das organizaci—ns. - Todos se iniciaron no ‡mbito empresarial e, co paso do tempo, algœns f—ronse adapt‡ndoselos a outros sectores como o educativo. Modelos de Calidade. Exemplo: Modelo EFQM (Adaptado de Dom’nguez e Lozano, 2003) - Eropean Foundation for Quality Management (Fundaci—n Europea para a Xesti—n da Calidade), foi creada por 14 empresas europeas. Todas ellas l’deres na industria electr—nica (Siemens, Philips, É) e na automoci—n (Audi, Volkswagen, É). - A sœa misi—n Ž mellorar a competitividade das organizaci—ns europeas mediante a mellora da sœa xesti—n. - En 1991 desenvolven o Modelo EFQM de Excelencia para a autoavaliaci—n e po–en en marcha o European Quality Award (Premio Europeo ‡ Calidade) que se entregou por primeira vez en 1992. 2. MODELO EFQM Adaptaci—n ao sistema educativo: - A Comisi—n Europea promove a utilizaci—n do modelo EFQM dende 1997, para a avaliaci—n das instituci—ns educativas. - En Espa–a Òo Ministerio de Educaci—n e Cultura, puxo en marcha no curso 1997 - 1998 os Plans Anuais de Mellora para os centros educativos que voluntariamente quixeran participar en dita experiencia. No curso 1997 - 1998 impl‡ntase nalgœns centros con car‡cter experimental o Modelo Europeo de Xesti—n de calidade, elaborado por un grupo creado polo Club de Xesti—n de Calidade, adapt‡ndome o modelo EFQM para o sector de centros educativos non universitariosÓ. (Estefan’a e L—pez, 2003, p.98) - No ano 2001 o Ministerio de Educaci—n e Cultura publica a Gu’a de autoavaliaci—n da calidade da xesti—n para centros educativos e casos pr‡cticos. Tr‡tase dunha adaptaci—n do modelo EFQM aos centros educativos, elaborada polo Ministerio en colaboraci—n co Club de Gesti—n de Calidad (representante en Espa–a de EFQM) e o Instituto de TŽcnicas de Estudio de la Confederaci—n Espa–ola de Centros de Ense–anza (ITE, CECE). (Mart’nez e RiopŽrez, 2005)  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Por exemplo, no modelo EFQM o subcriterio 1» do criterio Liderazgo, recoll’a: 1». Desenvolvemento da misi—n, visi—n e valores por parte dos l’deres, que actœan como modelo de referencia dentro dunha cultura de Excelencia. Na adaptaci—n ao ‡mbito educativo establece: 1». Desenvolvemento dos Þnes, obxectivos, e valores por parte do equipo directivo e de outros responsables, e actuaci—n destes tendo como referencia unha intenci—n de mellora continua. Na adaptaci—n tamŽn aparecen instrumentos para avaliar os criterios: - Empregando un cuestionario. - Usando un formulario. 3. SELOS DE EXCELENCIA EUROPEA Emprega o modelo EFQM, e Ž a marca que reconoce a xesti—n excelente das organizaci—ns reforz‡ndotelos a conÞanza dos clientes e distinguindo a organizaci—n fronte aos competidores. Enc‡rgase de gesti—nalo en Espa–a o Club de Excelencia en Gesti—n (asociaci—n privada sen ‡nimo de lucro), a travŽs de Entidades de CertiÞcaci—n Acreditadas por este Club (AENOR; BUREAU VERITAS; C‡mara CertiÞca; Eduqatia; SGS; T†VRheinland). Tipos de Selos: - EFQM 200+. - EFQM 300+. - EFQM 400+. - EFQM 500+. - EFQM 600+. - EFQM 700+. Custe econ—mico dos selos: - Hai que pagar unhas tarifas en funci—n do tama–o da organizaci—n e do tipo de avaliaci—n. - Non Ž sinxelo saber o custodiar exacto pois depende do tama–o da organizaci—n e do tipo de selo. 4. PREMIOS DE XESTIîN Hai varios tipos de premios: 1. Premio de Boas Pr‡cticas en Xesti—n. - A sœa Þnalidade Ž reco–ecer, fomentar e potenciar a difusi—n da xesti—n excelente, innovadora e sostible das organizaci—ns en calquera sector, a travŽs do intercambio de co–ecemento e experiencias. - Ten un total de 5 categorias: Sanidade; Universidade; Educaci—n; Grande Organizaci—n; Pyme.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas - Poden participar todas as organizaci—ns, pœblicas ou privadas, que te–an implantado unha boa pr‡ctica con resultados. Esta boa pr‡ctica ten que estar enmarcada dentro do Modelo EFQM. 2. Premio Nacional de Xesti—n Excelente, Innovadora e Sostible. - Ten como obxectivo reco–ecer e permitir ‡s organizaci—ns referentes en xesti—n para reforzar a conÞanza e reputaci—n do noso pa’s, fortalecendo a destacada posici—n no panorama internacional. - Consta de tres categor’as: gran organizaci—n; Pyme e 3¼ sector. - ƒ necesario ter o selo 500+ para poder presentarte. 3. Premio EFQM Global Award. - Reco–ecer a organizaci—ns destacadas de todo o mundo, xa sexan privadas, pœblicas ou sen ‡nimo de lucro. - Estas organizaci—ns demostrar un indiscutible historial de Žxito ‡ hora de converter a estratexia en acci—n e a mellora continua dos seus resultados. - Un equipo internacional de 4 a 8 profesionais experimentados e formados no proceso de avaliaci—n EFQM son os que aval’an estas organizaci—ns. - O informe desta avaliaci—n presŽntase a un xurado independente que decide o nivel de reco–ecemento de cada organizaci—n. A avaliaci—n externa e interna deber’a servir para dese–ar unha educaci—n respetuosa coas caracter’sticas do alumnado e as sœas necesidades. ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ VII. MODELOS TEîRICOS DE AVALIACIîN: Modelo CIPP ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ Modelo Cipp de Stufßebeam e ShinkÞeld (1987, pp. 175 - 233): - CIPP = Contexto, Entrada, Proceso, Producto. - Pop—n estudar o centro con intencionalidade formativa. - A funci—n deste modelo Ž facilitar o perfeccionamento do obxecto avaliado (centro educativo) durante todo o proceso educativo. - Presenta catro tipos de avaliaci—n: 1. De contexto. 2. De entrada. 3. De proceso. 4. De produto. 1. AVALIACIîN DO CONTEXTO  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas Obxectivo. ÒDeÞnir o contexto institucional, identiÞcar a poboaci—n obxecto de estudo e valorar as sœas necesidades, identiÞcar as oportunidades de satisfacer necesidades, diagnosticar os problemas que emerxen das necesidades e xulgar se os obxectivos propostos son o suÞcientemente coherentes coas necesidades valoradasÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) MŽtodo. ÒUtilizaci—n de mŽtodos como a an‡lise de sistemas, a inspecci—n, a revisi—n de documentos, as audici—ns, as entrevistas, os test diagn—sticos e a tŽcnica DelphiÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) Relaci—n coa toma de decisi—ns no proceso de cambio. ÒDecidir o marco que debe ser abarcado, as metas relacionadas coas satisfacci—n de necesidades ou a utilizaci—n das oportunidades e os obxectivos relacionados coa soluci—n de problemas, por exemplo, a planiÞcaci—n dos cambios necesarios. E proporcionar unha base para xulgar os resultadosÓ. (Stufßebeam e ShinkÞeld, 1987, p.195) 2. AVALIACIîN DE ENTRADA Obxectivo. ÒIdentiÞcar e valorar a capacidade do sistema, as estratexias de programa alternativas, a planiÞcaci—n de procedimentos para levar a cabo as estratexias, os presupostos e os programasÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) MŽtodo. ÒInventariar e analizar os recursos humanos e materiais dispo–ibles, as estratexias de soluci—n e as estratexias de procedemento referentes a sœa aplicabilidade, viabilidade e economia. E utilizar mŽtodos como a busca da bibliograÞa, as visitas a programas exemplares, os grupos asesores e ensaios pilotoÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) Relaci—n coa toma de decisi—ns no proceso de cambio. ÒSeleccionar os recursos de apoio, as estratexias de soluci—n e as planiÞcaci—ns de procedementos, isto Ž, estaturar as actividades de cambio. E proporcionar unha base para xulgar a realizaci—nÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) 3. AVALIACIîN DO PROCESO Obxectivo. ÒIdentiÞcar ou prognosticar, durante o proceso, os defectos da planiÞcaci—n do procedimiento ou da sœa realizaci—n, proporcionar informaci—n para as decisi—ns preprogramadas e describir e xulgar as actividades e aspectos do procedementoÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) MŽtodo. ÒControlar as limitaci—ns potenciais do procedemento e permanecer alerta ante as que non se esperaban, mediante a obtenci—n de informaci—n espec’Þca das decisi—ns programadas, a descrici—n do proceso real, a continua interacci—n co personal do proxecto e a observaci—n das sœas actividadesÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) Relaci—n coa toma de decisi—ns no proceso de cambio. ÒLevar a cabo e perfeccionar a planiÞcaci—n e os procedementos do programa, isto Ž, efectuar un control do proceso. E  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas proporcionar un esbozo do proceso real para utilizalo m‡is tarde na interpretaci—n dos resultadosÓ. (Stufßebeam e ShinkÞeld, 1987, p.195) 4. AVALIACIîN DO PRODUTO Obxectivo. ÒRecopilar descrici—ns e xu’zos acerca dos resultados e relacionalos cos obxectivos e a informaci—n proporcionada polo contexto, pola entrada de datos e polo proceso, e interpretar o seu valor e o seu mŽritoÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) MŽtodo. ÒDeÞnir operacionalmente e valorar os criterios dos resultados, mediante a recompilaci—n dos xu’zos dos clientes e a realizaci—n de an‡lises cualitativas e cuantitativasÓ. (Stufßebeam e ShinkÞeld, 1987, p.194) Relaci—n coa toma de decisi—ns no proceso de cambio. ÒDecidir a continuaci—n, Þnalizaci—n, modiÞcaci—n ou readaptaci—n da actividad de cambio. E presentar un informe claro dos efectos (desexados e non desexados, positivos e negativos)Ó. (Stufßebeam e ShinkÞeld, 1987, p.195) Casanova (1992, p.112) bate‡ndose no modelo CIPP establece a seguinte proposta: Tipo de avaliaci—n Compo–entes avaliados Modelo CIPP Inicial 1. Entorno (1.1 ata 1.3) Avaliaci—n do contexto 2. Instalaci—ns e recursos (2.1) 3. Persoal (3.1 ata 3.5) 4. Estrutura organizativa e Avaliaci—n de entrada direcci—n (4.1 ata 4.4) 5. Experiencias e innovaci—n ()5.1 ata 5.2) 6. Funcionamento interno (6.1 ata 6.16) Procesual Avaliaci—n do proceso 7. Relaci—ns coa comunidade (7.1 ata 7.6) Final 8. Resultados (8.2 ata 8.4) Avaliaci—n do produto Exemplos de indicadores segundo a proposta avaliativa de Casanova (1992, pp.114 - 122) baseada no modelo CIPP:  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas TIPO DE COMPO„ENTES INDICADORES SUBCOMPO„ENTES AVALIACIîN AVALIADOS - Nivel cultural das familias. - Nivel econ—mico do barrio. 1.1 Situaci—n do: - Tempo que o alumno/a dedica a ver a televisi—n. a) Medio familiar - Existen nos arredores do centro: b) Medio laboral hospitais, f‡bricas, empresas. c) Medio sociocultural - Hai nas proximidades do centro: parques, instalaci—ns polideportivas. - As instalaci—ns polideportivas est‡n dispo–ibles para o centro. - As empresas situadas no entorno 1.2 Utilidade do acceden a colaborar nas actividades do entorno centro: visitas, pr‡cticas en alternancia, iNICIAL 1. Entorno orientaci—n profesional, É - Os servizos educativos de apoio responden ‡s necesidades do centro. - O centro cede os seus locais para actividades socioculturais for do horario escolar. - O centro colabora coas instituci—ns no coidado do entorno. - O centro propicia actividades conjuntas 1.3 Integraci—n do con organismos ou empresas do centro no entorno entorno. - Existen unha ou varias Þchas para a recollida de datos relativos ao ediÞcio, ao equipamento e aos recursos did‡cticos dispo–ibles e o seu estado de conservaci—n. - Existe unha Þcha onde poda reßectores 2.1 Situaci—n do o presuposto dispo–ible, a sœa 2. Instalaci—ns e ediÞcio: Equipamento, distribuci—n e a sœa proposta de gasto. INICAL - recursos presuposto, servizos, O centro conta con: comedor escolar, recursos did‡cticos transporte escolar, servizo de orientaci—n, servizo mŽdico. - Existen unha ou varias Asociaci—ns de Nais e Pais do alumnado do centro. - Os pais e as nais participan INCIAL 3. Persoal 3.4 Familias responsablemente no Conselho Escolar. - Os pais e nais fanse cargo dalgœn servizo escolar - Ten capacidade de liderazgo entre o profesorado. - Manifesta explicitamente as expectativas que ten sobre o traballo do profesorado. 6.1 Equipo directivo - Utiliza as necesidades detectas cando planiÞca programas de desenvolvemento 6. Funcionamento convenientes para a mellora de calidade PROCESUAL do centro. interno  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas TIPO DE COMPO„ENTES INDICADORES SUBCOMPO„ENTES AVALIACIîN AVALIADOS interno - O profesorado elabora e segue a programaci—n de aula. - O profesorado asiste a cursos de 6.6 Profesorado perfeccionamento. - O profesorado valora positivamente o traballo en equipo. - As familias participan activamente no funcionamento doc centro. 8.3 Satisfacci—n e - As instituci—ns colaboran na boa marcha FINAL 8. Resultados integraci—n da do centro. comunidade educativa - A Asociaci—n de Nais e Pais sŽntese tica en conta cando manifest— opini—ns para a mellora do centro. ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ VIII. PROCESO DE AVALIACIîN ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ 1. FASES DUN PROCESO DE AVALIACIîN Existen diferentes modelos e todos son igual de v‡lidos. ClasiÞcaci—n segœn Mateo (2000, p.37): 1. PlaniÞcaci—n. Establecer proposito, Þnalidade, funci—n, xu’xos a emitir, decisi—ns potenciais, audiencias, obxectos de avaliaci—n, fontes de informaci—n, procedementos, axentes e temporalizaci—n. 2. Desenvolvemento. Recollida, codiÞcaci—n, rexistro, an‡lise, etc, Ž dicir tratamento da informaci—n. 3. Contrastaci—n. An‡lise de resultados, formulaci—n de xu’zos (interpretaci—n, clasiÞcaci—n, e comparaci—n), toma de decisi—ns, divulgaci—n de resultados, negociaci—n coas audiencias e seguemento. 4. Metaavaliaci—n. Avaliaci—n da avaliaci—n. ClasiÞcaci—n das fases de avaliaci—n segundo Mateo (2000) citado por Lukas e Santiago (2004, pp.154-155): 1. An‡lise de necesidades. 2. Elecci—n e concreci—n dos obxectivos de avaliaci—n. 3. Procedimientos, recursos e normas. 4. A an‡lise e a interpretaci—n da informaci—n. 5. O informe avaliativo e a toma de decisi—ns. 6. Uso intensivo e extensivo da informaci—n.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 7. A metaavaliaci—n. ClasiÞcaci—n segundo Lukas e Santiago (2004): 1.1 - FASE 1: Delimitar a Þnalidade e o alcance da avaliaci—n OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - Necesidade da avaliaci—n - Uso que se far‡ dos resultados - IdentiÞcaci—n das audiencias 1. ClariÞcar a orixe e a necesidade da avaliaci—n - Quen utilizar‡ os resultados - IdentiÞcaci—n das persoas que encargaron a avaliaci—n - IdentiÞcaci—n da metodolox’a e das tŽcnicas avaliativas susceptibles de ser utilizadas - Calidade do programa en canto a poder ser avaliado 2. Valorar a viabilidade da avaliaci—n - Obst‡culos que podan producirse durante a avaliaci—n - Estimaci—n dos recursos necesarios (materiais e humanos) para levar a cabo a avaliaci—n - Delimitaci—n do presuposto - Partes interesresadas que estar‡n integradas 3. Formar o equipo de avaliaci—n - Credibilidade do equipo avaliador 4. Determinar a Þnalidade e o obxecto de - Prop—sito da avaliaci—n avaliaci—n - DeÞnici—n do obxecto de avaliaci—n - Avaliaci—n formativa - Avaliaci—n cualitativa, cuantitativa ou mixta 5. Decidir a natureza da avaliaci—n - Selecci—n do modelo de avaliaci—n - Dese–o de avaliaci—n 1.2 - FASE 2: PlaniÞcaci—n da avaliaci—n OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - Selecci—n das preguntas que debe responder a avaliaci—n. 1. EspeciÞcar os criterios de avaliaci—n e a - Selecci—n das persoas que participar‡n na cuesti—ns espec’Þcas ‡s que a avaliaci—n debe elaboraci—n das preguntas de avaliaci—n. responder - Selecci—n dos criterios e referentes que se utilizar‡n para responder ‡s preguntas da avaliaci—n.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - IdentiÞcaci—n da informaci—n necesaria. - Elecci—n do dese–o da avaliaci—n. - Elecci—n dos procedementos que se utilizar‡n e a persoa que os aplicar‡. 2. PlaniÞcar a recollida de informaci—n - IdentiÞcaci—ns das fontes de informaci—n. - IdentiÞcar os potenciais sesgos que podan producirse durante a recollida de informaci—n. - Temporalizaci—n das tarefas avaliativas 1.3 - FASE 3: Tratamento da informaci—n OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - Selecci—n dos instrumentos necesarios. - Elaboraci—n dos instrumentos necesarios. 1. Seleccionar ou no seu caso elaborar os - Selecci—n da mostra. instrumentos de recollida de datos - Fiabilidade e validez dos instrumentos. - Aplicaci—n dos instrumentos. - IdentiÞcaci—n das formas de almacenamiento da informaci—n. 2. Analizar a informaci—n cuantitativa e - IdentiÞcar os criterios que guiar‡n as an‡lises. cualitativa - IdentiÞcaci—n das tŽcnicas estat’sticas. - An‡lise da informaci—n cualitativa. - IdentiÞcaci—n de patr—ns cos que se comparar‡n os resultados. - IdentiÞcaci—n dos niveis que deben presentar os 3. Interpretar a informaci—n resultados para emitir un xu’zo positivo. - F o r m u l a c i — n d e x u ’ z o s ( i n t e r p re t a c i — n , clasiÞcaci—ns e comparaci—ns). 1.4 - FASE 4: Elaboraci—n do informe e difusi—n dos resultados OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - IdentiÞcar as persoas coas que se negociar‡n as 1. Desenvolver e contrastar a informaci—n interpretaci—ns. - Contrastaci—n das interpretaci—ns. - Contido do (dos) informe(s). 2. Elaborar o informe - Informaci—n ‡s audiencias. - Exposici—n / divulgaci—n dos resultados. - Publicaci—n do informe. 3. Difundir os resultados - Toma de decisi—ns. - Seguemento.  Noa Garc’a Pazos Avaliaci—n de servizos e instituci—ns educativas 1.5 - FASE 5: Metaavaliaci—n: avaliar a calidade da avaliaci—n efectuada OBXECTIVOS ASPECTOS A RESOLVER OU ACLARAR - IdentiÞcaci—n da audiencia ou dos interesados. - A conÞanza / credibilidade do avaliador. 1. A utilidade da avaliaci—n, Ž dicir, avaliar se se - A selecci—n e alcance da informaci—n. satisfacen as necesidades pr‡cticas de - A interpretaci—n valorativa e identiÞcaci—n de informaci—n de audiencias valores. - A claridade, difusi—n e oportunidade do informe. - A transcendencia e impacto da avaliaci—n. - Os procedementos pr‡cticos. 2. A factibilidad ou viabilidade da avaliaci—n, Ž - A viabilidade pol’tica. dicir, avaliar si a avaliaci—n realizada foi realista, - A relaci—n coste / producto axustada ou eÞcacia prudente diplom‡tica e econ—mica de costos.