Konwersatorium 4 Skuteczność Polityki Innowacyjnej PDF

SKUTECZNOŚĆ POLITYKI INNOWACYJNEJ AGENDA  Definicja i cele ewaluacji  Skuteczność a efektywność  Strategia i mierniki celu  Zbieranie danych do ewaluacji - nowe metody i techniki DEFINICJA EWALUACJI ❑ Systematyczna i obiektywna ocena planowanego, trwającego lub zakończonego projektu, progr...

SKUTECZNOŚĆ POLITYKI INNOWACYJNEJ AGENDA  Definicja i cele ewaluacji  Skuteczność a efektywność  Strategia i mierniki celu  Zbieranie danych do ewaluacji - nowe metody i techniki DEFINICJA EWALUACJI ❑ Systematyczna i obiektywna ocena planowanego, trwającego lub zakończonego projektu, programu czy polityki, ich kształtu, procesu wdrażania i rezultatów. ❑ Użycie zróżnicowanych metod badań społeczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o jakości i wartości programów publicznych CELE EWALUACJI ✓ Uzyskanie rzetelnych informacji na temat skuteczności polityki (i/lub jej narzędzi) ✓ Wykorzystanie wyników ewaluacji w procesie decyzyjnym i tworzenia nowych narzędzi (tzw. evidence –based policy). ✓ Zidentyfikowanie wartości i/lub znaczenia działania, polityki (programu). ✓ Poprawa jakości projektowania i wdrażania nowych polityk (programów, narzędzi) z uwzględnieniem kryteriów takich jak: skuteczność, efektywność, trafność, spójność, wartość dodana, itp. CEL EWALUACJI WG KE Zgodnie z Rozporządzeniem Rady nr 1083/2006 ewaluacja ma na celu poprawę: „jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”. EWALUACJA A CYKL ŻYCIA POLITYKI Analiza problemu Formułowanie polityki Ewaluacja Ewaluacjaex-post Ex ante evaluation Ewaluacja ex-ante Monitoring Wdrażanie polityki Ewaluacja mid-term KLUCZOWE PYTANIA, NA KTÓRE MA ODPOWIADAĆ EWALUACJA  Ewaluacja dotyczy: zasadności polityki (czy podmiot do którego skierowana jest polityka/narzędzia robi to, co trzeba?), efektów (jakie są wyniki działania polityki/narzędzia?), skuteczności/efektywności (czy można zrobić to lepiej?) FUNKCJE EWALUACJI 1. Poprawianie planowania 2. Poprawa wdrażania i kontrola jakości 3. Wzmocnienie odpowiedzialności 4. Wspieranie procesów uczenia się 5. Wzmacnianie partnerstwa i poczucia współwłasności 8 PODSTAWOWE TYPY EWALUACJI ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych 9 RODZAJE EWALUACJI  Ewaluacja ex ante – na etapie projektowania, przed wdrożeniem polityki (programu, narzędzia)  Ewaluacja bieżąca (on-going) – w trakcie funkcjonowania polityki /programu/ narzędzia  Ewaluacja śródokresowa (mid-term) - pomiar efektów realizacji polityki/ programu w połowie okresu jego wdrażania.  Ewaluacja ex post – mierzenie wpływu (impact) polityki /programu/ narzędzia EWALUACJA EX-ANTE Analiza rezultatów wcześniejszych ewaluacji Analiza słabych, mocnych stron i potencjału Ocena strategii Kwantyfikacja celów Ewaluacja oczekiwanego wpływu Ocena zarysu procesu wdrażania 11 EWALUACJA MID-TERM  Narzędzie zarządzania  Ukierunkowana głównie na proces wdrażania  Małe możliwości oceny oddziaływania 12 EWALUACJA ON-GOING W przypadku koniecznych zmian w programie, np. w wyniku zmian społeczno-gospodarczych Gdy monitoring wykazuje odchylenia pomiędzy planowaną a rzeczywistą realizacją 13 EWALUACJA EX-POST  Główny nacisk na skuteczność programu  Często niewystarczające dane i niska jakość informacji 14  CZEMU SŁUŻY EWALUACJA  Wspieranie procesu decyzyjnego  Dostarczanie rzetelnej i przydatnej informacji o obiekcie badania  Ocena stopnia w jakim dana interwencja wypełniła założenia  Ocena zasadności interwencji i jej znaczenia  Element zarządzania poprzez cele  Element „przejrzystego i efektywnego zarządzania  Podnoszenie jakości  Spójności  Skuteczności interwencji publicznych 15  POTRZEBY A INTERWENCJA  Analiza aktualnej sytuacji społeczno-gospodarczej w celu zidentyfikowania problemów lub potrzeb  Czy pogram rozwoju społeczno-gospodarczego finansowany ze środków publicznych (wkład finansowy) jest odpowiednim instrumentem odpowiadającym na te potrzeby?  Do jakiego stopnia dany cel zostanie zrealizowany przy dostępności określonego budżetu? lub jaki budżet należy przeznaczyć, by osiągnąć wyznaczony cel? 16 SKUTECZNOŚĆ A EFEKTYWNOŚĆ Zadanie dla studentów – praca w grupach Po przeczytaniu tekstu, wykorzystując wiedzę z ekonomii proszę wskazać: Czym różni się efektywność od skuteczności? – wymień co najmniej 3 różnice SKUTECZNOŚĆ A EFEKTYWNOŚĆ  Skuteczność jest pojęciem nieekonomicznym dotyczy osiągnięcia zamierzonego skutku (rezultatu) - np. likwidacja hałasu, poprawa jakości powietrza itp.  Efektywność (ang. efficiency) - relacja uzyskanych efektów do poniesionych nakładów. Działanie efektywne - korzyści netto z jego podjęcia – największe z możliwych.  Wg V. Pareto - taka alokacja czynników produkcji, przy której jest niemożliwe zwiększenie produkcji jednego dobra bez zmniejszenia produkcji innego dobra.  W praktyce: relacja: produkty/nakłady (produktywność) lub koszty (wydatki) / produkty (koszt jednostkowy).  Ewaluacja dokonywana jest z uwzględnieniem kryteriów: trafność, skuteczność, użyteczność, trwałość, efektywność SKUTECZNOŚĆ A EFEKTYWNOŚĆ  Podstawowe założenie: rząd powinien dostarczać efektywnych usług i wprowadzać skuteczne programy  Efektywność w odniesieniu do produktów – dóbr i usług dostarczanych przez rząd  Skuteczność w odniesieniu do rezultatów – wpływu programów rządowych na społeczeństwo  Rezultaty są najważniejszym wymiarem działalności, ale trudne do mierzenia – niejednoznaczne związki środków i celów  Produkty są użytecznymi miarami, rządowi łatwo jest prezentować produkty społeczeństwu 19 EFEKTYWNOŚĆ – UJĘCIE PRAKSEOLOGICZNE  Zasada wydajności – poprawa efektywności oznacza zwiększenie efektów przy danych nakładach  Zasada oszczędności – poprawa efektywności oznacza zmniejszenie nakładów przy danych efektach RAMY KONCEPCYJNE EWALUACJI C. Pollitt, G. Bouckaert, Public Management Reform: A ComparativeAnalysis –New Public Management, Governance, and the Neo- WeberianState, 2016, s. 16, cyt za: R. Szarfenberg: Kryteria ewaluacji efektywność WSKAŹNIKI SKUTECZNOŚCI I EFEKTYWNOŚCI NA RÓŻNYCH POZIOMACH PROGRAMOWANIA Cele Wskaźniki Skuteczność Efektywność Produkty w Osiągnięte/ Działanie Produkt rzeczowy porównaniu do zakładane produkty kosztów Rezultaty w Rezultat Osiągnięte/ Priorytet porównaniu do (oddziaływanie) zakładane rezultaty kosztów Osiągnięte/ Oddziaływanie w Oddziaływanie Program zakładane porównaniu do (rezultat) oddziaływanie kosztów METODY EWALUACJI  Ilościowe (ekonometryczne, statystyczne, mierzenie efektów dodatkowych – tzw. additionality)  Jakościowe – np. wywiady pogłębione, wywiady ustrukturyzowane, studia przypadków (case study) Słabe strony: Brak możliwości generalizacji wyników, Subiektywizm we wnioskach  Metody mieszane - nowe indywidualne metody oceny i kombinacje. Cel: zrozumieć „dlaczego” i „ile” Przykład: studia przypadków mające na celu zbadanie/zrozumienie zmiany zachowania beneficjentów polityki/programu/narzędzia Słabe strony: nie jest przydatna do gromadzenia zbiorczych danych, umożliwia tylko generalizację analityczną (nie statystyczną) oraz tylko konfrontację znanej teorii z wynikami empirycznymi METODY JAKOŚCIOWE  Odpowiednie do poznania tych postaw i zachowań, które najlepiej można zrozumieć w ich naturalnym otoczeniu  Pozwalają na uchwycenie procesów społecznych w czasie ich trwania  Celem jest zrozumienie kontekstu  Dają rezultat w postaci nienumerycznych, niekwantyfikowalnych danych  Dane nie wymagają agregacji  Proces zbierania danych mniej ustrukturyzowany niż w przypadku badań ilościowych 24 METODY ILOŚCIOWE  Badania ankietowe - Zbieranie informacji od całej populacji lub reprezentatywnej próby  Benchmarking - poszukiwanie racjonalnych sposobów działania oraz najlepszych rozwiązań w funkcjonowaniu badanych organizacji w celu ich twórczego naśladowania przez inne podmioty  Analiza ekonomiczna i finansowa (analiza kosztów, CBA)  Modelowanie (modele Oparte na teorii ekonomicznej i oparte na danych historycznych) 25 WYKORZYSTANIE DUŻYCH ZBIORÓW DANYCH - BIG DATA  "Stopniowa zmiana skali i zakresu źródeł materiałów (oraz narzędzi do manipulowania tymi źródłami) dostępnych w odniesieniu do danego obiektu zainteresowania" (Taylor, Schroeder and Meyer (2014, p.1)  Wymogi dotyczące wykorzystywania dużych zbiorów danych w polityce badawczo- rozwojowej i innowacyjnej: 1) platformy techniczne do przechowywania, łączenia i udostępniania danych 2) wspólne ontologie dla różnych rodzajów badań i rozwoju oraz innowacji, różnych rodzajów organizacji, różnych systemów badań i rozwoju oraz wspierania innowacji, różnych rodzajów efektów i innych zmiennych (oraz odpowiadających im wskaźników). EFEKTY DODATKOWE POLITYKI – (ADDITIONALITY)  Dodatkowe efekty (additionality) - zmiana w poziomie finansowania wydatków firmy na B+R wpływa na zmianę w ogólnej sytuacji firmy oraz podejmowanych przez nią decyzjach, które to zjawiska nie pojawiłaby się bez publicznego programu wsparcia lub subsydiowania (Buisseret et. al., 1995).  3 rodzaje efektów dodatkowych ✓ zmiany poziomu wewnętrznych wydatków firm na B+R, która to zmiana wynika z pozyskania funduszy publicznych (input additionality) ✓ efekt dodatkowy stymulujący wyniki (output additionality) – nowe produkty, usługi, procesy, modele biznesu i wpływ na efektywność firmy ✓ efekt dodatkowego stymulującego zachowanie (behavioural additionality) – wsparcie publiczne pozyskane przez firmę na B+R wpływa na kształt i stan prowadzonej przez nią współpracy WYZWANIA ZWIĄZANE Z EWALUACJĄ Praca w grupach: Jesteście grupą ewaluującą narzędzie wsparcia innowacji jakim są granty na B+R. ZADANIE:  Proszę zidentyfikować główne wyzwania związane z przeprowadzeniem ewaluacji. WYZWANIA ZWIĄZANE Z EWALUACJĄ  identyfikacja efektów pośrednich i bezpośrednich (w tym efekty mierzalne /niemierzalne);  przypisanie efektów do konkretnej polityki/narzędzi polityki  oszacowanie efektów opóźnionych w czasie;  niedostatek danych;  niska obserwowalność niektórych efektów (w tym efekty zewnętrzne tzw. spillover effects);  zmienność firm objętych programem/narzędziem/polityką (zmiany strategii, działania, priorytetów rozwoju itp.) ŹRÓDŁA INFORMACJI  Dane pochodzące z oficjalnych statystyk  Dane pochodzące z pomiaru Problemy:  niedostępność danych na odpowiednim poziomie geograficznym;  niedostępność danych, które są dostatecznie zdezagregowane na sektory,  opóźnienia w publikacji danych,  braki w oficjalnych statystykach w kontekście wymagań programu 30  Dziękuję za uwagę [email protected]