Konwersatorium 4 - Skuteczność Polityki Innowacyjnej

Skuteczność Polityki Innowacyjnej

• Prezentacja dotyczy skuteczności polityki innowacyjnej.
• Autor to dr hab. Marta Mackiewicz.

Agenda

• Definicja i cele ewaluacji.
• Skuteczność a efektywność.
• Strategia i mierniki celu.
• Zbieranie danych do ewaluacji - nowe metody i techniki.

Definicja Ewaluacji

• Systematyczna i obiektywna ocena planowanego, trwającego lub zakończonego projektu, programu lub polityki, kształtu, procesu wdrażania i rezultatów.
• Użycie zróżnicowanych metod badań społeczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o jakości i wartości programów publicznych.

Cele Ewaluacji

• Uzyskanie rzetelnych informacji na temat skuteczności polityki (i/lub jej narzędzi).
• Wykorzystanie wyników ewaluacji w procesie decyzyjnym i tworzenia nowych narzędzi (evidence-based policy).
• Zidentyfikowanie wartości i/lub znaczenia działania, polityki (programu).
• Poprawa jakości projektowania i wdrażania nowych polityk (programów, narzędzi) z uwzględnieniem kryteriów takich jak: skuteczność, efektywność, trafność, spójność, wartość dodana itd.

Cel Ewaluacji wg KE

• Zgodnie z Rozporządzeniem Rady nr 1083/2006 ewaluacja ma na celu poprawę jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych, w odniesieniu do konkretnych problemów strukturalnych państw członkowskich i regionów, z jednoczesnym uwzględnieniem trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko.

Ewaluacja a Cykl Życia Polityki

• Analiza problemu.
• Formułowanie polityki.
• Ewaluacja ex-ante.
• Wdrażanie polityki.
• Monitoring.
• Ewaluacja mid-term.
• Ewaluacja ex-post.

Kluczowe Pytania dla Ewaluacji

• Zasadność polityki.
• Efekty.
• Skuteczność/efektywność.

Funkcje Ewaluacji

• Poprawianie planowania.
• Poprawa wdrażania i kontrola jakości.
• Wzmocnienie odpowiedzialności.
• Wspieranie procesów uczenia się.
• Wzmacnianie partnerstwa i poczucia współwłasności.

Podstawowe Typy Ewaluacji

• Ewaluacje strategiczne – ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych.
• Ewaluacje operacyjne – wsparcie procesu monitorowania programów operacyjnych.

Rodzaje Ewaluacji

• Ewaluacja ex ante - przed wdrożeniem.
• Ewaluacja bieżąca (on-going) - w trakcie wdrażania.
• Ewaluacja śródokresowa (mid-term) - połowa okresu wdrażania.
• Ewaluacja ex post - po zakończeniu.

Ewaluacja Ex-ante

• Analiza rezultatów wcześniejszych ewaluacji.
• Analiza słabych, mocnych stron i potencjału.
• Ocena strategii.
• Kwantyfikacja celów.
• Ewaluacja oczekiwanego wpływu.
• Ocena zarysu procesu wdrażania.

Ewaluacja Mid-term

• Narzędzie zarządzania.
• Ukierunkowana głównie na proces wdrażania.
• Małe możliwości oceny oddziaływania.

Ewaluacja On-going

• Zmiany w programie (np. społeczno-gospodarcze).
• Odchylenia pomiędzy planowaną a rzeczywistą realizacją.

Ewaluacja Ex-post

• Główny nacisk na skuteczność programu.
• Często niewystarczające dane i niska jakość informacji.

Czemu Służy Ewaluacja

• Wspieranie procesu decyzyjnego.
• Dostarczenie rzetelnych informacji o obiekcie.
• Ocena stopnia wypełnienia założeń.
• Ocena zasadności i znaczenia interwencji.
• Element zarządzania.
• Poprawa jakości.
• Spójność.
• Skuteczność interwencji publicznych.

Potrzeby a Interwencja

• Analiza aktualnej sytuacji społeczno-gospodarczej.
• Zidentyfikowanie problemów lub potrzeb.
• Analiza, czy program rozwoju społeczno-gospodarczego jest odpowiednim instrumentem.
• Analiza, do jakiego stopnia dany cel zostanie zrealizowany przy danym budżecie lub jaki budżet jest niezbędny do osiągnięcia założonego celu.

Skuteczność a Efektywność

• Skuteczność - osiągnięcie zamierzonego celu (np. poprawa jakości powietrza).
• Efektywność - stosunek efektów do nakładów (np. koszt jednostkowy).
• Różnica - skuteczność nie zawsze jest efektywna, a efektywność oznacza najmniejszy koszt dla pożądanego rezultatu.
• Zadanie dla studentów – porównanie.

Skuteczność a Efektywność (kontynuacja)

• Podstawowe założenie: rząd powinien dostarczać efektywne usługi i wprowadzać skuteczne programy.
• Efektywność w kontekście produktów/usług dostarczanych przez rząd.
• Skuteczność w kontekście rezultatów i wpływu programów na społeczeństwo.
• Trudności w mierzeniu rezultatów.
• Produkty jako użyteczne miary dla rządu. (łatwo przekazywane do społeczeństwa).

Efektywność - Ujęcie Prakseologiczne

• Zasada wydajności - zwiększenie efektów przy danych nakładach.
• Zasada oszczędności - zmniejszenie nakładów przy danych efektach.

Ramy Koncepcyjne Ewaluacji

• Schemat/diagram przedstawiający elementy i ich powiązania w procesie ewaluacji.
• Pojęcia związane z procesem ewaluacji.

Wskaźniki Skuteczności i Efektywności

• Wskaźniki na różnych poziomach programowania (cele, działania, priorytety, program).
• Połączenie z produktami, rezultatami i oddziaływaniem.

Metody Ewaluacji

• Ilościowe (ekonometryczne, statystyczne).
• Jakościowe (wywiady, studia przypadków).
• Metody mieszane.
• Zastosowanie Big Data.

Metody Jakościowe

• Poznanie postaw i zachowań w ich naturalnym otoczeniu.
• Uchwycenie procesów społecznych.
• Zrozumienie kontekstu.
• Nienumeryczne i niekwantyfikowalne dane.

Metody Ilościowe

• Badania ankietowe.
• Benchmarking.
• Analiza ekonomiczna/finansowa (CBA).
• Modelowanie.

Wykorzystanie Dużych Zbiorów Danych (Big Data)

• Zmiana skali źródeł i narzędzi.
• Wymogi w polityce badawczo-rozwojowej i innowacyjnej (platformy techniczne, ontologie).

Efekty Dodatkowe Polityki (Additionality)

• Zmiana w poziomie finansowania wydatków firm na B+R.
• Wpływ publicznego wsparcia na decyzje firmy (nowe produkty, usługi, procesy).
• 3 rodzaje efektów dodatkowych (input, output, behavioural).

Wyzwania związane z Ewaluacją

• Identyfikacja efektów (pośrednich/bezpośrednich, mierzalnych/niemierzalnych).
• Przypisanie efektów do polityki/narzędzi.
• Oceny efektów opóźnionych w czasie.
• Niedostatek danych.
• Niska obserwowalność niektórych efektów.
• Zmienność firm objętych programem.

Źródła Informacji

• Dane z oficjalnych statystyk.
• Dane z pomiaru.
• Problemy: dostępność, dezakregacja, opóźnienia w publikacji, braki w oficjalnych statystykach w kontekście wymagan programowania.

Quiz bada skuteczność polityki innowacyjnej, koncentrując się na ewaluacji i narzędziach analitycznych. Obejmuje definicje, cele ewaluacji oraz strategie zbierania danych. Sprawdź swoją wiedzę na temat nowoczesnych metod oceny polityk publicznych.