Hoe wordt het bedrijvenbeleid geëvalueerd?

Toegepaste onderzoeksmethoden

In de afgelopen 8 jaar zijn de aanbevelingen van de commissie Theeuwes de leidraad geweest bij alle evaluaties die bij EZK zijn uitgevoerd in het kader van het bedrijvenbeleid. Klik hier voor een overzicht over de  periode 2012-2017. De zogenaamde Theeuwes-aanpak betekent concreet dat - zo veel als technisch mogelijk is – de gebruikers van instrumenten worden vergeleken met een controlegroep. Wanneer deze aanpak om methodologische redenen niet mogelijk blijkt, wordt er gekeken naar andere manieren om de werking van beleid zo goed mogelijk in beeld te brengen. Interviews en enquêtes maken ook deel uit van de evaluaties als aanvulling op de kwantitatieve werkwijze. Zij bieden immers aanvullende informatie over ervaringen en percepties van bedrijven en kunnen statistische samenhangen duiden. Uiteindelijk gaat het er bij beleidsevaluaties om empirisch inzichtelijk te maken wat de omvang en aard van de effecten zijn en of die er ook zouden geweest zonder overheidsbemoeienis en de inzet van belastinggeld.

De Theeuwes aanpak blijkt niet goed toepasbaar bij evaluatie van systeem- en transitiebeleid. Hier was de Commissie Theeuwes zich in haar eindrapport ook van bewust. Een nieuwe expertcommissie is gevraagd om een visie te ontwikkelen op de evaluatiepraktijk en te adviseren over methodeontwikkeling voor systeem- en transitiebeleidsevaluaties. In oktober 2022 is dit rapport verschenen. Dit rapport biedt een overzicht van zowel kwantitatieve als kwalitatieve onderzoeksmethoden waarmee de effectiviteit van systeem- en transitiebeleid inzichtelijk kan worden gemaakt. We staan met de evaluatie van dit type beleid aan het begin van een onderzoekstraject. Dit traject moet duidelijkheid verschaffen over welke kaders, methoden en technieken adequaat de doeltreffendheid en doelmatigheid van beleid kunnen vaststellen en welke databehoefte daarbij komt kijken.

Beleidsdoorlichting 2014-2019

Recent is het bedrijvenbeleid opnieuw helemaal doorgelicht. Deze beleidsdoorlichting zet alle evaluaties van instrumenten in de periode 2014-2019 op een rij in welke mate deze instrumenten doeltreffend en doelmatig zijn, en welke onderzoeksmethoden zijn gehanteerd.

Van de 35 evaluaties die zijn uitgevoerd in de periode 2014-2019 is een vijfde deel uitgevoerd volgens de Theeuwes aanpak. De alternatieve aanpak is in 30% van de gevallen toegepast. Bij de helft van de evaluaties is gebruik gemaakt van interviews en enquêtes. 

Een andere manier om de kwaliteit van de conclusies over doeltreffendheid te beoordelen is door ze te rangschikken op de zogenaamde effectladder. De effectladder laat met een score van 1 tot en met 5 zien hoe ‘hard’ de uitkomsten van de evaluatie zijn.

De onderstaande figuur geeft dit resultaat weer voor de recente beleidsdoorlichting van het bedrijvenbeleid. Hierbij zijn het eerste (mogelijk (in)effectief) en tweede niveau (potentieel (in) effectief) samengevoegd en ook het vierde (zeer waarschijnlijk (in) effectief) en vijfde niveau (bewezen (in) effectief). Het beeld komt in grote lijnen overeen met de scores op de toepassing van de Theeuwes aanpak. Iets meer dan 1/3 van de evaluaties is gebaseerd op onderzoeksmethoden die vallen onder niveau 4 of 5.

Doeltreffendheid evaluaties bedrijvenbeleid

Op basis van de uitgevoerde evaluaties blijkt twee derde deel van de instrumenten van het bedrijvenbeleid doeltreffend. De onderstaande figuur laat de mate van doeltreffendheid van het bedrijvenbeleid zien van alle uitgevoerde evaluaties in de periode 2014-2019 op de scores van de effectladder. De effectiviteit neemt toe naarmate het niveau op de effectladder stijgt. Bij het niveau 1 en 2 (=mogelijk/potentieel (in) effectief) is in minder dan 50% van de evaluaties een uitspraak mogelijk over of een instrument effectief of niet effectief is. Bij de hoogste betrouwbaarheidsniveaus is dat in alle gevallen en bovendien blijken al de evaluaties die hier onder vallen effectief.