Leren van evalueren: een onderzoek naar ZBO-evaluaties

De Kaderwet ZBO’s is in 2007 in werking getreden. Artikel 39 Artikel 39 Artikel 39 1: Onze Minister zendt elke vijf jaar een verslag aan beide kamers der Staten-Generaal ten behoeve van de beoordeling van de doelmatigheid en doeltreffendheid van het functioneren van een zelfstandig bestuursorgaan.2.Onze Minister voor Wonen en Rijksdienst zendt elke vijf jaar na de inwerkingtreding van deze wet aan beide kamers der Staten-Generaal een verslag over de doeltreffendheid en de effecten van deze wet in de praktijk. van de Kaderwet ZBO’s schrijft voor dat ZBO’s elke vijf jaar dienen te worden geëvalueerd. Echter, in 2012 concludeerde een parlementaire onderzoekscommissie van de Eerste Kamer (POC) dat de naleving van het artikel gering was.

De aandacht voor uitvoeringsorganisaties zoals ZBO’s is inmiddels sterk toegenomen, mede naar aanleiding van de rapporten van Werk aan Uitvoering. Daarom is het interessant om het in 2012 gedane onderzoek te herhalen: wordt er inmiddels vaker en systematischer geëvalueerd? Maken politici gebruik van de informatie die uit de evaluaties naar voren komt?

Ook komen er andere vragen aan bod. Uit eerdere onderzoeken is namelijk gebleken dat de kwaliteit van de evaluaties op sommige punten verbeterd kon worden. Hoe is het nu gesteld met de kwaliteit van de rapporten en het evaluatieproces?

De analyses

Om de vragen te beantwoorden, zijn alle ZBO-evaluaties van 1995-2021 geanalyseerd. De ZBO-evaluatierapporten die zijn verschenen tot 2015 (108) waren al beschikbaar en geanalyseerd in een eerder onderzoek. Alle ZBO-evaluatierapporten die sindsdien, van 2016-2021 zijn verschenen (56), zijn verzameld en geanalyseerd.

Hierna zijn de rapporten gecodeerd en zijn er in SPSS beschrijvende statistische analyses uitgevoerd. Ook is er gesproken met elf respondenten, die betrokken zijn geweest bij vijf verschillende ZBO-evaluaties uit de periode 2016-2021. De respondenten bestonden uit onderzoekers/evaluatoren, betrokkenen van het ZBO en van het moederdepartement. Ten derde is geanalyseerd of en hoe ZBO-evaluatierapporten in de Tweede Kamer zijn besproken of gebruikt in Kamerdebatten, voor de gehele onderzoeksperiode van 1995-2021.

Alhoewel het aantal ZBO-evaluaties sinds 2015 sterk is toegenomen (een derde van de rapporten is na 2015 verschenen) is er nog altijd veel aan te merken op de naleving van artikel 39 van de Kaderwet ZBO’s.

Iets minder dan de helft van de ZBO’s die in 2021 in het register stonden, is ooit geëvalueerd. En van de ZBO’s die wel geëvalueerd zijn, is dat meestal niet elke vijf jaar gebeurd (alhoewel termijnen iets beter te lijken worden nageleefd dan voorheen).

Het beeld dat naar voren komt uit de analyse laat zien dat het evalueren van ZBO’s de laatste jaren vooral een bureaucratische procedure is geworden. De evaluaties worden door het moederdepartement geïnitieerd, soms in samenwerking met het ZBO, maar niet altijd. In de interviews kwamen op dit punt wisselende ervaringen voorbij: soms werd het ZBO al vanaf het begin betrokken bij de opdrachtgunning, soms pas later, en soms helemaal niet.

Doelmatigheid en doeltreffendheid

Artikel 39 van de Kaderwet ZBO’s schrijft voor dat de evaluatie gaat over doelmatigheid en doeltreffendheid. Het behoud van de juridische positie is een derde onderwerp dat in de Memorie van Toelichting wordt genoemd als onderdeel van een ZBO-evaluatie.

In de rapporten zien we dat doelmatigheid en doeltreffendheid veel worden onderzocht, terwijl de juridische positie maar in 10% wordt besproken. Er zijn tal van andere onderwerpen die aan bod komen, inclusief de governance van het ZBO en de relatie met stakeholders, met name met het moederdepartement.

De leeropbrengsten van de evaluatie zijn niet altijd even groot, zo blijkt uit de interviews, of in elk geval minder groot dan ze waarschijnlijk zouden kunnen zijn. Al is dat moeilijk te beoordelen van buitenaf.

ZBO-evaluaties vervullen dus vooral een verantwoordingsfunctie, door de minister aan de Tweede Kamer, die er verder niet veel mee doet. De politieke interesse in de ZBO-evaluaties lijkt zeer gering. Het merendeel van de evaluaties wordt niet inhoudelijk behandeld in de Tweede Kamer, ook al staat de evaluatie bij minstens de helft van de debatten wél op de agenda. Als de ZBO-evaluaties al ter sprake komen in een Kamerdebat, is dat vaak ook nog eens heel kort, met bijvoorbeeld een enkele vraag of opmerking.

Hoe kan het evaluatieproces worden verbeterd?

Het huidige proces is weinig transparant. De betrokkenheid van ZBO’s is zeer wisselend, terwijl dat zeker kan bijdragen aan een effectievere inrichting en uitvoering van het evaluatieproces. Er is geen duidelijk format en de methodologische kwaliteit is voor verbetering vatbaar.

Het is belangrijk dat ministeries en ZBO’s van eerdere ervaringen en van elkaar leren, dus kennis uitwisselen. Dat zou ook de vorm van een centraal informatiepunt of kenniscentrum kunnen aannemen, onder regie van het coördinerend ministerie van Binnenlandse Zaken en Koninkrijksrelaties.

Hoe kunnen evaluaties meer worden ingezet om van te leren en te verbeteren?

Het lerend evalueren is hier belangrijk om te noemen: door gezamenlijk het evaluatieproces te ondergaan, kunnen ministeries en ZBO’s inzicht krijgen in zichzelf en elkaar.

Hoe zouden de evaluatierapporten beter ingezet kunnen worden om de informatiepositie van de Tweede Kamer te verbeteren?

Het antwoord op deze vraag hangt sterk af van de interesse van de Kamerleden, die nog steeds vaak incidentgedreven is. Maar er kan bijvoorbeeld gedacht worden aan het betrekken van Kamerleden bij het onderzoek, al is het maar als respondent in de interviews.

Ook zou een alternatieve vorm van de rapporten meer aandacht kunnen trekken; nu is het vaak een van de vele papieren stukken op de agenda, maar een infographic of filmpje is sneller te verwerken door de drukbezette Kamerleden.

Tot slot zou bijvoorbeeld een algemene sessie over ZBO-evaluaties, in plaats van de gefragmenteerde behandeling door fractiespecialisten, meer aandacht kunnen scheppen. Deze vraag vereist echter meer onderzoek onder Kamerleden naar hun wensen en ideeën hierover.