Beleidsevaluatie in theorie en praktijk

1 Beleidsevaluatie: een introductie 17
1.1 Beleidsevaluatie: een plaatsbepaling 18
1.2 Beleid als ‘evaluandum’: theorieën, cycli en complexiteit 23
1.3 Beleidsevaluatie: maatwerk in het verlengde van theorieën, cycli en complexiteit 30
1.4 Capita selecta: opzet van dit boek 34

2 De zeven functies van beleidsevaluatie: leren en verantwoorden als spil 43
2.1 Informeren: de kennisfunctie van beleidsevaluatie 45
2.2 Beoordelen: de waarderingsfunctie van beleidsevaluatie 47
2.3 Leren, aanpassen en innoveren: de verbeterfunctie van beleidsevaluatie 51
2.4 Verantwoorden: de democratische functie van beleidsevaluatie 58
2.5 Rationaliseren en theorieën ontwikkelen en testen: de rationeel-analytische functie van beleidsevaluatie 61
2.6 Discussiëren: de dialoogfunctie van beleidsevaluatie 65
2.7 Politiseren: de politieke of machiavellistische functie van beleidsevaluatie 67

3 Meten en verklaren, luisteren en bezoeken: rationeelanalytische, constructivistische en contextueel-realistische beleidsevaluatie 73
3.1 Drie typen beleidsevaluatie: naar realistische verbindingen van rationele analyse, constructivistische responsiviteit en contextuele mechanismen 74
3.2 Type I beleidsevaluatie: weten door meten (van effecten) en toetsen (van beleidstheorieën) 78
3.3 Type II beleidsevaluatie: begrijpen en verklaren door te luisteren naar meervoudigheid en meerstemmigheid 88
3.4 Type III beleidsevaluatie: bezoeken van contexten en het
begrijpen en verklaren van mechanismen 98
3.5 Synthese: niets is zo praktisch als een goede (beleids)theorie 105

4 Beleidsevaluatie ex ante: beleid en maatregelen vooraf beoordelen 113
4.1 Inleiding: oogmerk en evaluatieve functies 114
4.2 De kern van ex ante evaluatie: het beoordelen van beleidsalternatieven 119
4.3 Beoordeling van mogelijke beleidsalternatieven met behulp van multi-criteria-analyse (MCA), maatschappelijke kostenbatenanalyse (MKBA) of kosteneffectiviteitsanalyse (KEA) 128
4.4 Algemene modellen voor beleidsevaluatie ex ante 134
4.5 Sectorale ex ante beleidstoetsen 140

5 Beleidsmonitoring en beleidsevaluatie ex durante: het volgen en waarderen van beleid tijdens de uitvoering 147
5.1 Inleiding: de relatie tussen beleidsmonitoring en beleidsevaluatie ex durante 148
5.2 Beleidsmonitoring: het volgen van beleidsuitvoering, doelbereiking en ontwikkelingen in de beleidscontext 150
5.3 Beleidsevaluatie ex durante: beoordeling van uitvoering en voortgang bij het bereiken van doelstellingen tijdens het beleid 160

6 Beleidsevaluatie ex post: beleid achteraf evalueren 175
6.1 Inleiding: oogmerk en functies 177
6.2 Modules voor het uitvoeren van een ex post evaluatie: van de reconstructie van de beleidstheorie tot het beoordelen van de doelmatigheid 178
6.3 De experimentele methode (en alternatieven) 193
6.4 Nieuwe modellen voor beleidsevaluatie ex post 202
6.5 Beleidsevaluatie ex post goed ‘richten’: beschikbare gegevens, uitwerking van de beleidstheorie, mate van complexiteit en beoogd niveau van leren 214

7 Onderzoeksmethoden en dataverzameling: ‘op traditionele wijze’ en in het informatietijdperk 229
7.1 Beschikbare gegevens en informatie: documenten en monitorgegevens 231
7.2 Gegevensverzameling: ‘conventionele’ onderzoeksmethoden en -technieken 236
7.3 Nieuwe ‘grote gegevens’: bronnen en methoden (big data en data science) 244
7.4 Mixed methods research en triangulatie 251

8 Kwaliteitseisen voor evaluatieonderzoek, evaluatoren en opdrachtgevers: valide, betrouwbaar, bruikbaar en professioneel 263
8.1 Criteria voor goed evaluatieonderzoek: validiteit, betrouwbaarheid en bruikbaarheid 264
8.2 Competenties en onafhankelijkheid van een goede evaluator 269
8.3 Kwaliteitsrichtlijnen voor opdrachtgevers 276
8.4 Kwaliteitsbewaking: wezenlijk gedurende het gehele evaluatieproces 280

9 Benutting van evaluatieonderzoek: wat vergroot de kans op benutting en doorwerking? 287
9.1 Het benuttingsvraagstuk en de drie typen beleidsevaluatie: ‘Does anybody care?’ 289
9.2 Vormen van functionele benutting: wat willen we met een evaluatie bereiken? 292
9.3 Directe en indirecte benutting, instrumenteel en conceptueel gebruik 296
9.4 De beoogde gebruiker: voor welk instituut, ‘klant’ of doelgroep is de evaluatie bedoeld? 297
9.5 Timing en fase: wanneer moet het gebruik van de evaluatie plaatsvinden? 302
9.6 Toegankelijk, begrijpelijk en aantrekkelijk rapporteren 305
9.7 Meerwaarde als evaluatie-instituut: sturen op benutting en impact 307
9.8 Specifieke benadering: gebruiksgerichte evaluatie 308

10 Institutionalisering van beleidsevaluatie: regelgeving, organisatie en professionalisering in Nederland, België en internationaal 313
10.1 Institutionalisering van beleidsevaluatie in Nederland 314
10.2 Institutionalisering van beleidsevaluatie in België (Vlaanderen) 336
10.3 De rol van internationale organisaties in het bevorderen van een evaluatiecultuur 345

11 Stappenplan Beleidsevaluatie: fasen, stappen en mijlpalen bij het programmeren, ontwerpen en uitvoeren van evaluatieonderzoek 351
11.1 Selectiefase: selecteren en programmeren van beleidsevaluatie 353
11.2 Voorbereidingsfase: duidelijkheid verkrijgen over de vraag ‘wat gaan we waarom, wanneer, hoe, met en bij wie en waaronderzoeken?’ 355
11.3 Uitvoeringsfase: het verzamelen, analyseren en interpreteren van gegevens en het formuleren van de conclusies en aanbevelingen 367
11.4 Rapporteringsfase 370
11.5 Nazorgfase 374

Literatuurtips, gebruikte literatuur en websites 379
Over de auteurs 403
Trefwoordenregister 405