Beleidsevaluatie in theorie en praktijk
Het ontwerpen en uitvoeren van evaluatie- en rekenkameronderzoek
Paperback Nederlands 2023 2e druk 9789462363489Samenvatting
Beleidsevaluatie richt zich op het beoordelen van nieuw en bestaand beleid. Het informeert beleidsmakers, bestuurders en burgers over de effecten, doeltreffendheid en doelmatigheid van beleid. De antwoorden op de vragen of beleid ‘werkt’, op welke manier en voor wie zijn onmisbaar voor onze kennisdemocratie. Ze maken beleidsgericht leren en het afleggen van verantwoording mogelijk. Tegelijkertijd is evalueren altijd maatwerk: hoe je evalueert hangt af van wat je evalueert.
Dit boek biedt een beschouwende én praktische behandeling van de belangrijkste onderwerpen op het gebied van beleidsevaluatie. Vanuit drie typen – die kernachtig kunnen worden geduid als ‘meten’, ‘luisteren’ en ‘bezoeken’ – bevat het zowel de theoretische bagage als een praktische handleiding voor het goed opzetten en uitvoeren van evaluatieonderzoek. De belangrijkste functies van het vooraf en achteraf evalueren van beleid worden beschreven, evenals beleidsmonitoring, het ontwerpen van onderzoek en methoden voor dataverzameling.
Ook wettelijke kaders en kwaliteitseisen voor beleidsevaluatie komen aan de orde, net als de vraag wat je kunt doen om ervoor te zorgen dat evaluaties beter benut worden. Een praktisch stappenplan beschrijft ten slotte de fasen van evaluatieonderzoek van agendering tot eindrapportage.
Beleidsevaluatie in theorie en praktijk is bedoeld voor gebruik in opleidingen aan universiteiten en hogescholen, vakopleidingen, maar ook voor de praktijk, zoals rekenkamers en kenniswerkers. Praktische voorbeelden uit Nederland en Vlaanderen, beschouwende bijdragen van experts en de academische en praktische ervaring van de auteurs vormen een rijke inspiratiebron voor beleidsmakers, onderzoekers en wetenschappers.
In deze tweede, geactualiseerde uitgave zijn nieuwe initiatieven opgenomen, zoals het Beleidskompas en de Toolbox Beleidsevaluatie.
Specificaties
Lezersrecensies
Inhoudsopgave
1.1 Beleidsevaluatie: een plaatsbepaling 18
1.2 Beleid als ‘evaluandum’: theorieën, cycli en complexiteit 23
1.3 Beleidsevaluatie: maatwerk in het verlengde van theorieën, cycli en complexiteit 30
1.4 Capita selecta: opzet van dit boek 34
2 De zeven functies van beleidsevaluatie: leren en verantwoorden als spil 43
2.1 Informeren: de kennisfunctie van beleidsevaluatie 45
2.2 Beoordelen: de waarderingsfunctie van beleidsevaluatie 47
2.3 Leren, aanpassen en innoveren: de verbeterfunctie van beleidsevaluatie 51
2.4 Verantwoorden: de democratische functie van beleidsevaluatie 58
2.5 Rationaliseren en theorieën ontwikkelen en testen: de rationeel-analytische functie van beleidsevaluatie 61
2.6 Discussiëren: de dialoogfunctie van beleidsevaluatie 65
2.7 Politiseren: de politieke of machiavellistische functie van beleidsevaluatie 67
3 Meten en verklaren, luisteren en bezoeken: rationeelanalytische, constructivistische en contextueel-realistische beleidsevaluatie 73
3.1 Drie typen beleidsevaluatie: naar realistische verbindingen van rationele analyse, constructivistische responsiviteit en contextuele mechanismen 74
3.2 Type I beleidsevaluatie: weten door meten (van effecten) en toetsen (van beleidstheorieën) 78
3.3 Type II beleidsevaluatie: begrijpen en verklaren door te luisteren naar meervoudigheid en meerstemmigheid 88
3.4 Type III beleidsevaluatie: bezoeken van contexten en het
begrijpen en verklaren van mechanismen 98
3.5 Synthese: niets is zo praktisch als een goede (beleids)theorie 105
4 Beleidsevaluatie ex ante: beleid en maatregelen vooraf beoordelen 113
4.1 Inleiding: oogmerk en evaluatieve functies 114
4.2 De kern van ex ante evaluatie: het beoordelen van beleidsalternatieven 119
4.3 Beoordeling van mogelijke beleidsalternatieven met behulp van multi-criteria-analyse (MCA), maatschappelijke kostenbatenanalyse (MKBA) of kosteneffectiviteitsanalyse (KEA) 128
4.4 Algemene modellen voor beleidsevaluatie ex ante 134
4.5 Sectorale ex ante beleidstoetsen 140
5 Beleidsmonitoring en beleidsevaluatie ex durante: het volgen en waarderen van beleid tijdens de uitvoering 147
5.1 Inleiding: de relatie tussen beleidsmonitoring en beleidsevaluatie ex durante 148
5.2 Beleidsmonitoring: het volgen van beleidsuitvoering, doelbereiking en ontwikkelingen in de beleidscontext 150
5.3 Beleidsevaluatie ex durante: beoordeling van uitvoering en voortgang bij het bereiken van doelstellingen tijdens het beleid 160
6 Beleidsevaluatie ex post: beleid achteraf evalueren 175
6.1 Inleiding: oogmerk en functies 177
6.2 Modules voor het uitvoeren van een ex post evaluatie: van de reconstructie van de beleidstheorie tot het beoordelen van de doelmatigheid 178
6.3 De experimentele methode (en alternatieven) 193
6.4 Nieuwe modellen voor beleidsevaluatie ex post 202
6.5 Beleidsevaluatie ex post goed ‘richten’: beschikbare gegevens, uitwerking van de beleidstheorie, mate van complexiteit en beoogd niveau van leren 214
7 Onderzoeksmethoden en dataverzameling: ‘op traditionele wijze’ en in het informatietijdperk 229
7.1 Beschikbare gegevens en informatie: documenten en monitorgegevens 231
7.2 Gegevensverzameling: ‘conventionele’ onderzoeksmethoden en -technieken 236
7.3 Nieuwe ‘grote gegevens’: bronnen en methoden (big data en data science) 244
7.4 Mixed methods research en triangulatie 251
8 Kwaliteitseisen voor evaluatieonderzoek, evaluatoren en opdrachtgevers: valide, betrouwbaar, bruikbaar en professioneel 263
8.1 Criteria voor goed evaluatieonderzoek: validiteit, betrouwbaarheid en bruikbaarheid 264
8.2 Competenties en onafhankelijkheid van een goede evaluator 269
8.3 Kwaliteitsrichtlijnen voor opdrachtgevers 276
8.4 Kwaliteitsbewaking: wezenlijk gedurende het gehele evaluatieproces 280
9 Benutting van evaluatieonderzoek: wat vergroot de kans op benutting en doorwerking? 287
9.1 Het benuttingsvraagstuk en de drie typen beleidsevaluatie: ‘Does anybody care?’ 289
9.2 Vormen van functionele benutting: wat willen we met een evaluatie bereiken? 292
9.3 Directe en indirecte benutting, instrumenteel en conceptueel gebruik 296
9.4 De beoogde gebruiker: voor welk instituut, ‘klant’ of doelgroep is de evaluatie bedoeld? 297
9.5 Timing en fase: wanneer moet het gebruik van de evaluatie plaatsvinden? 302
9.6 Toegankelijk, begrijpelijk en aantrekkelijk rapporteren 305
9.7 Meerwaarde als evaluatie-instituut: sturen op benutting en impact 307
9.8 Specifieke benadering: gebruiksgerichte evaluatie 308
10 Institutionalisering van beleidsevaluatie: regelgeving, organisatie en professionalisering in Nederland, België en internationaal 313
10.1 Institutionalisering van beleidsevaluatie in Nederland 314
10.2 Institutionalisering van beleidsevaluatie in België (Vlaanderen) 336
10.3 De rol van internationale organisaties in het bevorderen van een evaluatiecultuur 345
11 Stappenplan Beleidsevaluatie: fasen, stappen en mijlpalen bij het programmeren, ontwerpen en uitvoeren van evaluatieonderzoek 351
11.1 Selectiefase: selecteren en programmeren van beleidsevaluatie 353
11.2 Voorbereidingsfase: duidelijkheid verkrijgen over de vraag ‘wat gaan we waarom, wanneer, hoe, met en bij wie en waaronderzoeken?’ 355
11.3 Uitvoeringsfase: het verzamelen, analyseren en interpreteren van gegevens en het formuleren van de conclusies en aanbevelingen 367
11.4 Rapporteringsfase 370
11.5 Nazorgfase 374
Literatuurtips, gebruikte literatuur en websites 379
Over de auteurs 403
Trefwoordenregister 405
Rubrieken
- advisering
- algemeen management
- coaching en trainen
- communicatie en media
- economie
- financieel management
- inkoop en logistiek
- internet en social media
- it-management / ict
- juridisch
- leiderschap
- marketing
- mens en maatschappij
- non-profit
- ondernemen
- organisatiekunde
- personal finance
- personeelsmanagement
- persoonlijke effectiviteit
- projectmanagement
- psychologie
- reclame en verkoop
- strategisch management
- verandermanagement
- werk en loopbaan