Soorten effectonderzoek

Niet-experimenteel kwaliteitsonderzoek

In een niet-experimenteel kwaliteitsonderzoek staat de vraag centraal wat de kwaliteit is van een interventie, zonder vergelijking met een andere cliënt of groep bij wie geen of een andere interventie is toegepast. Voorbeelden van dergelijk onderzoek zijn: hoe tevreden zijn de cliënten, in welke mate zijn de doelen van de interventie bereikt, in welke mate voldoet de interventie aan kwaliteitsstandaarden, welk percentage van de deelnemers haakt af? In de praktijk wordt dit soort onderzoek vaak uitgevoerd.

Niet-experimenteel veranderingsonderzoek

Een bijzondere vorm van kwaliteitsonderzoek die ook veel in de praktijk wordt toegepast is veranderingsonderzoek. Daarbij worden kenmerken van cliënten voor en na de interventie gemeten. Bij een trainingsprogramma voor kinderen met gedragsstoornissen helpt bijvoorbeeld een gedragsvragenlijst voor de ouders de aanwezige problemen voor en na de interventie vast te stellen. Het verschil tussen de voor- en nameting geeft dan een eerste indicatie van de effectiviteit van de interventie. Een bijzondere variant hierop is veranderingsonderzoek waarvan de uitkomsten worden vergeleken met een externe norm (ook wel 'Normgerelateerd veranderingsonderzoek' of 'benchmarkstudie' genoemd). Bijvoorbeeld, de resultaten van het nieuwe trainingsprogramma worden vergeleken met de uitkomsten van experimenteel effectonderzoek bij soortgelijke trainingsprogramma's die als 'bewezen effectief' te boek staan. Dit soort studies kunnen belangrijke eerste aanwijzingen leveren voor de effectiviteit van interventies. De laatste jaren ontstaan varianten waarbij gezocht wordt naar een verband tussen de uitkomsten in een groep en bijvoorbeeld:

• de duur van de interventie (geldt de regel: hoe meer contacten, hoe beter de resultaten?)
• het soort activiteiten dat in het kader van de interventie bij iedere cliënt afzonderlijk is uitgevoerd (zijn kinderen beter af als hun ouders huiswerkopdrachten hebben gemaakt?)
• de demografische kenmerken van de groepsleden (heeft de interventie minder of juist meer effect bij cliënten in een achterstandsbuurt?).

Als een dergelijke studie bedoeld is om vooraf voorspelde verbanden te toetsen, dan spreekt men van het zogeheten 'Veranderingstheoretisch onderzoek'. Dat kan sterke aanwijzingen opleveren voor de effectiviteit van een interventie, zeker als verschillende studies consistent dezelfde verbanden aantonen.

Casestudies (N=1 onderzoek)

Een aparte vorm van veranderingsonderzoek is de casestudie. Kenmerkend daarbij is dat de toestand van één onderzoeksobject - bijvoorbeeld een kind, opvoeder, leerkracht, school of wijk - op verschillende momenten wordt beschreven: vóór de interventie, tijdens de interventie en wanneer veranderingen optreden. Meestal vinden de metingen meermalen plaats, zodat het verloop van de veranderingen als gevolg van de interventie goed is te zien. Een variant van deze opzet is de herhaalde casestudie. Daarin toetst de onderzoeker de resultaten uit een eerdere studie door het onderzoek te herhalen bij nieuwe gevallen. Komen daar steeds weer dezelfde resultaten uit, dan is het steeds aannemelijker dat de interventie een rol speelt in de geconstateerde veranderingen. Een herhaalde casestudie kan in dat geval een krachtig bewijs leveren voor de effectiviteit.

(Quasi-)experimenteel onderzoek

Het hoofdkenmerk van experimenteel effectonderzoek is dat de interventie waar het onderzoek over gaat - de experimentele conditie - wordt vergeleken met een andere interventie of met een groep waarbij geen interventie is toegepast - de controleconditie. In het ideale geval zijn de proefpersonen willekeurig verdeeld over de experimentele en de controlegroep. Zo'n onderzoek is een RCT: een 'randomized controlled trial' of 'randomized clinical trial'. In de praktijk van de hulpverlening wordt zelden een RCT uitgevoerd. Vaak krijgen hulpverleners of cliënten een stem bij de verdeling van de proefpersonen over de twee groepen. Ook komt het voor dat groepen uit verschillende instellingen met elkaar vergeleken worden, waarbij bij de ene groep interventie X is toegepast en bij de ander interventie Y. In zulke gevallen is er sprake van quasi-experimenteel onderzoek. Een speciale vorm van quasi-experimenteel onderzoek is het 'matched design', waarbij via een statistische procedure aan elke experimentele casus een zo goed mogelijk gelijkende controle-casus wordt gekoppeld.

Metastudies

Als er verschillende effectonderzoeken naar een interventie zijn verricht, stemmen de resultaten vaak niet precies overeen. De ene studie laat bijvoorbeeld zien dat de interventie in alle opzichten effectief is, terwijl het andere onderzoek uitwijst dat de resultaten op sommige onderdelen gunstig zijn maar op andere niet. Metastudies zetten al dit soort resultaten op een rij. Met speciale procedures en technieken worden de uitkomsten van verschillende onderzoeken met elkaar vergeleken en worden de factoren onderzocht die eventuele verschillen kunnen verklaren. Zo wordt duidelijk of een interventie over het algemeen wel of niet effectief is.

Welk onderzoek is beter?

Er is de laatste jaren veel discussie over de vraag welke onderzoeksopzet het ultieme bewijs voor effectiviteit levert. Goed effectonderzoek vertoont drie kenmerken:

• Een hoge interne validiteit. Dat wil zeggen dat het onderzoek zo zuiver mogelijk het effect van de interventie vaststelt, zonder allerlei storende invloeden. 'Randomized controlled trials' (willekeurige steekproeven met een experimentele en een controlegroep) voldoen vaak aan dit criterium.
• Een hoge externe validiteit of representativiteit. De onderzoekssituatie is dan een betrouwbare afspiegeling van de toepassing van de interventie in de praktijk. Casestudies en niet-experimenteel onderzoek hebben vaak dit kenmerk.
• Een 'follow-up'. De effecten moeten niet alleen direct na het beëindigen van de interventie gemeten zijn, maar ook in de periode daarna, om te bezien of de resultaten beklijven.

Het komt zelden voor dat effectstudies aan alle criteria voldoen. Dat pleit voor een goede spreiding van verschillende soorten studies.

Databank Effectieve jeugdinterventies

Om in de databank Effectieve Jeugdinterventies opgenomen te worden moet een interventie erkend zijn door de Erkenningscommissie Interventies. De gegeven erkenning moet minimaal 'goed onderbouwd' zijn. Vervolgens zijn de kwalificaties 'effectief volgens eerste aanwijzingen', 'effectief volgens goede aanwijzingen' en 'effectief volgens sterke aanwijzingen'. Cliënttevredenheidsstudies, doelrealisatie-onderzoek en veranderingsonderzoek zonder benchmarks helpen de eerste indicaties voor effectiviteit te vinden, maar zijn niet voldoende voor deze kwalificaties. Voorwaarde is dat er sprake is van normgerelateerd veranderingsonderzoek, veranderingstheoretisch onderzoek, N=1-onderzoek of (quasi-) experimenteel onderzoek.