Effectwaarden

Statistische significantie

Tot voor kort werd het effect van een interventie vooral uitgedrukt in een statistisch significant verschil tussen een voor- en een nameting of tussen een nameting in een experimentele en een controlegroep. Een verschil is statistisch significant als de kans klein is dat het door toeval is ontstaan. In een onderzoeksrapport staat bijvoorbeeld dat na de interventie de gemiddelde risicoscore van de interventiegroep 21 punten lager is dan die van de controlegroep en dat dit verschil een significantie heeft van p=0.05. 'P' staat voor 'probability', ofwel waarschijnlijkheid. Bij p=1 is het waarschijnlijk dat het gevonden verschil op toeval berust. Hoe dichter p uitkomt bij 0, hoe groter de kans dat het verschil een gevolg is van de interventie. Onderzoekers gebruiken vaak p=0.05 als grens: als p kleiner is dan 0.05 is het verschil significant.
Een probleem bij deze aanpak is dat grote verschilscores in kleine groepen vaak statistisch niet significant zijn. En bij grote groepen kunnen kleine verschillen wel statistisch significant zijn, maar praktisch gezien weinig waarde hebben.

Klinische significantie

Omdat de statistische significantie van een verschil niet altijd relevant is, kijken onderzoekers vaak ook naar de klinische significantie. Ze gaan na bij hoeveel cliënten na de interventie het risico is verdwenen, het probleem is opgelost of de situatie weer normaal is. Hoe meer cliënten na een interventie 'genezen' zijn, hoe effectiever de interventie.

Effectgrootte

De laatste jaren rapporteren onderzoekers vaak ook de zogeheten effectgrootte, ofwel 'effectsize' (ES), in hun onderzoeken en metastudies. De effectgrootte is een indexcijfer dat aangeeft in hoeverre het gevonden verschil afwijkt van de waarde 0. De waarde 0 betekent dat er geen verschil is.

Toepassing effectgrootte

Het indexcijfer voor effectgrootte wordt in het algemeen op twee manieren toegepast:

• De eerste manier gaat uit van een vergelijking tussen een interventie- en een controlegroep bij de voor- en de nameting. Bij de voormeting moet het verschil tussen de twee groepen nul zijn. Als de interventiegroep vervolgens bij de nameting veel beter scoort dan de controlegroep, is dat een aanwijzing voor de effectiviteit van de interventie.
• De tweede toepassing vindt plaats als er geen controlegroep is. Dan wordt bij de interventiegroep het verschil berekend tussen de scores op de voor- en de nameting en eventueel de zogenaamde follow-up, een aantal maanden na de interventie. De effectgrootte zegt dan alleen iets over de winst die bij de interventiegroep is geboekt. Het is de vraag of dat effect ook was opgetreden als er geen interventie was toegepast.

De verwachting is dat ook in de praktijk van de jeugdhulp de effectgrootte een steeds belangrijkere maatstaf zal worden. Lees meer bij de gedetailleerde uitleg over de effectgrootte.

Overigens zijn voor het beoordelen van een interventie niet alleen de factoren statistische significantie, klinische significantie en effectgrootte belangrijk, maar ook de kosteneffectiviteit.

Reliable Change Index

De effectgrootte wordt meestal gebruikt om het effect van een behandeling vast te stellen bij een groep cliënten. Om voor een individuele cliënt het effect van een behandeling te berekenen, kan gebruik worden gemaakt van de Reliable Change Index (RCI). De RCI geeft aan hoe groot de kans is dat het verschil tussen een voor- en nameting voor één cliënt door toeval is ontstaan.