Effectgrootte

Cohens 'd'

De bekendste index voor effectgrootte is Cohens 'd'. Deze maat kan zowel een negatieve als een positieve waarde hebben. Bij een positieve waarde wijst de index op een gunstig effect van de interventie, bij een negatieve waarde is het effect averechts. In theorie kan het indexcijfer elke waarde aannemen, maar meestal schommelt 'd' tussen -2.0 en +2.0. De index leidt geregeld tot misverstanden. Zo is het de vraag hoe een effectgrootte van bijvoorbeeld .40 geïnterpreteerd moet worden. Is dat wel of geen goed resultaat? Onderstaand schema, gebaseerd op een publicatie van Cohen, biedt vuistregels om het indexcijfer te interpreteren.

Interpretatie Cohens 'd'

een 'd' tussen wijst op
1.3 en hoger een zeer groot effect
.80 en 1.29 een groot effect
.50 en .79 een middelgroot effect
.20 en .49 een klein effect
-.19 en .19 geen of een verwaarloosbaar effect
-.49 en -.20 een klein negatief effect
et cetera et cetera

De vraag wat een effectgrootte van .40 betekent, is nu eenvoudig te beantwoorden: het is een klein effect.

Beter of slechter af

Onderzoekers vertalen de effectgrootte 'd' nogal eens in het percentage behandelde cliënten dat beter of slechter af is dan de niet-behandelde cliënten. De Ierse psycholoog Alan Carr (2000) en de Amerikaanse psychologen Kathleen McCartney en Robert Rosenthal (2000) hebben daarvoor een omzettingstabel voorgesteld die makkelijk te hanteren is.

Vuistregels Cohens 'd'

Bij een 'd' tussen is het effect en is ... van de cliënten met de interventie beter af dan cliënten zonder deze interventie
1.3 en hoger zeer groot ± 65 % of meer
.80 en 1.29 groot ± 40-64 %
.50 en .79 middelgroot ± 25-39 %
.20 en .49 klein ± 10-24 %
-.19 en .19 verwaarloosbaar ± 0-9 %
-.49 en -.20 klein negatief cliënten zijn slechter af
et cetera et cetera cliënten zijn slechter af

Bij een effectgrootte van .40 mogen we dus volgens hen verwachten dat ongeveer 20 procent van de cliënten met de interventie beter af is dan de cliënten in de vergelijkingsgroep. Er zijn ook andere omzettingsmethoden.

Groot is goed?

Een middelgrote tot zeer grote 'd' kan veel indruk maken. Maar dat wil nog niet zeggen dat de interventie bij veel cliënten tot 'genezing' leidt. Een mooi voorbeeld daarvan zijn enkele vormen van intensieve pedagogische thuishulp. Onderzoek laat zien dat het effect op de gedragsproblemen bij kinderen uitkomt boven d = .50. Bij nadere beschouwing blijkt dat de gedragsproblemen bij veel kinderen bij het begin van de hulpverlening extreem ernstig waren en bij afsluiting van de hulp nog 'slechts' ernstig. De hulp levert dus wel resultaat op, maar nog niet genoeg.

Klein maar fijn?

Daar staat tegenover dat kleine effecten niet per definitie waardeloos zijn. Zo kan een klein resultaat waardevol zijn bij risico's of problemen die zich moeilijk laten aanpakken. Ook de mate waarin een interventie leed of ellende kan voorkomen, kan een reden zijn dat een klein effect toch belangrijk is. Een effectgrootte van .40 voor een interventie ter voorkoming van kindermishandeling betekent dat een aantal kinderen ernstig leed is bespaard.

De ene effectgrootte is de andere niet

De Cohen's d is niet de enige index die wordt gebruikt. Er bestaan verschillende formules voor de berekening van de effectgrootte. Die kunnen sterk verschillende uitkomsten laten zien. Er is dus voorzichtigheid geboden bij de vergelijking van effectsizes die in verschillende onderzoeken worden genoemd. Dat geldt vooral als de effectsize is berekend op alleen een voor- en nameting (zonder controlegroep). Onderzoek laat zien dat de hoogte van de effectsize dan sterk afhankelijk is van de score op de voormeting: wijst deze op weinig problematiek, dan zal de effectsize laag zijn, wijst deze op veel problematiek, dan is over het algemeen de effectsize een stuk hoger.

  • Carr, A. (red., 2000). 'What works for children and adolescents? A critical review of psychological interventions with children, adolescents and their families'. London, Routledge.
  • Coe, R. (2000). 'What is an effect size? A guide for users'. Durham, Curriculum, Education and Management (CEM) Centre.
  • Cohen, J. (1992). 'A power primer', in: 'Psychological Bulletin', jaargang 112, nummer 1, p.155-159.
  • Lane, D.M. (2003). 'Hyperstat online textbook. Chapter 18. Measuring Effect Size.' Houston, Rice University. Te vinden op Hyperstat online.
Bram van den Berg