De betrouwbaarheid vormt een belangrijk onderdeel van de kwaliteit van een instrument. Een instrument is betrouwbaar als het nauwkeurig en zuiver meet. Dat wil zeggen dat de uitkomst niet afhankelijk mag zijn van toeval.
De vragen of onderdelen van een instrument moeten zo duidelijk en helder zijn dat het bijvoorbeeld niet uitmaakt wie het instrument gebruikt, of hoe de stemming van de beroepskracht op dat moment is. Of er sprake is van fouten in de uitkomsten die komen door toeval kan worden onderzocht door een meting te herhalen. Naarmate er bij herhaling meer overeenstemming is tussen de metingen, is er minder sprake van fouten op basis van toeval - dan is de betrouwbaarheid dus hoger.
Bij een betrouwbaar instrument kunnen gebruikers ervan uitgaan dat de uitkomst klopt. Bij een instrument met een lage betrouwbaarheid is dat niet zo, omdat er dan toevallige schommelingen zijn in de uitkomsten.
Herhaling bepaalt de betrouwbaarheid
Er worden verschillende methoden gebruikt om de betrouwbaarheid van instrumenten te onderzoeken. De overeenkomst tussen die methoden is dat het steeds gaat om de vraag hoeveel overeenstemming er bestaat tussen herhaalde metingen. Het verschil tussen de methoden zit in de manier waarop de herhaling wordt uitgevoerd.
We onderscheiden vier soorten betrouwbaarheid:
Test-hertestbetrouwbaarheid
Als we de betrouwbaarheid van een instrument onderzoeken door de meting letterlijk op dezelfde manier te herhalen spreken we van 'test-hertestbetrouwbaarheid'.
In onderzoek waarbij gebruikgemaakt wordt van observatie-instrumenten door beoordelaars heet de betrouwbaarheid die wordt onderzocht door letterlijke herhaling 'intrabeoordelaarbetrouwbaarheid'. Hierbij doet dezelfde beoordelaar nogmaals dezelfde waarneming.
De mate van test-hertestbetrouwbaarheid wordt weergegeven met behulp van een maat voor overeenstemming. Veelgebruikte maten hiervoor zijn de Pearson r-correlatiecoëfficiënt (een redelijk strenge maat) en Cohens kappa (een van de strengste maten). Soms wordt ook eenvoudigweg het percentage van overeenkomst gebruikt (een niet zo strenge maat).
Paralleltestbetrouwbaarheid
Bij de paralleltestbetrouwbaarheid worden vergelijkbare versies van een instrument gebruikt. De overeenkomst tussen de uitkomsten op twee versies van het instrument geeft dan een indicatie van de betrouwbaarheid.
De mate van paralleltestbetrouwbaarheid wordt weergegeven met een maat voor overeenstemming. Ook hierbij zijn de Pearson r-correlatiecoëfficiënt en Cohens kappa veelgebruikte maten.
Interne consistentie
Interne consistentie is de mate waarin delen van een instrument (bijvoorbeeld vragen of schalen) onderling overeenstemmen. Deze worden dan als elkaars herhaling opgevat en de betrouwbaarheid wordt bepaald op basis van de mate waarin de verschillende delen van een instrument onderling samenhangen.
Interbeoordelaarsbetrouwbaarheid
De 'interbeoordelaarsbetrouwbaarheid' is de mate van overeenstemming tussen verschillende beoordelaars. Deze methode wordt veel gebruikt in onderzoek waarbij gebruikgemaakt wordt van observatie-instrumenten. Meerdere beoordelaars gebruiken hetzelfde instrument om dezelfde situatie te beoordelen. Als dat dezelfde uitkomsten oplevert, kan aangenomen worden dat het instrument ervoor zorgt dat persoonlijke kenmerken geen invloed hebben op het gebruik van het instrument - dan is de interbeoordelaarsbetrouwbaarheid hoog.
Veelgebruikte maten voor de interbeoordelaarsbetrouwbaarheid zijn de Pearson r- correlatiecoëfficiënt en Cohens kappa. Soms wordt het percentage overeenkomst gebruikt. Voor het bepalen van de samenhang tussen meer dan twee beoordelaars kan voor ieder paar apart een correlatiecoëfficiënt berekend worden of de uitkomsten kunnen in één maat samengevat worden in een intra-classcorrelatie (icc).
