Een instrument is valide als het daadwerkelijk het begrip meet dat het beoogt te meten. Daarom is het bij de ontwikkeling van een instrument belangrijk om kennis te hebben over het te meten begrip. Zo is het voor het meten van intelligentie nodig om de verschillende aspecten te kennen die bij het begrip intelligentie horen, zoals geheugen en ruimtelijk inzicht. De theorie over het begrip vormt de basis voor het beoordelen of toetsen van de validiteit.
De validiteit van een instrument omvat vele facetten die allemaal op een verschillende manier worden beoordeeld of onderzocht. Er worden dan ook verschillende soorten validiteit onderscheiden. We bespreken hier alleen de belangrijkste soorten validiteit bij het gebruik van instrumenten:
Indruksvaliditeit
Indruksvaliditeit of 'validiteit op het eerste gezicht' (face validity) slaat op de mate waarin een instrument de indruk wekt iets relevants te meten, met andere woorden of een instrument valide lijkt. Zo zouden de antwoorden op de vragen uit een vragenlijst een goede indicatie moeten zijn voor datgene wat we met het instrument proberen vast te stellen.
Validiteit op het eerste gezicht heeft wetenschappelijk gezien nauwelijks of geen waarde. In de praktijk wordt echter veelvuldig gebruik gemaakt van instrumenten die uitsluitend berusten op deze vorm van validiteit.
Inhoudsvaliditeit
De term 'inhoudsvaliditeit' (content validity) of 'dekking' slaat op de vraag of de inhoud van een instrument (de vragen of schalen) representatief is voor de onderwerpen die het instrument probeert te meten. Bij het samenstellen van een instrument maakt de opsteller een keuze uit veel mogelijke vragen. Om de inhoudsvaliditeit te beoordelen worden vragen gesteld als: is er een goede selectie gemaakt? Zijn alle aspecten van het begrip dat het instrument moet meten voldoende vertegenwoordigd?
Begripsvaliditeit
De term 'begripsvaliditeit' (construct validity) heeft betrekking op de theoretische inbedding van een begrip. In de theorie wordt het begrip afgebakend, ontrafeld en in verband gebracht met andere begrippen. De vraag bij begripsvaliditeit is of die relaties ook, en op dezelfde manier, bestaan tussen de uitkomsten die met de instrumenten zijn verkregen.
Twee belangrijke onderdelen daarvan vormen de zogenoemde convergente en discriminante validiteit. Verschillende instrumenten om hetzelfde begrip te meten, moeten hetzelfde opleveren (convergeren). En een instrument moet het begrip dat het pretendeert te meten ook onderscheiden van andere begrippen (discrimineren).
Criteriumvaliditeit
De term 'criteriumvaliditeit' heeft betrekking op de mate waarin de uitkomst van een instrument samenhangt met een of meer criteriumvariabelen. Criteriumvariabelen zijn de dingen die je eigenlijk had willen meten, maar om een of andere reden niet of moeilijk rechtstreeks kunt vaststellen. Om de criteriumvaliditeit van een instrument te kunnen vaststellen moet je het begrip op een andere wijze meten.
Er kunnen vier vormen van criteriumvaliditeit onderscheiden worden:
- Predictieve validiteit: een instrument dat bedoeld is om iets dat in de toekomst ligt te voorspellen, kan geëvalueerd worden door na een aantal jaren te kijken of het instrument inderdaad in staat is gebleken dit correct te voorspellen.
- Concurrente validiteit: soms is het mogelijk om gelijktijdig met het gebruik van een instrument een andere (valide) waarneming te doen. We kunnen dan de uitkomsten met elkaar vergelijken.
- Sensitiviteit: de mate waarin het instrument personen die het beoogt te identificeren inderdaad correct identificeert.
- Specificiteit: de mate waarin het instrument de personen die het niet beoogt te identificeren correct uitsluit.
Externe validiteit
Bij externe validiteit staan drie vragen centraal: in hoeverre zijn de uitkomsten die met behulp van het instrument zijn verkregen generaliseerbaar naar andere situaties, naar andere groepen of naar andere begrippen. Soms wordt dan ook gesproken van ecologische generalisatie, populatiegeneralisatie en begripsgeneralisatie. De externe validiteit zegt dus iets over de mate waarin op basis van de uitkomsten van een instrument algemeen geldende uitspraken kunnen worden gedaan.
