Speciale problemen bij het schatten van betrouwbaarheid

Betrouwbaarheid bij snelheidstests: scores op betrouwbaarheidstests reflecteren de snelheid van iemands performance. Één test is niet is niet genoeg om de betrouwbaarheid hierbij te testen, daarom heb je tests met test-hertest betrouwbaarheid of parallel-test betrouwbaarheid nodig, maar zijn split-half, coëfficiënt alpha en KR-20 tests niet goed.

Bij extreme scores (alles goed of alles fout) is geen goede meting geweest, want iemand die op een IQ test 0 scoort heeft niet geen IQ en iemand die alles goed heeft een oneindig IQ. Hier zijn geen goede grond of geen goed plafond. In beide gevallen moet er een betere test voor de personen zijn. Dit is te bereiken door tests voor bepaalde leeftijdsgroepen of educationele niveau’s.

Kleine range: als je een kleine range hebt scoren bijv. veel studenten hetzelfde (bijv. een klas met allemaal heel slimme mensen) en lijkt je betrouwbaarheid weinig, want als iedereen gelijk scoort dan is dat vreemd, terwijl de test wel betrouwbaar kan zijn! Om accuratere uitkomst te krijgen moeten betrouwbaarheidsschattingen berekend worden op samples die representatief zijn voor de populatie waarmee de examinees vergeleken worden.

Bij mastery tests: doordat je om een bepaalde cut score het wel of niet haalt ontstaat er weinig variabiliteit in de testscores wat resulteert in kleine betrouwbaarheidscoëfficiënten. De betrouwbaarheidsschattingen in de hoofdstuk zijn dus niet goed voor het testen van betrouwbaarheid van mastery tests. Omdat het om classificatie gaat heb je een index nodig die de consistentie van classificatie reflecteert. Dit kan als je parallele mastery tests kan doen waarbij je de mensen die beide tests halen en de mensen die beide tests niet halen deelt door het totaal aantal mensen (dus boven de streep niet de mensen die de ene test wel halen en de andere test niet) en dat x100. Er zijn geen standaards van wat een hoog genoege consistentie is, dit hangt vooral af van de belangrijkheid van de beslissing. Je zou wel Cohens Kappa kunnen berekenen, maar dat is niet speciaal hiervoor ontwikkeld.

Correctie voor verzwakking : Je kunt wat meetfouten elimineren door betrouwbaarheid van beide tests en als dit beide hoog is dan heb je dus eigenlijk een hogere score. Bij het geven van de scores moet wel aangegeven worden of het een correctiescore is of niet.

	Created by Sieg over 10 years ago

Speciale problemen bij het schatten van betrouwbaarheid - hoofdstuk 4 - Betrouwbaarheid