Zijn we het eens? Interbeoordelaarsbetrouwbaarheid in de pedagogiek en het onderwijs
Trefwoorden:
Cohen's kappa, Interbeoordelingsbetrouwbaarheid, Intra-klasse correlatiecooficient, ondwerwijs, pedagogiek, education, interrater reliability, intra class correlation coefficient, pedagogicsSamenvatting
In een opvoedkundige context moet vaak beoordeeld worden: een onderwijzer beslist of het gedrag van een leerling bestraft wordt, een docent beoordeelt een scriptie of een raadsonderzoeker geeft een complexe assessment van een verdachte jongere. De interbeoordelaarsbetrouwbaarheid (IBB) geeft de mate weer waarin verschillende beoordelaars het met elkaar eens zijn. In dit paper behandelen we drie vragen over de IBB. De eerste vraag - Hoe bepaal je de IBB? - is niet eenduidig te beantwoorden omdat er veel coefficienten zijn om de IBB te schatten, die vaak verschillende resultaten opleveren. De keuze voor een IBBcoefficient wordt bepaald door het doel en het design van het onderzoek, en door persoonlijke voorkeur. Het antwoord op de tweede vraag - Hoe kun je de IBB verhogen? - behelst het verhogen van de kwaliteit van de items, de rubrics en de beoordelingsprocedure, en de kunde van de beoordelaars. De derde vraag - Wanneer is de IBB hoog genoeg? - kan ook niet ondubbelzinnig worden beantwoord. We presenteren methoden om benchmarks voor een IBB-coëfficiënt in een andere te transformeren, maar stellen dat meer methodologisch onderzoek naar IBB vereist is om betere antwoorden op deze vraag te bieden.
