De betrouwbaarheid en generaliseerbaarheid van competentiebeoordelingen op basis van een videodossier

Samenvatting

Er komt steeds meer aandacht voor het ontwikkelen van procedures voor het beoordelen van (docent)competenties. Het waarborgen van de betrouwbaarheid en de validiteit van deze beoordelingsprocedures is hierbij een belangrijk punt. Vanuit de literatuur worden ontwerpprincipes aangedragen die de betrouwbaarheid en de validiteit van competentiebeoordelingen zouden kunnen bevorderen, zoals het verhogen van het aantal beoordelaars en taken, het standaardiseren van taken en het gebruiken van taken die heel direct de beoogde competenties meten. Veelal ontbreekt echter de empirische evidentie voor de werkzaamheid van deze principes. In dit onderzoek is nagegaan in hoeverre deze ontwerpprincipes daadwerkelijk leiden tot betrouwbare en valide competentiebeoordelingen. Voorafgaand aan het onderzoek zijn op basis van ontwerpprincipes videodossiers ontworpen die kunnen worden ingezet bij het beoordelen van de coachcompetentie van docenten in het mbo. Een videodossier bestaat uit verschillende videofragmenten van een coachende docent in kritische situaties in de klas. Om de coachcompetentie van de docenten valide te kunnen beoordelen, zijn de videodossiers aangevuld met bronnen waarin contextinformatie is opgenomen. Na het ontwerpen van de videodossiers is bepaald in hoeverre de gebruikte ontwerpprincipes bijdragen aan betrouwbare en valide competentiebeoordelingen. Het onderzoek tracht antwoorden te geven op de volgende onderzoeksvragen: a) in hoeverre wordt de coachcompetentie van docenten in het mbo op basis van een videodossier betrouwbaar gescoord door beoordelaars? en b) in hoeverre zijn de beoordelingen op afzonderlijke videofragmenten van de coachperformance van docenten generaliseerbaar naar het beoogde universum van videofragmenten? Hiertoe zijn vier videodossiers voorgelegd aan twaalf beoordelaars. Scoreformulieren met toegekende scores zijn verzameld. Er is een acceptabele tot hoge overeenstemming tussen beoordelaars gevonden in toegekende scores aan afzonderlijke videofragmenten en zelfs een hoge overeenstemming in toegekende overallbeoordelingen. Daarnaast is er met uitzondering van één beoordelingsschaal (coaching op leerhouding) een acceptabele tot hoge overeenstemming gevonden tussen de toegekende scores aan een videofragment en de gemiddelde toegekende scores aan de andere videofragmenten binnen een schaal. De toegepaste ontwerpprincipes blijken samen te gaan met positieve resultaten op zowel het gebied van het scoren door beoordelaars als op het gebied van de generaliseerbaarheid van beoordelingen over videofragmenten.