De invloed van cognitieve representaties van beoordelaars op hun beoordeling van docentportfolio’s

Samenvatting

Tegenwoordig wordt bij het beoordelen van docenten vaak gebruikgemaakt van portfolio’s. De betrouwbaarheid van portfoliobeoordelingen is een heikel punt. Zulke beoordelingen worden beïnvloed door cognitieve representaties van de beoordelaars. Inzicht daarin is cruciaal om de betrouwbaarheid van portfoliobeoordelingen te kunnen verbeteren. We onderzochten zowel de betrouwbaarheid van beoordelingen als de cognitieve representaties van beoordelaars zoals die tot uitdrukking komen in retrospectieve hardopdenkprotocollen en beoordelingsformulieren. Door beide aan elkaar te relateren konden we nagaan in hoeverre beoordelingen kunnen worden verklaard vanuit cognitieve representaties van beoordelaars. In het onderzoek beoordeelden zes beoordelaars paarsgewijs 18 portfolio’s. Bij 12 van deze portfolio’s was de interbeoordelaarsbetrouwbaarheid redelijk tot goed. Variantieanalyse wees nauwelijks op beoordelaarseffecten. We gebruikten de Associated Systems Theory (Carlston, 1992, 1994) en de Correspondent Inference Theory (Jones en Davis, 1965) voor analyse van de inhoud van de hardopdenkprotocollen en beoordelingsformulieren. De gegeven beoordelingen konden grotendeels worden verklaard door categorisering van de cognitieve representaties van de beoordelaars op twee dimensies: abstracte versus concrete opmerkingen en positieve versus negatieve evaluatie