Teksten beoordelen met criterialijsten of via paarsgewijze vergelijking: een afweging van betrouwbaarheid en tijdsinvestering

Samenvatting

Tekstkwaliteit betrouwbaar beoordelen zonder daar veel tijd aan te besteden is cruciaal voor zowel schrijfonderzoekers als de onderwijspraktijk. In deze studie namen we twee beoordelingsmethoden onder de loep: criterialijsten, die analytisch en absoluut van insteek zijn, en paarsgewijze vergelijking, een methode met een holistische en vergelijkende opzet. Voor beide methoden brachten we in kaart hoe lang een beoordeling per tekst duurde en hoe de betrouwbaarheid veranderde naarmate de groep van beoordelaars meer tijd investeerde in het beoordelen. Uit de resultaten bleek dat voor beide methoden de benodigde tijd afnam naarmate een be- oordelaar al (meerdere) beoordelingen had gemaakt. De resultaten lieten ook zien dat wanneer betrouwbaarheid opgevat wordt als een maat voor de stabiliteit van de rangorde, beide methoden een vergelijkbare tijdsinvestering vragen. Vervolgonderzoek moet uitwijzen welke methode meer tijd vraagt wanneer rekening gehouden wordt met de tijd die nodig is om een criterialijst te ontwikkelen of om een evaluatie met behulp van paarsgewijze vergelijking op te zetten. Daarnaast moet toekomstig onderzoek uitwijzen of de conclusies uit dit onderzoek ook gelden voor andere teksten en andere criterialijsten.