Het effect van gedetailleerde correctievoorschriften. EEN ONDERZOEK NAAR HET INZETTEN VAN GEDETAILLEERDE CORRECTIEVOORSCHRIFTEN BIJ DE BEOORDELING VAN OPEN VRAGEN OPDAT DE OVEREENSTEMMING TUSSEN BEOORDELAARS WORDT VERHOOGD

Abstract

In deze studie wordt nagegaan wat het effect is van het inzetten van gedetailleerde correctievoorschriften bij de beoordeling van open vragen uit het centraal examen Nederlands. Op basis van het originele correctievoorschrift van het havo-examen Nederlands 2015 zijn twee gedetailleerde voorschriften gecreëerd; één aangevuld met goede antwoorden en één aangevuld met foute antwoorden. Onafhankelijke beoordelaars hebben zowel het originele voorschrift als de gedetailleerde voorschriften gebruikt. Op die manier is onderzocht of gedetailleerde voorschriften zorgen voor een hogere overeenstemming tussen beoordelaars. Wanneer beoordelaars verschillende cijfers geven, zorgt dit namelijk voor betrouwbaarheidsproblemen. De overeenstemming is bij bepaalde typen open vragen laag, omdat de grote diversiteit in leerlingantwoorden niet altijd vertegenwoordigd is in correctievoorschriften. De onderzoeksresultaten laten een divers beeld zien. De docent heeft bij elke vraag met elk correctievoorschrift het kleinste aandeel in de variantie. Dit betekent dat de beoordeling steeds het minst beïnvloed wordt door de docent en dat de docenten eerlijk hebben beoordeeld. Zowel het aandeel van de leerling in de variantie als het aandeel van het interactie-effect tussen leerling een docent is vaak hoog. Dit betekent dat de correctievoorschriften de docenten nog onvoldoende houvast geven om elke leerling een consistente beoordeling te kunnen geven. Naar aanleiding van deze resultaten kan er geen overtuigende voorkeur worden uitgesproken voor één type correctievoorschrift. Dit bevestigen de betrouwbaarheidspercentages. Deze laten zien dat bij elke vraag een ander voorschrift voor de hoogste overeenstemming zorgt. Een verklaring hiervoor kan worden gezocht in de verschillende kenmerken van de voor dit onderzoek geselecteerde examenvragen. Een vervolgstudie met een groter aantal docenten en vooral een groter aantal vragen kan worden uitgevoerd om de diversiteit in de resultaten te verklaren. Tevens blijkt dat de verschillen in gemiddelde scores per gebruikt correctievoorschrift bij twee van de drie examenvragen significant zijn. Dit betekent dat de gemiddelde score afhankelijk is van het type voorschrift en dat het voorschrift het cijfer van de leerling beïnvloedt. Bij één van de drie vragen zorgt het voorschrift plus goede antwoorden voor significant hogere gemiddelde scores dan het originele voorschrift en het voorschrift plus met foute antwoorden. Tot slot laat dit onderzoek zien dat de eigen docent bij elke vraag in deze studie hoger beoordeelt dan de overige docenten. Bij twee van de drie vragen is dit verschil significant. Dit betekent dat beoordeling door de eigen docent zorgt voor onterecht hoge scores. Dit onderzoek adviseert daarom dat docenten niet als beoordelaar van hun eigen leerlingen optreden