De optimale giscorrectie

Het maken en beoordelen van tentamens valt niet mee. Neem nu de meerkeuzevraag. Een manier om te corrigeren voor de gokkans is dan wat in de Angelsaksische literatuur negative marking wordt genoemd, of in goed Vlaams de giscorrectie. In het geval van 4 antwoordopties wordt dan aan een goed antwoord 1 punt toegekend, maar voor een fout antwoord 1/3 punt afgetrokken. Stel dat iemand geen flauw benul heeft en maar wat invult. Dan levert dat in dit systeem precies 1/4 x 1 + 3/4 x (-1/3) = 0 punten op — precies wat je als docent zou willen.

Maar de Universiteit van Leuven gaat vanaf nu nog een stap verder. Die giscorrectie is nadelig voor studenten die risicoavers zijn, zo wordt betoogd. Een recent NBER paper suggereert overigens dat het effect daarvan op de uiteindelijke score verwaarloosbaar is, maar dit terzijde. De KU Leuven komt daarom met een uiterst ingenieuze variant. Bij elke antwoordmogelijkheid mag een student aangeven of die optie kan of niet kan. Lees en huiver:

leuven

Dat klinkt nogal onnavolgbaar, maar op de website van de universiteit (onderaan de pagina) wordt het een stuk duidelijker. Stel dat een student twijfelt tussen drie opties, maar zeker weet dat de vierde optie onjuist is. Als ze willekeurig een van die drie opties gokt scoort zij bij een standaard giscorrectie dus gemiddeld (1/3) x 1 + (2/3) x (-1/3) = 1/9 punt. Dat is precies haar score als zij in dit alternatieve systeem die drie opties aankruist als “kan”. Maar die 1/9 punt wordt in het alternatief met zekerheid gehaald — en dus is de risicoaverse student beter af. Op dezelfde manier geldt dat wie twijfelt tussen twee opties bij een standaard giscorrectie gemiddeld 1/3 punt haalt, maar in dit systeem die 1/3 punt met zekerheid kan scoren. En dat is razend slim.

Toch een kanttekening. Bovenstaande voorbeelden veronderstellen dat een aantal opties even waarschijnlijk wordt geacht. In de praktijk is dat vaak niet het geval. Stel bijvoorbeeld dat een student zeker weet dat optie A onjuist is, de kans dat B juist is inschat op 40%, en de kans dat C of D juist zijn op 30% elk. Bij een standaard giscorrectie zal deze student kiezen voor optie B en gemiddeld 0.4 x 1 — 0.6 x 1/3 = 0.2 scoren. Spreid ze haar kansen in het alternatieve systeem, dan scoort ze opnieuw met zekerheid 1/9. Als ze maar voldoende risicoavers is, zal ze er dus voor kiezen haar kansen te spreiden, en zo uiteindelijk gemiddeld genomen op een lagere score uitkomen. Het gevolg zou dan kunnen zijn dat risicoaverse studenten gemiddeld lager scoren dan wanneer ze gedwongen worden voor 1 optie te kiezen. Ook suggereert het voorbeeld dat een klein verschil in de ingeschatte kansen er al snel toe leidt dat het een optimale strategie is om geen gebruik te maken van de mogelijkheid om meerdere opties aan te kruisen.

Overigens ben ik van mening dat meerkeuzevragen sowieso zoveel mogelijk vermeden dienen te worden. Maar dat is een ander verhaal.

6 gedachten aan “De optimale giscorrectie”

  1. Zeer mooie reactie op het nieuwe systeem dat we ontwikkeld hebben.
    Ik ben akkoord met je bedenkingen.
    In de analyse, die we ook ondersteund hebben met economische en pedagogische modellen, gaan we er inderdaad van uit dat als er twijfel is, er gelijke twijfel is tussen de verschillende alternatieven. Dat is zoals je opmerkt een belangrijke aanname, die ook een effect zal hebben op de interpretaties.
    Maar, toch merken we dat erg risicoschuwe studenten vroeger zelfs bij twijfel tussen twee, toch voor volledig blanco gaan. Nu kunnen ze tenminste gaan voor de gagarandeerde opbrengst die ze zouden hebben bij gokken als ze gelijke twijfel hebben. Er zijn iets meer kansen om “op zeker te spelen”.

    Met de ontwikkeling van het nieuwe systeem spreken we ook helemaal geen voorkeur uit voor een meerkeuze-examens! Maar als ze dan toch gebruikt worden, is dit toch een systeem dat het overwegen waard is.

  2. Ik moet onwillekeurig terugdenken aan mijn toetsen bedrijfseconomie, in het eerste jaar. Iedere vraag 2 stellingen, liefst niets met elkaar te maken, en dan 4 meerkeuze antwoorden: a) 1 is juist, 2 is juist b) 1 is juist, 2 is onjuist etc.

    Met als puike mogelijkheid dat je de helft van de antwoorden goed hebt, en toch nul punten scoort.

  3. @Tinne: Dank voor je reactie! Volgens mij zijn we het helemaal eens. Hoe een en ander empirisch uitpakt is uiteraard een belangrijk criterium.

    Overigens vind ik “risicoschuw” vele malen mooier dan het “risicoavers” dat we in Nederland doorgaans gebruiken.

    @Thijs: Ha, ja, die ken ik ook nog. Volgens mij is daar destijds ook menig methodologische discussie over gevoerd…

  4. Wat ik ooit nog eens ben tegengekomen bij een landelijke wiskundetest met enkel meerkeuzevragen. Als je een vraag goed beantwoord krijg je 4 punten, maar als je antwoord fout was dan wordt er een punt afgetrokken. Echter, als je de vraag niet invult krijg je 0 punten omdat je aangeeft het niet te weten. Een alternatief dat sowieso makkelijk uit te leggen is.

  5. Ik heb het even opgezocht, want in m’n herinnering waren er 4 opties, maar het bleken er 5 dus we zijn weer terug bij de giscorrectie inderdaad. 🙂

Reacties zijn gesloten.