De optimale giscorrectie

Het maken en beoordelen van tentamens valt niet mee. Neem nu de meerkeuzevraag. Een manier om te corrigeren voor de gokkans is dan wat in de Angelsaksische literatuur negative marking wordt genoemd, of in goed Vlaams de giscorrectie. In het geval van 4 antwoordopties wordt dan aan een goed antwoord 1 punt toegekend, maar voor een fout antwoord 1/3 punt afgetrokken. Stel dat iemand geen flauw benul heeft en maar wat invult. Dan levert dat in dit systeem precies 1/4 x 1 + 3/4 x (-1/3) = 0 punten op – precies wat je als docent zou willen.

Maar de Universiteit van Leuven gaat vanaf nu nog een stap verder. Die giscorrectie is nadelig voor studenten die risicoavers zijn, zo wordt betoogd. Een recent NBER paper suggereert overigens dat het effect daarvan op de uiteindelijke score verwaarloosbaar is, maar dit terzijde. De KU Leuven komt daarom met een uiterst ingenieuze variant. Bij elke antwoordmogelijkheid mag een student aangeven of die optie “kan” of “niet kan”. Lees en huiver:

“De optimale giscorrectie” verder lezen

Schoolstrijd

Prachtig voorbeeld van speltheorie in de praktijk: de middelbare-schoolkeuze in Amsterdam. Tot voor kort werd er domweg geloot, maar de Nobelprijs van Roth en Shapley een paar jaar geleden had uiteindelijk tot gevolg dat een aantal Amsterdamse economen mochten nadenken over een beter systeem (zie de eerste melding hier). In een rapport (wetenschappelijke versie hier) stelden zij dat er twee alternatieven voor het oude. Het ene systeem is een stuk beter (in de zin dat meer leerlingen een school krijgen toegewezen die hoog op hun voorkeurslijstje staat) en leidt tot stabiele matching (in de zin dat het niet mogelijk is twee leerlingen te vinden die met elkaar willen ruilen), het andere systeem is zelfs nog beter maar leidt niet tot zo’n stabiele matching.

Uiteindelijk kozen de Amsterdamse scholen voor het laatste systeem. De vraag is of dat politiek verstandig was. Er zijn nu inderdaad leerlingen die zouden willen maar niet mogen ruilen, en dus stapt mams naar de rechter. Een beetje vreemd is dat natuurlijk wel: als ze tegen het systeem zijn hadden ze daar al vantevoren tegen kunnen procederen. Een prachtig overzicht van de issues staat hier.

Lex Borghans geeft bij economie.nl ook uitleg (let vooral ook op de discussie onder aan de pagina). Hij betoogt dat er volgend jaar moet worden overgestapt naar dat andere systeem, en dat leerlingen dit jaar voor deze ene keer dan maar wel moeten mogen ruilen. Dat is een nogal vreemd argument. Het mooie van beide systemen is dat het een optimale strategie is om je echte voorkeuren op te geven en strategisch gedrag dus wordt voorkomen. Dat is niet het geval als er wel geruild mag worden. Dan had iedereen bijvoorbeeld populaire scholen als tweede en derde voorkeur kunnen geven om zo het perfecte ruilmateriaal te hebben als de eerste voorkeur niet beschikbaar is.

Als de rechter nu de ruilers gelijk geeft, geeft dat andere ouders weer een reden om ook een rechtzaak aan te spannen met het argument dat, als ze vantevoren geweten hadden dat er geruild had mogen worden, ze wel een andere voorkeur hadden opgegeven.

Update: Lex Borghans komt met een mooie aanvullende analyse die suggereert dat de niet-stabiele methode gunstiger is voor kieskeurige ouders, maar dat achteraf mogen ruilen strategisch gedrag in de hand werkt waardoor de uitkomst toch weer die van de stabiele methode is.

Update 2: Nu goed gelinkt naar het stuk op NPOWetenschap.

Geneeskunde, ministerraad

Het schijnt dat de loterij voor de studie geneeskunde wordt afgeschaft en aspirant studenten hun lot in eigen hand krijgen. Dat is geweldig nieuws; het leidt tot meer en betere doktoren en zorgt ervoor dat scholieren beter hun best doen (zie ons eerdere commentaar onder meer hier).

Maar nu iets vreemds. Doordat we melding maken van deze verandering wordt de invoering ervan mogelijk met een week vertraagd. Het item zou namelijk op de agenda van de ministerraad staan, en alles van die agenda dat vóór de vergadering uitlekt gaat voor straf een week niet door.

Mark Rutte bedacht die regel om te zorgen dat ambtenaren stoppen met lekken naar de pers (stukje personeelsmanagement). Dat is een mooi streven, maar het werkt nog niet zo goed, gekeken naar het aantal keren dat de straf al is uitgevoerd. Misschien komt het doordat niet alle ambtenaren dezelfde prikkels kennen. Lekken is voor een groot aantal mensen aantrekkelijk, al was het alleen maar vanwege het contact met een beroemde journalist. Daar staat nu een straf tegenover die gevoeld wordt door de minister en degenen die het voorstel snel behandeld willen zien. Maar niet elke ambtenaar staat achter elk initiatief van zijn ministerie. Er zal er altijd wel een zijn die juist tegen is, of het niets kan schelen. Dan werkt de straf niet, tenminste, als opsporing van de dader onmogelijk is. Er zijn wel kosten aan de regel: het bestuur van het land loopt onnodige vertraging op.

Beter is het om een straf te verzinnen die alle ambtenaren treft, maar die niet kostbaar is voor het land. Als een onderwerp voortijdig lekt, gaat de verwarming op het ministerie een graad lager. En wordt voor de lunch alleen kool geserveerd. Dat zal ze leren.

Elasticiteit

Voor iedereen die nog verlegen zit om een micro-tentamenvraag wijst vaste lezer Pim op het volgende bericht

De goedmaakactie van de NS waarbij woensdag en donderdag iedereen met 40 procent korting de trein kan pakken, levert het spoorbedrijf gemiddeld 25 procent meer reizigers op.

De huiskamervraag: bereken de prijselasticiteit.

Paiement contre l’absence

of hoe het dan ook heet in het Frans. Bij Parijs wordt een proef gehouden om scholieren te betalen als ze minder spijbelen. Lees vooral ook de boze (Nederlandse!) belastingbetaler die reageert.

Hoe dan ook, je zou zeggen dat de opbrengst van schoolgaan zo hoog is dat dit soort betalingen niet nodig zou moeten zijn. Het rendement op een jaar school is makkelijk 10 procent (zie hier, of hier bijvoorbeeld) en dat is beter dan op een spaarrekening. Maar het is mogelijk dat scholieren problemen hebben die zorgen dat ze toch uitvallen. Gebrek aan geld en geen mogelijkheid om het te lenen, bijvoorbeeld. Of geen kennis over de hoge opbrengst van onderwijs.

In dat geval gaat dit programma ze niet helpen want de uitvoering is van een zeer hoge klungeligheid. Ten eerste hangt de uitbetaling af van het spijbelgemiddelde van de hele klas; de individuele prikkel is dus laag. Vervolgens wordt er uitbetaald in “bijzonder lesmateriaal” in plaats van harde cash. Alsof potentiële spijbelaars daarop zitten te wachten. En dan is het ook nog eens zo dat de eerste €2000 al wordt gestort voordat er iets gepresteerd is. (Overigens hebben de Fransen niet het alleenrecht op dit soort dommigheid, zie eerder hier.)

De loterij voor geneeskunde

Allocatie van schaarse middelen, het lijkt zo saai maar wie kan dit hartverscheurende verhaal van Jaron van de Wardt lezen zonder zich op te winden over zijn lot? Jaron is voor de zoveelste keer uitgeloot voor de studie geneeskunde, en beschrijft de hemeltergende willekeur die opleidingsplaatsen verdeelt over aspirant-artsen.

We leggen er in de Nederlandse economieopleiding niet zoveel nadruk op, maar er is een belangrijke connectie tussen markteconomie en vrijheid. Wie schaarste oplost met vraag en aanbod kan last hebben van hoge prijzen, maar de koper en verkoper hebben hun lot altijd in eigen hand. Wie iets écht graag wil kan het krijgen, desnoods door heel veel andere dingen te laten. Het frustrerende van de loterij is dat de deelnemer is overgeleverd aan de lottoballetjes en niets kan doen om zijn droom te verwezenlijken. Dat dit leidt tot lummelgedrag op de vooropleiding bespraken we al eerder. Bovendien gaat het ten koste van de kwaliteit van onze medische stand, omdat uitgelote studenten hun heil over de grens zoeken.

Helaas voor Jaron geef ik zijn smeekbede onder de huidige minister niet veel kans. Misschien dat hij in het buitenland meer kansen heeft.

Examen

Voor de liefhebber staat het VWO-examen Economie 1 van vorige week hier [pdf] het correctiemodel hier [pdf].

Eerste persoonlijke indruk: nogal saai. Bijzonder sterke nadruk op overheidsbeleid en overheidsfinanciën, veel aandacht voor jargon en weetjes.

Update: trouwe lezer enono, zelf werkzaam in het onderwijs, wijst er op dat dit het examen van het vwo-economie 1 (deelvak) is dat na dit jaar niet meer bestaat. Het echte economievak is vwo-economie 1,2 (totaalvak) en het examen daarvan staat hier, uitwerking hier. Persoonlijk lijkt me dit examen aardiger dan waar ik in eerste instantie naar verwees. Ook meer rekenwerk. Volgens enono was het echter “bar en boos”, wellicht juist vanwege dat vele rekenwerk.

Examen

Na het havo-examen was het deze week tijd voor het VWO examen economie. De liefhebber vindt het hier [pdf], wie er niet uitkomt vindt hier de uitwerkingen.

Snelle indruk: veel vragen over het interpreteren van de betekenis van cijfers (op zich nuttig), buitensporig veel macro en openbare financien, en zelfs de vragen over micro beperken zich tot mechanische begrippen zoals prijselasticiteit. Prikkels komen nauwelijks voorbij, toch een niet onbelangrijk onderdeel van ons vakgebied. Denken als een econoom lijkt wat dat betreft vrij onbelangrijk. Behalve misschien in de laatste vraag, dat is een aardige, over wanneer en waarom binnenlandse producenten zich tegen een invoertarief zullen verzetten. Verder: werkloosheid is inderdaad een belangrijk onderwerp, maar muggenziften over de verschillen tussen structuur- en frictiewerkloosheid (opgave 1), lijkt me tot weinig inzicht over die kwestie te leiden.

Het economiexamen

Och, de moderne tijd. Gisteren was het eindexamen economie voor de HAVO en nu al kunnen wij een exemplaar downloaden [pdf] voor een korte inspectie.

Voor wie is opgegroeid met economieles waarin het hoogtepunt het uitrekenen van de multiplier was is dit examen een verfrissend proefwerk. Van die oude stof is alleen iets te zien bij de vragen over structuur- en conjunctuurwerkloosheid. Wat wel opvalt is dat ongeveer de helft van de opgaven in feite rekenwerk zijn (“redactiesommen” zeiden wij vroeger) en niet zoveel met economie te maken hebben. De opdracht om een opinieartikel over marktwerking te schrijven vond ik zeer verrassend. Lastiger te beoordelen dan de sommetjes, maar wel relevant.

Alleen dit: Gebruik voor het vervolg van het artikel 120 woorden; een afwijking van 20 woorden is toegestaan. Wat is dat nou weer voor een budget constraint? Maandag het VWO.

Het nakijken hebben

De faculteit waar ik werk staat er op dat ik tentamens binnen drie weken nakijk. Blijkbaar zijn er meer universiteiten die worstelen met hetzelfde probleem: hoe zorgen wij er voor dat het personeel op tijd de cijfers doorgeeft?

Nu hebben economen een oplossing voor elk probleem. Precies dezelfde oplossing zelfs: prikkels. Als docenten ongewenst gedrag vertonen, dan kan via financiële prikkels hun gedrag worden beïnvloed. Geef gewoon een boete voor elk cijfer dat te laat bekend wordt gemaakt.

Wat zegt u? Dat is veel te theoretisch? Helemaal niet. Op Florida State University doen ze het gewoon. [via]