De optimale giscorrectie

Het maken en beoordelen van tentamens valt niet mee. Neem nu de meerkeuzevraag. Een manier om te corrigeren voor de gokkans is dan wat in de Angelsaksische literatuur negative marking wordt genoemd, of in goed Vlaams de giscorrectie. In het geval van 4 antwoordopties wordt dan aan een goed antwoord 1 punt toegekend, maar voor een fout antwoord 1/3 punt afgetrokken. Stel dat iemand geen flauw benul heeft en maar wat invult. Dan levert dat in dit systeem precies 1/4 x 1 + 3/4 x (-1/3) = 0 punten op — precies wat je als docent zou willen.

Maar de Universiteit van Leuven gaat vanaf nu nog een stap verder. Die giscorrectie is nadelig voor studenten die risicoavers zijn, zo wordt betoogd. Een recent NBER paper suggereert overigens dat het effect daarvan op de uiteindelijke score verwaarloosbaar is, maar dit terzijde. De KU Leuven komt daarom met een uiterst ingenieuze variant. Bij elke antwoordmogelijkheid mag een student aangeven of die optie kan of niet kan. Lees en huiver:

Lees verder “De optimale giscorrectie”

Prijsdiscriminatie in Rio

De organisatie van de aanstaande Olympische Spelen heeft een effectieve manier bedacht om het probleem van nagemaakte merchandise tegen te gaan. Ze brengen gewoon zelf goedkopere versies op de markt, meldt Bloomberg:

In addition to plenty of higher-end gear at tourist price-points, the committee has also licensed a slew of copycat paraphernalia that sells for much less.

Inderdaad. Tweedegraads prijsdiscriminatie.

Overigens is er in Brazilie een economische crisis, waardoor de lokale valuta veel minder waard is geworden. Het hoofd licenties claimt dat dat alleen maar goed is voor de omzet, en komt met de volgende briljante analyse:

The crisis started in Brazil and then the dollar started to go up. If Brazilians were going to buy two T-shirts, now they’ll buy one. If the foreigners were going to buy two, now they’ll buy four. We’re one T-shirt up.

Sannikov

De John Bates Clark medal, u weet wel, de prijs voor de beste econoom werkzaam in de VS van onder de 40 (eerder) gaat dit jaar naar Yuliy Sannikov, Rus Oekraiener, en werkzaam op Princeton.

Ging de prijs sinds 2010 steeds naar toegepaste micro-economen (zie bericht vorig jaar), dit jaar is er dan eindelijk weer een hardcore theoreticus aan de beurt. Sannikov bouwt dynamische speltheoretische modellen in continue tijd, over onderwerpen die tot voor kort vooral in discrete tijd werden gemodelleerd (kartels, principal-agent, maar ook corporate finance en macro). Nogal geavanceerd allemaal (de man won niet voor niets drie gouden medailles op wiskunde-olympiades), maar hier staat een zeer goed en relatief toegankelijk overzicht.

Peilingen moe

Vlaams datajournalist Maarten Lambrechts maakte een adembenemend mooie website waarop hij door middel van een fraai gevisualiseerde Monte Carlo simulatie laat zien hoe onbetrouwbaar politieke peilingen eigenlijk zijn.

De website neemt de Vlaamse situatie als uitgangspunt, maar is voor Nederland precies net zo relevant. Verplichte kost voor iedereen die zich wel eens druk maakt over peilingen. Op het toepasselijke adres peilingen.moe 

(via @wilte)

Bestaat de waardevrije econoom niet!?

Op MeJudice is een nieuw stuk verschenen van van Dalen, Klamer en Koedijk, naar aanleiding van hun enquete onder economen van ruim een  jaar geleden. Ook nu leidt de analyse tot nogal boude uitspraken en grote claims. De vraag is in hoeverre die claims daadwerkelijk uit de analyse volgen. Het antwoord is ontkennend (zie hier over een eerder artikel in dezelfde serie).

Allereerst de belangrijkste conclusie: politieke voorkeuren zouden “een grote rol spelen in de uitspraken die economen doen”, een conclusie waarmee bijvoorbeeld de Volkskrant meteen aan de haal ging. Die conclusie blijkt gebaseerd op het feit dat de mate waarin economen het met een bepaalde stelling eens zijn, meestal blijkt te correleren met hun zelfgerapporteerde politieke voorkeur. Maar uiteraard wordt politieke voorkeur ook bepaald door je mening over bepaalde zaken. Misschien was een betere conclusie dus geweest: de uitspraken die economen doen spelen een grote rol bij het bepalen van hun politieke voorkeur.

Lees verder “Bestaat de waardevrije econoom niet!?”

Unanimiteit misleidt

Stel iemand wordt verdacht van moord en u moet bepalen of hij daarvoor gestraft gaat worden. Gelukkig heeft u de beschikking over een panel van onafhankelijke en uitstekende rechters. Om precies te zijn, elke rechter doet met een kans van 70% de juiste uitspraak. Toegegeven, ze zitten er nog wel eens naast, maar u heeft de beschikking over een flink aantal en in het kader van de wisdom of the crowd moet u dus eenvoudig tot een uitstekende beslissing kunnen komen.

Stel dat 3 rechters unaniem tot de conclusie komen dat verdachte schuldig is. Dat lijkt al voldoende voor een veroordeling. En bij 5 unanieme rechters weet u het helemaal zeker.

Maar bij 10 unanieme rechters begint u zich toch een beetje ongemakkelijk te voelen. Zelfs als verdachte schuldig, dan is de kans dat alle 10 rechters unaniem en onafhankelijk van elkaar tot die conclusie komen slechts 0.7 tot de macht 10, dus 2.8%. En bij 20 unanieme rechters weet u het zeker. Hier is iets niet in de haak. De kans daarop, zelfs bij schuld, is immers minder dan 0.1%.

Gunn et al.  (via) introduceren de mogelijkheid van een systeemfout. In dit geval betekent een systeemfout dat iemand die onschuldig is zonder meer door iedereen schuldig wordt verklaard. Dat kan veel oorzaken hebben. Misschien is er met het bewijsmateriaal geknoeid. Of zijn de rechters een corrupt zootje. Of is er iets anders mis gegaan. Veronderstel voor het gemak eens dat de kans op een systeemfout 1% is.

Ineens ziet de wereld er heel anders uit. Bij 10 unanieme rechters weten we dat de kans dat dat toevallig gebeurt 2.8% is. Maar we kennen ook de kans op een systeemfout: 1%. Middels Bayesian updating vinden we dan een kans van ongeveer  1/(1+2.8)=26% dat de verdachte onschuldig is. En bij 20 unanieme rechters is die kans zelfs 93%. Paradoxaal genoeg geldt dat hoe meer unanieme rechters er zijn, des te groter de kans is dat verdachte onschuldig is. Immers: hoe meer unanieme rechters, hoe kleiner de kans dat dat op toeval berust, en hoe groter de kans dat er iets echt niet in de haak is. Maar als er een rechter is die verdachte onschuldig  vindt, maakt dat de kans dat hij schuldig is juist veel groter. Er kan nu immers geen sprake meer zijn van een systeemfout.

Wanneer in Israel een panel van 23 rechters unaniem vond dat de doodstraf gerechtvaardigd was, moest de verdachte volgens de Talmud worden vrijgesproken. Waarschijnlijk was die regel helemaal niet zo gek. Volgens sommige beleggers geldt dat wanneer alle beuranalisten roepen dat de beurs nog veel verder gaat stijgen, het tijd wordt om uit te stappen. En andersom. Bij unanimiteit wordt het tijd je zorgen te gaan maken.

Overigens houdt het artikel geen rekening met de mogelijkheid van strategisch gedrag.

Het meest gelezen van 2015

Gelukkig nieuwjaar! Daar is-ie weer, het traditionele lijstje van meest gelezen berichten van het voorbije jaar. Wegens de reeds gememoreerde lage produktie in 2015 haalden veel oudere berichten de eindlijst. Meest gelezen was merkwaardig genoeg onze Nobelprognose. Van vorig jaar. Hier de volledige lijst, eventuele positie vorig jaar tussen haakjes:

1. (10) Nobelprognose 2014 okt 2014
2.   Schoolstrijd jun 2015
3.   De econoom in de kaartenbak mei 2015
4.   Best lastig, kansrekening jul 2015
5.   (2) Slepen met goud nov 2014
6.   Stemadvies mrt 2015
7.   (4) Vragen voor Larry Summers okt 2014
8.   (8) Fed-beleid en het buitenland okt 2014
9.   Een waterdicht BTW-systeem aug 2015
10.   De machtigste wetenschapper mei 2015