Categorie: Statistiek

Best lastig, kansrekening

Onverkwikkelijke kwestie hier aan de RuG: twee taalwetenschappers claimden in een proefschrift dat eerstejaarsstudenten aan universiteit en hogeschool respectievelijk 40 en 80 taalfouten per A4’tje zouden maken. Geinteresseerde vakgenoten wilden dat graag inzien, maar helaas, de onderzoekers weigerden het gewraakte materiaal te tonen, universiteit boos, afijn, zie hier.

Wat echter nog het meeste verbijstering wekt is dat de onderzoekers zich verdedigen met het volgende staaltje onnavolgbare statistiek:

De kans dat de universiteit na een promotie reageert met een veroordeling (van het gedrag van de gepromoveerde na de promotie) als ‘wetenschappelijk niet integer’ is vrijwel zeker kleiner dan een op duizend. De kans dat de promovendus openlijk travestiet is, is vrijwel zeker ook kleiner dan een op duizend. De kans dat beide zaken tegelijkertijd optreden is dan een op het miljoen. Die kans is te klein om nog geloofwaardig te zijn. Het lijkt dus wetenschappelijk gezien, volstrekt zeker dat mijn openlijke travestie een rol moet hebben gespeeld bij de reactie van de RUG.

Lijkt me op zich al genoeg reden die bul weer in te moeten leveren. (via)

18,6%

Is het al weer vier jaar geleden dat we, vlak voor de halve finales van het WK voetbal, een uitspraak deden over de kans dat Nederland het toernooi zou winnen? Ja, dat is het.

We zitten twintig minuten voor de eerste halve finale van het huidige toernooi en ik ga een schaamteloze herhaling van dat bericht plaatsen, maar dan met nieuwe getallen. Ik bereken kansen aan de hand van de odds zoals ze zojuist gegeven werden door oddschecker.

De kans dat Nederland zondag de cup in handen heeft is 18,6%. Da’s een stuk minder dan vier jaar geleden, toen we ingeschat werden op 30%, en het laagste van de vier overgebleven landen. Ook de kans dat we in de finale staan is lager dan vier jaar geleden: op het moment van schrijven zo’n 41%. Met het theorema van Bayes rekenen we alvast uit wat de kans op een Nederlandse WK-zege is, gegeven dat we morgen Argentinië verslaan: die kans wordt op dit moment ingeschat op 46%.

Allemaal niet erg, natuurlijk. Sinds de wedstrijd tegen Mexico weten we dat de mooiste overwinning, de onverwachte overwinning is.

Sloddereconomie

Voor het onwaarschijnlijke geval dat u het gemist heeft; gisteren ontplofte het economeninternet bijkans door deze kwestie. In een nogal invloedrijke paper in de American Economic Review van 2010 laten Reinhart en Rogoff zien dat landen met een schuld boven de 90% minder hard groeien. Dat resultaat geldt als belangrijke onderbouwing voor de stevige bezuinigingen die her en der worden doorgevoerd. Wat blijkt? Er zijn wat foutjes gemaakt bij de data-analyse. Of, nou ja, Reinhart en Rogoff bedienden zich van praktijken waar we tot nu toe vooral sociaal-psychologen van beschuldigden:

Three main issues stand out. First, Reinhart and Rogoff selectively exclude years of high debt and average growth. Second, they use a debatable method to weight the countries. Third, there also appears to be a coding error that excludes high-debt and average-growth countries. All three bias in favor of their result, and without them you don’t get their controversial result.

Dat laatste is met name koddig: er bleek een foutje te zitten in de Excel-spreadsheet waarmee de regressie gedaan werd, waardoor een paar landen niet meegenomen werden. Tja. Wat eigenlijk vooral schokkend is, is dat de analyse blijkbaar zo weinig robuust is dat zulke keuzes en foutjes uberhaupt het oorspronkelijk gepubliceerde resultaat volledig onderuit halen.

Pijlsnel kwamen Reinhart en Rogoff met een reactie, die vooral als onthutsend zwak wordt beschouwd.

Meer hier en hier.

Ballen blijven steken

Drama woensdagavond bij de Duitse Lotto, zo schijnt het.

De trekking, die in Duitsland live op televisie wordt uitgezonden, moest ongeldig verklaard worden omdat twee balletjes in de trommel waren blijven steken. Wie de zes juiste cijfers had aangekruist, mocht zich exact 22 minuten rijk rekenen. Toen doorprikte de Lotto de droom van vele miljoenen. De trekking werd als ongeldig verklaard en overgedaan.

Toch vraagt een mens zich af waarom. A priori mag je aannemen dat het voor alle ballen even waarschijnlijk is dat ze blijven steken. En dat betekent weer dat de uitslag als er een paar ballen blijven steken net zo willekeurig is als een uitslag waarbij dat niet het geval is.

En mocht het voor bepaalde ballen al waarschijnlijker zijn dat ze blijven steken, dan kan iedereen daar bij het invullen van zijn lottoformulier rekening mee houden en wordt er dus niemand bevoordeeld. Strikt genomen zou er pas reden zijn om de trekking over te doen als er aanwijzingen zijn dat er bepaalde mensen zijn met meer informatie over mogelijke steekballen dan anderen. Maar daarvan lijkt geen sprake.

Eigenlijk zou het de trekking alleen maar spannender maken, als er zo af en toe eens een bal blijft steken. En er dan meteen bij verteld wordt welke dat is.

Stapel

Bij zo’n kwestie als die van Stapel die vorige week weer uitgebreid in het nieuws was, vraag je je als wetenschapper natuurlijk meteen af of zoiets in jouw vakgebied ook zou kunnen gebeuren. Ik denk dat die kans niet heel groot is. Binnen de economie wordt immers ook aan theorie gedaan en dat is belangrijk, betoogt taalkundige van Oostendorp in misschien wel het meest lezenswaardige artikel over de kwestie:

Wanneer men in een vak werkt aan een theorie, betekent dit dat men in gesprek is met elkaar. Die theorie brengt al die weetje samen in een groter bouwwerk, zodat je makkelijker kunt zien wat wel of niet betekenisvol is. Er zijn voor- en tegenstanders van een theorie die elkaar proberen te overtuigen van hun eigen gezichtspunt door nieuwe gegevens naar boven te halen. Maar ze zullen ook allebei hun uiterste best doen om de ‘bewijzen’ van de andere kant omver te werpen. Er zal daarom kritisch naar die gegevens gekeken worden.

In een vak waar de voornaamste ambitie lijkt om grappige correlaties naar boven te halen, maakt het nauwelijks uit wat voor correlaties je collega’s allemaal produceren. Dat kost allemaal maar nodeloze tijd, die je ook kunt besteden aan je eigen sexy correlaties.

140 dates!

Datingwebsites zijn notoir terughoudend in het verstrekken van informatie over hoe succesvol ze nu eigenlijk zijn bij het helpen vinden van een vaste partner. Maar wie slim rekent komt een heel eind. Zo berekent Lex Borghans op het ESB blog dat de gemiddelde gebruiker van lexa.nl 58 dates nodig heeft een vaste relatie.

Ik vrees dat dat een schromelijke onderschatting is. De laatste commercial claimt op last van Maurice de Hond dat er “dankzij lexa.nl elke week 35.000 dates zijn”. Tegelijkertijd meldt de website en een eerdere commercial dat er “elke 45 minuten een nieuw succesverhaal begint op lexa.nl”, waarbij met succesverhaal klaarblijkelijk een vaste relatie wordt bedoeld.

Eens rekenen. Elke 45 minuten een relatie, dat zijn er 36 per dag, ofwel 250 per week. Zetten we dat af tegen die 35.000 dates, dan komt dat neer op een gemiddelde van 140 dates voordat je via lexa.nl dan toch de ware hebt gevonden.

Mijn hemel.

Smeesters

Het meest intrigerende aan de kwestie Smeesters is hoe aan het licht is gekomen dat er iets niet in de haak is. Statisticus Uri Simonsohn ontwikkelde een methode om te achterhalen wanneer er met grote waarschijnlijkheid met dergelijk onderzoek geklooid is, meer hier. Het is een wat technisch verhaal, en de paper waarin het allemaal beschreven wordt is nog niet openbaar, maar hier staat een behoorlijk uitgebreide uitleg en analyse. Heel in het kort komt het er op neer dat bij gemanipuleerde data populatiegemiddelden minder van elkaar verschillen dan ze bij niet-gemanipuleerde data zouden doen.

Ook de Erasmus Universiteit baseerde zich met name op deze methode, in de Nederlandse versie is dat allemaal nog weggecensureerd, in de Engelse vertaling is het wel openbaar gemaakt. (via @gill1109 en @JaapAbbring)

Hoe win ik de voetbalpool?

Wie in deze tijden van oranjekoorts veel bezoekers op zijn weblog wil, moet zorgen voor een bericht met bovenstaande titel in zijn archieven, zo bleek de afgelopen weken. Op dit bericht, twee jaar geleden, kwamen honderden extra bezoekers af.

De essentie, mocht u uw formuliertje nog niet hebben ingeleverd? Wie meedoet aan de voetbalpool moet een lastige afweging maken tussen statistiek en speltheorie. Het gaat er immers niet om dat de kans op winst zo groot mogelijk is, maar juist dat u de verwachte opbrengst maximaliseert. Een voorbeeld. Stel Duitsland heeft 80% kans om van Denemarken te winnen, andersom is de kans 20% (die kansen haalt u natuurlijk uit het werk van Loek Groot). U doet mee aan een pool met 10 deelnemers, waarvan de andere 9 allemaal favoriet Duitsland tippen. Wat doet u? Als u ook Duitsland tipt, dan heeft iedereen dezelfde voorspelling, zal de winnaar willekeurig worden getrokken, en heeft u dus 10% kans de pool te winnen. Als u Denemarken tipt, dan is er slechts een kans van 20% dat u gelijk heeft, maar als u gelijk heeft, wint u ook zeker de pool. Ergo: de kans dat u de pool wint is dan 20%, en dat is meer dan wanneer u het favoriete Duitsland tipt.

Een andere verstandige strategie, die overigens opvallend weinig landgenoten lijken te hanteren, is die van de emotionele hedge. Komt het van een finale Nederland – Duitsland, zet dan vooral al uw geld op Duitsland. Ga maar na. Wordt Nederland kampioen, dan bent u blij. Het verloren geld is slechts bijzaak. Gaat de titel naar Duitsland, dan heeft u altijd nog een leuk geldbedrag gewonnen.

Kruispost van het economie.nl EK-blog.

Nederland die heeft de bal

Trudo heeft gelijk, een peiling toont aan dat een overweldigende 46 procent van alle Nederlanders denkt dat Oranje dit EK kampioen gaat worden. Bij het horen van dit getal vroeg ik me af of, de wijsheid van de massa indachtig, dit nu betekent dat de kans dat Nederland straks de finale wint 46% is. Dit hoeft niet logisch te volgen en een tegenvoorbeeld is snel gevonden: stel dat elk land een even grote kans heeft om te winnen (1/16 min een beetje), en Nederland een net iets grotere kans (1/16 plus wat beetjes). Stel vervolgens dat alle Nederlanders dit perfect weten, dan zou je peilen dat 100% van de Nederlanders verwacht dat Oranje kampioen wordt, terwijl de kans in werkelijkheid maar net boven de 6 procent is.

Toch vrees ik dat de gepeilde Nederlanders misschien wat optimistisch zijn over de kansen van ons elftal. De odds voor Nederland staan op het moment van schrijven op 8, wat ons een kans van 12,5% op de titel geeft. Spanje en Duitsland gaan ons voor met ieder rond de 25%. Het is niet onredelijk om deze getallen aan te houden als objectieve kansen, wat de vraag oproept waarom het vertrouwen van het Nederlands publiek in Oranje zo groot is.

Het is een bekend verschijnsel dat de manier waarop een vraag gesteld wordt, grote invloed heeft op het antwoord. Persoonlijk denk ik dat de Nederlanders in deze peiling vooral aangeven dat ze het erg leuk zouden vinden als ons land kampioen zou worden. Ze weten dat enig zelfvertrouwen hierbij essentieel is. Een betere inschatting van onze kansen wordt waarschijnlijk verkregen als we de Nederlanders ook vragen: “zou u verbaasd zijn als Oranje dit EK géén kampioen werd?”.

Kruispost van het economie.nl EK-blog.

Dieren voor de Partij

Het voorspellen van de uitslag van het komende EK is vrijwel onmogelijk, zo wordt op deze site al diverse keren gememoreerd. Maar zijn de geleerde economen wellicht Paul de Octopus vergeten? Deze inktvis, die zijn uitspraken deed vanuit een dierentuin in Oberhausen, voorspelde tijdens het vorige WK de volledige reeks van het Duitse elftal correct, en zag tevens het Nederlandse verlies in de finale aankomen. Paul werd een mediasensatie en zijn (correcte) voorspelling dat Duitsland de halve finale niet zou overleven kwam hem op heuse doodsbedreigingen te staan.

Helaas heeft Paul deze zomer niet gehaald en dus kunnen we niet van zijn deskundigheid genieten. Maar wat wist de octopus dat wij niet wisten? We kunnen natuurlijk niets uitsluiten, maar een mogelijke verklaring voor Paul is het fenomeen van survivorship bias, waarbij we misleid worden door een filter op onze waarneming. De enige reden dat we überhaupt van Paul hoorden, was zijn succes – van alle dieren die voorspellingen deden haalde alleen Paul het nieuws, omdat hij (door dom geluk) de juiste uitslag voorspelde. De bekendheid van Mani de Parkiet, bijvoorbeeld, is net als zijn successen een stuk minder groot.

Paul in betere tijden

Overlevings-bias is een bekend fenomeen uit de economie, het is de reden dat er zoveel onfeilbare beleggers op televisie zijn en ook de reden waarom het historische rendement van de huidige grote bedrijven het verwachte rendement van tien jaar geleden overschat. Economen zijn niet immuun: een bekende flater uit de groeitheorie is terug te voeren op overlevings-bias. Voor de media maakt het niet uit: Paul was een guitig item en uiteindelijk had hij alles goed.

Slimme huisdierenbezitters kunnen van deze situatie profiteren door hun eigen dier de uitslag van EK-wedstrijden te laten voorspellen. Waarschijnlijk wordt het niks, maar als uw cavia het per ongeluk goed doet staat binnen een mum van tijd de camera op de stoep. Sterker nog: u kunt de voorspelling nu al doorgeven bij deze omroep en op die manier meedingen naar kortstondige beroemdheid. Eventuele doodsbedreigingen moet u helaas op de koop toenemen.

Kruispost van het economie.nl EK-blog.