zo 27 mrt 2011
Via vaste lezer Ward krijg ik dit filmpje uit ons parlement doorgespeeld. Als u nog 4:30 minuten overheeft zou ik zeker even kijken, want het is zeer de moeite waard. PVV-kamerlid Lilian Helder heeft het woord en zij laat zich uit over het effect van een taakstraf versus dat van een gevangenisstraf. Onderzoek toont aan, zeggen anderen, dat degenen die een taakstraf ondergaan minder vaak in dezelfde fout vervallen als degenen die naar de gevangenis moeten.
Dat kan je helemaal niet vergelijken, zegt mevrouw Helder, want dat zijn verschillende personen. Dus dit onderzoek is waardeloos.
De gevolgen laten zich raden: andere leden van de Tweede Kamer spoeden zich naar de microfoon om mevrouw Helder te kakken te zetten en het filmpje komt met sarcastisch commentaar op Dumpert. Maar is haar redenering nou zo dom, of zijn wij zo slim?
Hoe kun je ooit iets zeggen over het effect van verschillende behandelingen (taakstraf of gevangenis, of iets anders) als de mensen op wie je het uitprobeert allemaal verschillend zijn? Het onderzoek dat wordt aangehaald heeft vast niet dezelfde personen eerst vastgezet en daarna een taakstraf gegeven, om te kijken welke voor minder recidive zorgt.
Het logische alternatief is om de gegevens op te vragen van iedereen die een taakstraf heeft gekregen voor een bepaald feit, en die van iedereen die de gevangenis in moest, en dan te kijken wie er na de straf vaker opnieuw de fout in ging. Maar dat is ook geen goed idee, want misschien is er wel een reden dat rechters bepaalde mensen met een taakstraf weg laten komen en anderen de nor in sturen, en misschien speelt die reden ook wel een rol bij het opnieuw vervallen in crimineel gedrag. Dan wordt dus niet het effect van de gevangenis gemeten, maar slechts het gelijk van de rechters.
Hier mist mevrouw Helder haar kans om als overwinnaar uit dit debat te komen. Sharon Gesthuizen vraagt haar (op 2:40) specifiek of zij misschien dit verschijnsel bedoelt, en daarop komt geen nieuw antwoord. Dan concludeert Gesthuizen terecht dat we net zo goed kunnen stoppen met alle sociale wetenschap.
Maar hoe moet het dan wel? De truuk is dat de personen die met elkaar vergeleken worden, willekeurig een type straf moeten hebben gekregen. Als er geen verband is met het type straf en alle kenmerken van een persoon die invloed kunnen hebben op de recidive, dan kun je het effect van de straf aflezen aan de verschillen tussen de groep met een taakstraf en die met een gevangenisstraf. Voor een zuiver experiment moet er eerst geloot worden wie in de behandelingsgroep komt, en wie in de controlegroep.
Zoiets ligt in de sociale wetenschap altijd erg moeilijk, en er bestaan vele manieren om toch iets van een experimentele opzet te maken uit een natuurlijke situatie. Er bestaan ook vele manieren om er een potje van te maken. Het tragische aan deze hele affaire is natuurlijk dat sommige onderzoeken waarop parlementariërs zich baseren inderdaad broddelwerk zijn, en mevrouw Helder dus best een punt kan hebben met haar bezwaar. Maar de Kamerleden zijn zo druk met het doorgronden van dit vrij elementaire onderdeel van de statistiek (ik citeer hierboven uit de stof van mijn eerste studiejaar) dat deze belangrijke vraag helemaal niet aan de orde komt.
(edit: filmpje erbij ge-embed).
zie ook: wiskundemeisjes.
27 maart 2011 om 11:02
Je slaat de plank mis. Natuurlijk heb je gelijk dat je een punt kunt hebben wanneer je zegt dat de onderzoeken mogelijk niet juist zijn uitgevoerd. Maar dat is ook een dooddoener. Ik neem aan dat kamerleden er van uit gaan dat de onderzoeken correct zijn uitgevoerd. Anders wordt de situatie nogal onwerkbaar. Maar mevrouw Helder kaart de onderzoeksmethode niet aan. Mevrouw helder zegt, die onderzoeken zeggen niets want je kunt persoon A niet met persoon B vergelijken. Met andere woorden, wanneer je random twee disjuncte verzamelingen mensen selecteert, dat je dan nooit statistisch relevante data kunt afleiden omdat de sets disjunct zijn. En dat is natuurlijk klinkklare onzin. Door de verzamelingen groot genoeg te maken, en random te selecteren vlak je persoonlijke kenmerken uit. Dat is wat zij aanvecht. Kortom, mevrouw Helder is gewoon echt heel dom, en de kamerleden hebben volledig gelijk dat ze haar zo te kakken zetten.
27 maart 2011 om 20:30
Nou nee, dat was juist de aanleiding van al deze commotie. Helder wilde het onderzoek niet geloven. Ik wil die scepsis eigenlijk niet ontmoedigen want Kamerleden die zelf nadenken zijn nodig voor het land. Alleen ging het nadenken hier niet zo heel goed.
28 maart 2011 om 11:00
Goed, met dank aan Matthijs Bouman de oorspronkelijke studie: http://bit.ly/fZNmYl
Het selectieproces is inderdaad het grote probleem (“In dit soort directe vergelijkingen wordt echter geen rekening gehouden met selectie-effecten”), dus “Om te controleren voor selectieprocessen maken we gebruik van ‘matching’-methoden.”. Verdere details van hun matching-methoden worden beschreven vanaf p6. Helaas hebben deze juristen hetzelfde probleem als economen, random experimenten met grote gevolgen voor niets-vermoedende individuën zijn ethisch niet verantwoord, dus “In de praktijk zijn vergelijkingen gebaseerd op niet experimenteel verkregen data vaak het maximaal haalbare”.
28 maart 2011 om 12:23
Hoe het ook uitgelegd wordt: het was een potje waardeloos en beschamend debaten van Helder.
Als mevrouw Helder een probleem had gehad met het onderzoek of met de methodiek, had ze moeten zeggen “Ik heb weinig vertrouwen in het onderzoek, vanwege de gehanteerde methodiek”.
In plaats daarvan maakt ze herhaaldelijk en storend triomfantelijk een argument waar niks van klopt. Helder zegt feitelijk: je kunt dit soort onderzoek NOOIT doen, omdat de omstandigheden nooit gelijk zijn. Als ze daar in gelooft, hoop ik dat haar partij snel met een bezuinigingsmaatregel komt: nooit meer onderzoek doen. Scheelt een boel centen!
28 maart 2011 om 12:27
Complimenten voor dit stukje waaruit het werkelijke onderwerp van de discussie blijkt. (Althans, waarover de discussie eigenlijk zou moeten gaan.)
Mevrouw Helder heeft alle recht om het aangedragen onderzoek in twijfel te trekken. Ze heeft het recht om alle conclusies gebaseerd op statistiek in twijfel te trekken.
Echter, mevrouw Helder toont aan dat ze gewoon een slecht politicus is. Ze kan blijkbaar niet onder woorden brengen wat ze bedoelt. Of ze heeft eigenlijk helemaal niet nagedacht wat voor standpunt ze zou willen uitdragen.
Het feit dat ze een voor de hand liggende interpretatie van Gesthuizen niet aanneemt toont aan dat ze niet alleen te weinig over het onderwerp heeft nagedacht, maar dat ze valkuilen voor zichzelf creeert waar ze vervolgens zelf intrapt. Een vervelende eigenschap voor een politicus.