vr 6 jul 2012
Het meest intrigerende aan de kwestie Smeesters is hoe aan het licht is gekomen dat er iets niet in de haak is. Statisticus Uri Simonsohn ontwikkelde een methode om te achterhalen wanneer er met grote waarschijnlijkheid met dergelijk onderzoek geklooid is, meer hier. Het is een wat technisch verhaal, en de paper waarin het allemaal beschreven wordt is nog niet openbaar, maar hier staat een behoorlijk uitgebreide uitleg en analyse. Heel in het kort komt het er op neer dat bij gemanipuleerde data populatiegemiddelden minder van elkaar verschillen dan ze bij niet-gemanipuleerde data zouden doen.
Ook de Erasmus Universiteit baseerde zich met name op deze methode, in de Nederlandse versie is dat allemaal nog weggecensureerd, in de Engelse vertaling is het wel openbaar gemaakt. (via @gill1109 en @JaapAbbring)
6 juli 2012 om 17:12
Is het juist niet precies omgekeerd? Bij gemanipuleerde data is er juist minder variantie in de gerapporteerde gemiddeldes…
7 juli 2012 om 13:42
Klopt helemaal! Bericht aangepast. Dank. (Ook aan @pietgautier)
11 juli 2012 om 9:08
Deze ‘Algemene aanbeveling’ (p9) is ook vrij schokkend: “Aangezien Prof. Smeesters herhaaldelijk aangeeft dat de cultuur binnen zijn werkveld en zijn afdeling zodanig is dat hij zich als persoon niet schuldig voelt en ervan overtuigd is dat velen in publicaties op het gebied van de marketing en (in mindere mate) sociale psychologie gebruik maken van het bewust weglaten van data om significantie te bereiken, zonder dit te vermelden, dient er onderzoek / regelgeving op dit gebied te komen.”
Merk trouwens dat er binnen de economische wetenschap ook vrij weinig naar het overleggen van data wordt gevraagd..
11 juli 2012 om 10:06
Klopt, das wel heel curieus.
In de economie willen we natuurlijk ook wel eens outliers er uit gooien… Veel tijdschriften worden nu trouwens wel veel strenger met beschikbaarheid data, melden van mogelijke belangenverstrengelingen en dat soort dingen.