[138] Kunstmatige Deadlines (Deel 1): Bewijs van Fraude in een Invloedrijke Studie over Uitstelgedrag

Dit artikel heeft een blijvende invloed gehad. Het is voorgeschreven literatuur in veel economie- en psychologiestudies en heeft meer dan 2.100 citaties op Google Scholar. Vanwege deze invloed is het waardevol om de originele studie nauwgezet te bestuderen om te begrijpen waarom deze niet gereproduceerd kon worden. Dit bericht – en het volgende – gaat over onze bevindingen.

***

Ongeveer 20 jaar geleden, op 20 april 2006, ontving een van de auteurs van de aanstaande replicatie, Kyle Hyndman, de originele databestanden via een e-mail verzonden vanaf [email protected]. Ongeveer drie jaar geleden, op 9 augustus 2023 – een week nadat Francesca Gino ons aanklaagde voor 25 miljoen dollar – ontvingen wij onverwacht een e-mail van Hyndman waarin hij deze bestanden naar ons stuurde. We voerden snelle analyses uit en spraken daarna met Hyndman en zijn co-auteur, Alberto Bisin. Tijdens dat gesprek vertelden zij ons dat ze een replicatie zouden uitvoeren. Omdat we op dat moment druk waren met de rechtszaak, lieten we het daarbij.

Onlangs vernamen we dat hun replicatie binnenkort in Psychological Science verschijnt. Bij het lezen van voetnoot 14 van hun artikel ontdekten we het volgende:

"... In oktober 2024 hebben we, op verzoek van de redacteurs, een analyse van de inhoud van het bestand dat naar verluidt voor hun Studie 2 was, gedeeld met Dan Ariely en om toestemming gevraagd om een samenvatting hiervan in het artikel op te nemen. Dan Ariely weigerde ons verzoek en voerde onder andere aan dat de bestanden die wij ontvingen mogelijk niet de werkelijke data zijn. Hij heeft ons vervolgens geen aanvullende data van het originele artikel verstrekt. Bijgevolg zijn we niet in staat om onze replicatie-oefening aan te vullen met enige verdere analyse van de bestanden die we in 2006 ontvingen of andere data."

Dit motiveerde ons om terug te keren naar dit artikel en de originele data van de twee belangrijkste studies volledig te analyseren. We concluderen dat de data in Studie 1 en 2 zijn gemanipuleerd. In twee berichten presenteren we het bewijs dat tot deze conclusie heeft geleid. Het huidige bericht richt zich op de studie die niet gereproduceerd kon worden (Studie 2), en het volgende bericht gaat over Studie 1.

Onze beoordeling dat de data zijn gemanipuleerd, is volledig gebaseerd op de analyses in deze berichten. Lezers kunnen het bewijs bestuderen en hun eigen conclusies trekken.

Voor zover wij weten, heeft Klaus Wertenbroch nooit toegang gehad tot enige versie van de data voor een van de studies. We geloven dat we de data juist dankzij hem hebben. Toen Kyle Hyndman in 2006 contact opnam met de auteurs, antwoordde Klaus met een e-mail waarin hij verwees naar de data.

Tot slot moet worden opgemerkt dat toen we deze berichten enkele weken geleden deelden met Ariely en Wertenbroch, zij contact hebben opgenomen met Psychological Science om te verzoeken het artikel in te trekken (retractie). Op het moment van schrijven is dit proces gaande.

De studie die niet gereproduceerd kon worden: Studie 2 van Ariely en Wertenbroch (2002)

Ariely en Wertenbroch onderzochten hoe deadlines de prestaties beïnvloeden. In een context waarin mensen meerdere taken moesten uitvoeren, hypotheseerden de auteurs dat mensen beter zouden presteren bij gelijkmatig verdeelde deadlines, dan wanneer alle deadlines aan het einde lagen.

Het experiment bestond uit een beloonde correctieopdracht (proofreading). Elke deelnemer kreeg drie documenten van 10 pagina's, die elk 100 "grammaticale en spelfouten" bevatten. De deelnemers kregen de taak deze fouten te vinden en te corrigeren.

Zestig deelnemers werden willekeurig toegewezen aan een van drie condities (exact 20 deelnemers per conditie):

  • Conditie 1: Gelijkmatig verdeelde deadlines. Eén document was elke week verschuldigd, dus na 7, 14 en 21 dagen.
  • Conditie 2: Eigen deadlines bepalen. Deelnemers kozen hun eigen deadlines (binnen 21 dagen).
  • Conditie 3: Deadline op de laatste dag. Alle drie de documenten waren verschuldigd op de laatste (21ste) dag.

De resultaten ondersteunden de hypothese van de auteurs perfect en sterk. Deelnemers met gelijkmatig verdeelde deadlines scoorden aanzienlijk beter op het gebied van prestaties, vertragingen en verdiensten.

Hebben we de originele data?

Ter herinnering: in 2023 stuurde Hyndman ons bestanden die hij in 2006 had ontvangen van [email protected]. Dit waren drie Excel-bestanden – data voor een pilotstudie, voor Studie 1 en voor Studie 2 – waarbij de bestandseigenschappen aangaven dat de data voor het laatst waren opgeslagen door "Dan Ariely".

Met deze bestanden zijn we in staat om alle negen gemiddelden en alle negen standaardfouten te reproduceren die in de oorspronkelijke figuur worden getoond. Ook reproduceren we succesvol de zes andere gemiddelden die in de tekst worden vermeld.

Waarschuwingssignalen (Red Flags)

In onze analyses hebben we vier grote waarschuwingssignalen geïdentificeerd.

Waarschuwingssignaal 1: Het effect is te groot

Ariely en Wertenbroch rapporteren een perfect patroon van resultaten voor alle drie de afhankelijke variabelen, met een steekproefomvang van slechts 20 personen per conditie. De effecten zijn extreem, onwaarschijnlijk groot.

Kijk naar de resultaten van de correctieprestaties. Deelnemers met gelijkmatig verdeelde deadlines maakten gemiddeld 136,1 correcties, terwijl degenen met de deadline op de laatste dag gemiddeld slechts 71,1 correcties maakten; ongeveer de helft. Dit effect heeft een Cohen’s $d = 2,5$, wat betekent dat de gemiddelden van de condities 2,5 standaarddeviaties uit elkaar liggen. De correlatie tussen de experimentele conditie en het aantal correcties is $r = 0,79$.

Om te begrijpen dat dit effect simpelweg te groot is, kunnen we het vergelijken met andere effectgroottes. Een effectgrootte van $d = 2,5$ is groter dan overduidelijke effecten in het dagelijks leven. Het is bijvoorbeeld veel groter dan het effect van geslacht op lengte (mannen zijn langer: $d \approx 1,8$) en op het aantal bezeten schoenen (vrouwen hebben er meer: $d \approx 1,2$). Het is zelfs groter dan sommige manipulatiechecks. Zo rapporteerden Petty en Cacioppo (1984) dat mensen die berichten met negen argumenten zagen, meer argumenten waarnamen dan mensen die berichten met drie argumenten zagen. Dit moet logischerwijs waar zijn, maar het effect was slechts $d = 1,49$. Het is niet aannemelijk dat deadlines een sterkere invloed hebben op correctieprestaties dan het aantal argumenten heeft op de waargenomen hoeveelheid argumenten.

Effectgroottes van 2,5 of hoger zijn niet onmogelijk, maar ze zijn buitengewoon zeldzaam voor niet-voor-de-hand-liggende psychologische bevindingen, zeker bij een maatstaf als het detecteren van correctiefouten, wat doorgaans variabel is per persoon.

Waarschuwingssignaal 2: Dubbele waarnemingen

Bij het bekijken van de data valt iets vreemds op: er zijn veel deelnemers die exact hetzelfde totaal aantal correcties maakten over de drie taken. Maar het is nog vreemder dan dat. Deze deelnemers maakten niet alleen in totaal hetzelfde aantal correcties, maar maakten ook voor elke afzonderlijke van de drie taken exact hetzelfde aantal correcties.

Uit de originele databestanden blijkt dat 18 van de 20 deelnemers in de conditie "Deadline op de laatste dag" een "correctie-tweeling" hadden: een andere deelnemer die exact hetzelfde aantal fouten vond voor elke taak. Opvallend is dat deze tweelingen ID-nummers hebben die precies 10 posities uit elkaar liggen (bijv. subject S1 en subject S11; S7 en S17, etc.). In de andere twee condities kwamen geen van deze tweelingen voor.

Het bestaan van zoveel tweelingen – en dat uitsluitend in één specifieke conditie – is inconsistent met het idee dat deze data echt zijn.

Waarschuwingssignaal 3: Gebrek aan correlaties bij variabelen die sterk gecorreleerd zouden moeten zijn

Aan het einde van de studie vroegen Ariely en Wertenbroch de deelnemers hun algemene ervaring te evalueren op vijf kenmerken: hoe leuk ze de taak vonden, hoe interessant het was, de kwaliteit van het schrijven, de grammaticale kwaliteit en hoe effectief de tekst de ideeën communiceerde. Deze vragen werden beantwoord op een schaal van 0 tot 100. De replicatoren stelden dezelfde vragen.

Men zou verwachten dat deze oordelen gecorreleerd zijn. Als iemand zegt de taak leuk te vinden, zou diegene waarschijnlijk ook zeggen dat de taak interessant was. In de replicatie was dit inderdaad het geval: de partiële correlatie tussen "leuk vinden" en "interesse" was bijna perfect.

In de originele data was deze relatie echter niet alleen imperfect; hij was er helemaal niet. Deelnemers die aangaven de taak leuker te vinden, gaven niet aan de taak interessanter te vinden.

Dit probleem beperkt zich niet tot de subjectieve maten. Men zou verwachten dat mensen die goed presteren op één correctietaak, ook goed presteren op een tweede, bijna identieke taak. In de replicatiedata zijn deze correlaties zeer hoog ($+0,74$ tot $+0,90$), maar in de originele data zijn ze zeer laag ($+0,03$ tot $+0,27$).

Hetzelfde geldt voor de tijd die mensen besteedden aan de taken. In de replicatiedata correleerden de tijden sterk ($+0,79$ tot $+0,95$), terwijl ze in de originele data dat niet deden ($+0,05$ tot $+0,17$).

Deze correlaties zijn in feite "sanity checks". Gezonde data passeren deze checks; ongezonde data niet. De replicatiedata zijn gezond. De originele data zijn dat niet.

Waarschuwingssignaal 4: Geen afronding bij zelfgerapporteerde minuten

Deelnemers werden gevraagd te schatten hoeveel tijd ze aan elke taak hadden besteed. Wanneer mensen dergelijke schattingen geven, hebben ze de neiging om af te ronden (bijv. "20 minuten" in plaats van "17 minuten"). In de replicatie gaf 85% van de deelnemers een rond getal. Dit is wat we van mensen verwachten.

In de originele data gebeurde dit niet. Slechts 11,7% van de geschatte minuten waren ronde getallen, wat consistent is met wat je bij puur toeval zou verwachten (ongeveer 10%). Dit is niet wat we van menselijk gedrag verwachten.

Conclusie

We kunnen geen onschuldige verklaring vinden voor alle anomalieën die hier worden gepresenteerd. De originele bevindingen zijn te groot en worden niet gereproduceerd; er zijn gedupliceerde waarnemingen; correlaties die zeer sterk zouden moeten zijn, ontbreken vaak; en waarden die afgerond zouden moeten zijn, zijn dat niet. Op basis van dit bewijs geloven we dat de data voor Studie 2 van Ariely en Wertenbroch (2002) ernstig zijn gemanipuleerd of gefabriceerd om de gewenste resultaten te produceren.

Feedback van de auteurs

Ongeveer zes weken geleden, op 20 juli 2026, deelden we concepten van onze berichten met de originele auteurs (Dan Ariely en Klaus Wertenbroch), de auteurs van de replicatie (Kyle Hyndman en Alberto Bisin), en de hoofdredacteur van Psychological Science (Simine Vazire).

Klaus Wertenbroch stuurde een reactie waarin hij Hyndman en Bisin bedankt voor de replicatie. Hij herhaalt dat hij nooit toegang heeft gehad tot de data voor een van de studies. Hij maakt een onderscheid tussen de vraag naar precommitment (een bevinding die wel is gereproduceerd) en de effectiviteit van dergelijke precommitments in deze specifieke studies (die niet is gereproduceerd). Hij gaf aan dat hij de redacteur heeft gevraagd het artikel in te trekken.

Dan Ariely reageerde niet op de drie e-mails die we hem stuurden. Hij schreef echter op 7 augustus op LinkedIn en op zijn persoonlijke website:

"... Onlangs ben ik ervan op de hoogte gesteld dat data ten grondslag liggende aan een paper uit 2002 over deadlines en uitstelgedrag, die ik heb co-auteurschap, ernstige anomalieën bevatten. Het documentair bewijs dat ik vandaag tot mijn beschikking heb over deze experimenten is onvoldoende om de gestelde vragen te beantwoorden, en meer dan twee decennia en honderden experimenten later is mijn geheugen evenzeer onvoldoende. Mijn verantwoordelijkheid ligt nu bij het waarborgen van de nauwkeurigheid – het bijwerken van het verslag over deze experimenten en, samen met mijn co-auteur, samenwerken met het tijdschrift dat ons artikel oorspronkelijk publiceerde om hun review- en retractieprocessen te ondersteunen."

Kyle Hyndman en Alberto Bisin vroegen ons de volgende verklaring toe te voegen: "Zoals in de berichten vermeld, ontvingen we in april 2006 drie databestanden via een e-mail van het MIT-account van Dan Ariely, zonder beperkingen op het gebruik. In augustus 2023 hebben we deze bestanden aan Uri Simonsohn, Joe Simmons en Leif Nelson verstrekt voor hun professionele beoordeling. We hebben niet deelgenomen aan de analyse van Data Colada of aan het opstellen van de berichten. Onze onafhankelijke replicatie is gebaseerd op nieuw verzamelde data. Vragen over de herkomst of integriteit van de historische bestanden dienen te worden gericht aan Data Colada, Dan Ariely en de verantwoordelijke instellingen."

Simine Vazire gaf aan dat zij alleen mag zeggen dat Psychological Science de "best mogelijke vervolgstappen met betrekking tot het artikel uit 2002 overweegt, in overeenstemming met de COPE-richtlijnen."

***

Voetnoten

  1. PDF-kopieën van deze e-mails zijn beschikbaar in de ResearchBox van de replicatoren en van dit blogbericht. In dit bericht verwijzen we naar deze e-mailed bestanden als de "originele" databestanden, hoewel er eerdere (niet-gewijzigde) versies kunnen hebben bestaan.
  2. Deze e-mail is opgenomen in de ResearchBox van Hyndman en Bisin. Wertenbroch heeft toestemming gegeven om deze e-mail in ons bericht op te nemen.
  3. Ariely en Wertenbroch spreken over "gedetecteerde fouten", maar wij spreken over "gemaakte correcties". We hebben deze wijziging gemaakt zodat lezers de "foutdetectie" in de taak niet verwarren met onze eigen "foutdetectie" (het vinden van onregelmatigheden) in de dataset.
  4. We reproduceren de figuren uit het gepubliceerde artikel met de spreadsheets die we ontvingen.
  5. We reproduceren echter niet alle F-waarden in het gepubliceerde artikel. We ontdekten een eerdere versie van het manuscript op de website van INSEAD. Het bleek dat hoewel sommige gemiddelden veranderden tussen de werkversie en de gepubliceerde versie, de F-waarden hetzelfde bleven. Aangezien F-waarden veranderen als de gemiddelden veranderen, zijn de F-waarden in ten minste één van de twee versies noodzakelijkerwijs onjuist. We geloven dat de auteurs de gemiddelden hebben gewijzigd, maar zijn vergeten de F-waarden bij te werken.
  6. Uit Petty en Cacioppo (1984, p. 74): Deelnemers kregen de vraag: "Ongeveer hoeveel argumenten heeft de auteur aangevoerd in het voordeel van het voorgestelde voorstel?". Degenen die berichten met negen argumenten zagen, claimden er significant meer te hebben waargenomen ($M = 6,60$) dan mensen die berichten met drie argumenten zagen ($M = 3,68$), $F(1, 158) = 87,17, p < .0001$. Cohen’s $d$ kan worden berekend als: $d = 2 \sqrt{F/df_{error}} = 2 \sqrt{87,17/158} = 1,49$.
  7. In deze sectie rapporteren we partiële correlaties die corrigeren voor de experimentele conditie. Een echte associatie tussen het leuk vinden van een taak en het interessant vinden ervan zou binnen de condities moeten optreden, niet alleen daartussen. Iemand die data fabriceert om conditieverschillen te creëren, zou onbedoeld positieve ruwe correlaties kunnen opwekken door simpelweg hogere waarden toe te kennen aan beide variabelen in één conditie.