Een cijfer kan statistisch correct zijn en toch de verkeerde managementvraag beantwoorden.
Simpson’s Paradox laat zien dat een verband in geaggregeerde data kan verdwijnen of omkeren zodra relevante groepen afzonderlijk worden bekeken. De les is niet ‘altijd stratificeren’, maar eerst bepalen welke beschrijvende of causale vraag je werkelijk wilt beantwoorden.
Een cijfer kan statistisch correct zijn en toch de verkeerde managementvraag beantwoorden.
Twee behandelingen, afdelingen of systemen kunnen binnen afzonderlijke groepen consequent beter presteren en toch in het totaal slechter lijken. Het verschil ontstaat doordat de groepen verschillende mengverhoudingen hebben. Verwante effecten werden al door Pearson en Yule beschreven; Simpson’s paper uit 1951 gaf het probleem zijn moderne naam.
De statistische reversal is onomstreden; de interpretatie niet. Een reversal op zichzelf zegt niet welk overzicht ‘waar’ is. Bij causale vragen kan corrigeren voor een confounder nodig zijn, maar corrigeren voor een collider of mediator juist misleiden.
De verhoudingen tussen groepen en hun samenstelling beïnvloeden het verband in de totaalcijfers. Een fout kan ontstaan als je voor totalen of uitgesplitste cijfers kiest zonder eerst de onderzoeksvraag en de mogelijke causale rol van de groepsindeling te verduidelijken.
Te onderzoeken AI-toepassing: AI kan verkeerde aggregatiekeuzes institutionaliseren in dashboards, modelvergelijkingen en managementsamenvattingen. Dat is geen nieuw mechanisme, maar wel een schaalvergroting van hoe snel één samenvatting als ‘het antwoord’ kan circuleren.
Voorgestelde toets, nog niet uitgevoerd: Geef deelnemers dezelfde ontworpen Simpson-reversal in vier rapportagevormen: een geaggregeerd dashboard; een dashboard met aggregaat en relevante groepen; een vrije AI-samenvatting; en een AI-samenvatting die eerst het estimand noemt, aggregaat en groepen toont en de veronderstelde causale rol van de groepsvariabele uitlegt. Meet interpretatiefouten en beslissingen. De hypothese is dat een expliciet target de juiste keuze verbetert.
Niet de paradox maar de vraagdiscipline is de blijvende les: formuleer eerst wat je wilt weten, daarna pas welke tabel of AI-samenvatting daarbij hoort.
Een estimand is de precieze grootheid die de onderzoeksvraag wil schatten. Kies die vraag en de causale aannames vóór aggregatie of uitsplitsing; uitsplitsen is niet altijd juist.
Simpson (1951), The Interpretation of Interaction in Contingency Tables
Simpson (1951), full article, §§8–11
Pearl, Simpson’s Paradox: An Anatomy — Accessible prepublication chapter excerpt
Simpson (§§8–11) en Pearls causale uitwerking laten zien dat dezelfde cijfers afhankelijk van de vraag een andere samenvatting kunnen vereisen. De voorgestelde toets met AI-presentaties is nog niet uitgevoerd.
Help deze case beter maken
We bekijken je bijdrage voordat we de tekst of bronnen aanpassen.