Een analyse kan uiterst precies zijn over precies dat deel van de werkelijkheid dat toevallig makkelijk zichtbaar was.
De dronkaard zoekt zijn sleutel onder de straatlamp omdat daar licht is, niet omdat hij hem daar verloor. Als methodologische metafoor beschrijft dit hoe databeschikbaarheid en meetbaarheid bepalen welke informatie in de bewijsbasis terechtkomt.
Een analyse kan uiterst precies zijn over precies dat deel van de werkelijkheid dat toevallig makkelijk zichtbaar was.
Abraham Kaplan gebruikte in 1964 de ‘principle of the drunkard’s search’ als waarschuwing: onderzoekers kunnen problemen kiezen op basis van waar methoden of data beschikbaar zijn. De anekdote zelf is ouder en heeft geen betrouwbare enkelvoudige oorsprong.
Adams en collega’s (2018) vonden in hun selectie van klimaat-conflictpublicaties een geografische concentratie die zij verbinden met toegankelijkheid en databeschikbaarheid. Dit is domeinspecifiek observationeel bewijs, geen algemene wet dat makkelijk beschikbare data altijd misleiden. Hun literatuurzoekactie via Scopus bestreek vooral Engelstalige tijdschriftartikelen.
Wat waarneembaar is, wat meten kost en welke gegevens beschikbaar zijn, bepaalt al vóór de analyse welk bewijs wordt meegenomen. Een precieze analyse kan daardoor een onvolledig beeld geven van de werkelijkheid die je wilt onderzoeken.
Te onderzoeken AI-toepassing: AI maakt het goedkoper om gedigitaliseerd bewijs te analyseren. Daardoor kan de aandacht zich nog sterker richten op wat machines gemakkelijk kunnen verwerken en terugvinden.
Voorgestelde toets, nog niet uitgevoerd: Vergelijk mensen zonder AI, AI met systematisch onvolledige gegevens, AI met informatie over de brondekking en AI met één onafhankelijke waarneming buiten de gebruikelijke bronnen. Meet nauwkeurigheid, vertrouwen en bijstelling van het oordeel.
Vraag zowel of het bewijs klopt als welke relevante delen van de werkelijkheid buiten dat bewijs zijn gebleven.
Het doorzoekbare corpus bepaalt wat deze zoekomgeving kan tonen. Niet gevonden betekent niet automatisch afwezig; documenteer ook de niet doorzochte delen.
Kaplan (1964), The Conduct of Inquiry
Kaplan, The Conduct of Inquiry, pp.11 and17 — Publisher-distributed later reprint preview
Adams et al.(2018), Sampling bias in climate–conflict research — published article
Kaplans metafoor en zijn kanttekening over een rationele zoekvolgorde staan op pp. 11 en 17 van de geraadpleegde latere herdruk. Adams en collega’s leveren observationeel bewijs over hun specifieke steekproef van klimaat-conflictliteratuur, geen algemene of AI-specifieke validatie.
Help deze case beter maken
We bekijken je bijdrage voordat we de tekst of bronnen aanpassen.