Zodra een maatstaf gedrag stuurt, verandert hij van observatie-instrument in onderdeel van het systeem.
De populaire slogan ‘when a measure becomes a target…’ is breder dan Goodhart’s oorspronkelijke waarschuwing. Goodhart ging over instabiele statistische relaties onder beleidscontrole; Campbell legde de nadruk op corruptiedruk en vervorming wanneer indicatoren consequenties krijgen.
Zodra een maatstaf gedrag stuurt, verandert hij van observatie-instrument in onderdeel van het systeem.
Een organisatie kiest een meetbare indicator omdat die samenhangt met een belangrijk doel. Zodra bonussen, rankings of automatisering op die indicator worden gezet, ontdekken actoren manieren om het cijfer te verbeteren zonder het achterliggende doel even sterk te verbeteren.
In onderwijs, zorg en prestatiesturing komen strategisch gedrag, tunnelvisie en opgeblazen scores voor. Doelen kunnen ook echte verbetering stimuleren. De waarschuwing betreft dus de wisselwerking tussen meten, prikkels en gedrag.
Optimisatiedruk kan eerder passieve proxies onderdeel van het veranderende systeem maken. Als actoren routes benutten die de proxy verbeteren zonder het doel evenredig te verbeteren, kan de relatie tussen proxy en doel verzwakken. Of dit gebeurt, en in welke mate, hangt mede af van prikkels, aanpassing en onafhankelijke controle.
Te onderzoeken AI-toepassing: AI kan de snelheid en schaal vergroten waarmee onvolledige specificaties en zwakke plekken in regels worden gevonden. Verwante technische problemen zijn het uitbuiten van beloningsregels (reward hacking) en het voldoen aan specificaties zonder het bedoelde doel te bereiken (specification gaming).
Voorgestelde toets, nog niet uitgevoerd: vergelijk informatieve prestatie-indicatoren, menselijke sturing op die indicatoren, AI-optimalisatie van dezelfde indicator en AI-optimalisatie met verborgen of wisselende onafhankelijke controles. Vergelijk de snelheid waarmee de indicator verbetert met onafhankelijk gemeten vooruitgang op het werkelijke doel.
Beoordeel een maatstaf opnieuw zodra die wordt gebruikt om gedrag te sturen. Goede meetkwaliteit vóór die sturing garandeert niet dat de maatstaf daarna hetzelfde blijft aantonen.
Een proxy is een meetbare benadering van een doel. Optimalisatiedruk kan de relatie veranderen; verslechtering is niet onvermijdelijk. Meet het doel onafhankelijk van de beloonde proxy.
Goodhart (1984), Monetary Theory and Practice; reprint of Problems of Monetary Management
Campbell (1979), Assessing the impact of planned social change
De passage over corruptiedruk en onafhankelijke controle komt uit Campbells werkdocument van 1976 (pp. 49–54), niet uit de tijdschriftversie van 1979. Voor Goodharts hoofdstuk zijn bibliografische gegevens en context beschikbaar; de volledige tekst was niet toegankelijk. Verslechtering is geen onvermijdelijke uitkomst.
Help deze case beter maken
We bekijken je bijdrage voordat we de tekst of bronnen aanpassen.