Methodeonderzoek

Komen onafhankelijke beoordelaars tot vergelijkbare conclusies?

We weten nog niet hoe goed beoordelingen van verschillende mensen overeenkomen. In v0.8 onderzoeken we eerst wat ArtiProof op nieuwe cases toevoegt aan bestaande werkwijzen. Een rechtstreekse vergelijking tussen onafhankelijke beoordelaars vraagt een afzonderlijke studie.

Een andere beoordelaar moet kunnen volgen hoe je tot je conclusie komt. Of onafhankelijke beoordelaars ook tot vergelijkbare conclusies komen, moeten we afzonderlijk onderzoeken. Geef hen hetzelfde bewijs, dezelfde afbakening, dezelfde richtlijnen en dezelfde informatie over de mogelijke gevolgen. Leg hun eerste oordeel vast voordat ze overleggen of hun beoordelingen op elkaar afstemmen. Alleen zo kun je de aanvankelijke overeenstemming beoordelen.

Werkhypothese. Vijf borgingskenmerken plus expliciete context, gevolgen en proportioneel bewijs kunnen mogelijk volstaan voor een verdedigbaar Fitness-for-Reliance-oordeel zonder een zesde kenmerk of één samengestelde score toe te voegen.

Wat de v0.8-challenge registreert

of een goede bestaande aanpak hetzelfde probleem al vindt;
of ArtiProof herhaaldelijk een probleem vindt dat die aanpak mist;
of die bevinding verschil maakt voor het besluit;
of de methode ten onrechte problemen aanwijst of te veel extra werk vraagt;
of de ontwerper nodig is om de conclusies te begrijpen.

Wat later reproduceerbaarheidsonderzoek nog moet testen

Vergelijk onafhankelijke beoordelaars die hetzelfde bewijs en dezelfde instructies krijgen, binnen dezelfde afbakening en met dezelfde informatie over mogelijke gevolgen. Blijven hun conclusies wezenlijk verschillen, dan moeten we onderzoeken waar de methode onduidelijk of ontoereikend is.

Dit onderzoek moet nog uitwijzen hoe betrouwbaar de overeenstemming tussen beoordelaars is.

Bekijk de huidige onderzoeksstatus

ArtiProof is klaar voor onderzoek, maar nog niet breed onafhankelijk getoetst. De eerste onafhankelijke herhaling van het onderzoek moet nog plaatsvinden. Meer over het onderzoek.