- Ik ben de Skoledo AI-bot. Ik sta klaar voor je vragen! Mijn antwoorden zijn automatisch gegenereerd en kunnen afwijken van de info op Skoledo.com. De site en les-units zijn altijd leidend. Liever een mens spreken? Mail ons gerust.
Leestijd 5 minuten
- Remco
MSA: Attribute Agreement Analysis (A.A.A.)
In onze online Lean Six Sigma Black Belt opleiding leer je hoe je verschillende MeetSysteemAnalyses (MSA‘s) kunt uitvoeren. Mogelijk wil jij tijdens de Measure-fase van jouw DMAIC-project de betrouwbaarheid van het meetsysteem dat jij hanteert toetsen. Hieronder staat een deel van de les-unit waarin de Attribute Agreement Analysis (A.A.A.) centraal staat. In de les-units kun je veel oefeningen doen met datasets. Tevens rond je elke les-unit af met toetsvragen.
Meetsysteemanalyse
Met de Attribute Agreement Analysis (A.A.A.), bijvoorbeeld de Kappa-test, kun je de betrouwbaarheid van je meetsysteem vaststellen in een situatie waarin kwalitatieve (attributieve) data verzameld en geteld wordt. Dit is bijvoorbeeld het geval wanneer twee docenten (Gosse en Maarten) een scriptie moeten goedkeuren of afkeuren. Wil je toetsen of de meting voor goedkeuren of afkeuren betrouwbaar is? Dan kun je de Kappa-methode gebruiken.
Voorbeeld 1
Hieronder staat een voorbeeld van een situatie waarin 25 verschillende gesneden platen goed of fout gekeurd zijn door een inspecteur. Uiteindelijk zijn er dan per plaat vier mogelijkheden:
- Beide inspecteurs keuren de plaat goed;
- Beide inspecteurs keuren de plaat af;
- Inspecteur 1 keurt de plaat goed maar inspecteur 2 keurt deze af;
- Inspecteur 1 keurt de plaat af maar inspecteur 2 keurt deze goed.
Deze meetgegevens kunnen we weer in Minitab invoeren. In Minitab kun je een Attribute Agreement Analysis uitvoeren.
Hieruit volgt een Kappa-index van 0,89.
- Een Kappa-index van ≥0,9 wordt beschouwd als excellent;
- Een Kappa-index van 0,7-<0,8 als acceptabel; en
- Een Kappa-index van ≤0,7 als onaanvaardbaar.
Is de Kappa-indes van je meetsysteem 0,7 of lager, dan zul je het meetsysteem moeten aanpassen. De Kappa-waardes liggen altijd tussen -1 en 1.
- Een Kappa-waarde van 0 betekent dat de mate van overeenstemming tussen operators puur toeval is;
- Een Kappa-waarde van 1 betekent perfecte overeenstemming in de metingen tussen operators;
- Een Kappa-waarde van tussen de 0 en -1 betekent dat de meting/ het oordeel tussen operators nog minder overeenkomt dan dat je op basis van kansverdeling zou mogen verwachten. Met andere woorden, bij een Kappa-waarde van tussen de 0 en -1 is de mate van overeenstemming in de meting of de beoordeling lager dan wanneer je ‘een muntje zou gooien‘ en een onderdeel goed zou keuren als het ‘kop‘ is en af zou keuren als het ‘munt‘ is;
- Je ziet in de output van de bovenstaande Kappa-test naast de Kappa-waarde ook een P-waarde staan. Die P-waarde is in deze toets 0,000. Dit betekent dat de overeenkomst tussen de beoordelingen niet toevallig is. De hypothese bij de Kappa-test luidt dat overeenstemmende beoordelingen/metingen tussen beoordelaars toevallig is (kop/munt). Bij een P-waarde van 1,000 is overeenstemming tussen beoordelaars volkomen toevallig. Bij een P-waarde van 0,000 is de overeenstemming in beoordelingen niet toevallig. De overeenstemming in beoordeling komt door een goed beoordelingssysteem.
Bekijk de onderstaande video wanneer je wilt leren hoe je een A.A.A. Kappa-test in Minitab kunt uitvoeren.
Voorbeeld 2
In het onderstaande voorbeeld is het meetsysteem extreem onbetrouwbaar. Twee docenten moeten rapporten goedkeuren of afkeuren. De één keurt echter regelmatig een rapport goed die een ander afkeurt en andersom.
Je ziet in het bovenstaande figuur een negatieve Kappa-waarde. Dat betekent dat de kans op overeenstemming in beoordeling door een muntje op te gooien groter is dan de kans op overeenstemming dankzij het huidige beoordelingssysteem. Je ziet ook dat de P-waarde hoog is, namelijk 0,8541. Dit betekent dat je de hypothese dat overeenstemmende beoordelingen/metingen tussen beoordelaars toevallig is (kop/munt) niet kunt verwerpen.
Stel er zijn twee operators die een vliegtuig moeten goedkeuren of afkeuren. De klant wil namelijk geen foute vliegtuigen ontvangen. In de onderstaande tabel staan van 25 vliegtuigjes genoteerd of die goed of fout bevonden zijn door een inspecteur. Uiteindelijk zijn er dan per vliegtuig vier mogelijkheden:
- Beide inspecteurs keuren het vliegtuig goed;
- Beide inspecteurs keuren het vliegtuig af;
- Inspecteur 1 keurt het vliegtuig goed maar 2 keurt deze af;
- Inspecteur 1 keurt het vliegtuig af maar 2 keurt deze goed.
Oefeningen!
Laten we een paar oefeningen gaan doen.
Oefening 1
De dataset staat hieronder weergegeven. Je kunt HIER klikken voor de dataset in Excel. Is hier sprake van een goed meetsysteem? Je toetst hierbij dus de reproduceerbaarheid van het meetsysteem.
Klik hier voor de uitwerking: Uitwerking 2 Unit MeetSysteemAnalyse _MSA
Oefening 2
De Kappa-studie wordt uitgebreid. Twee operators gaan 25 vliegtuigen inspecteren en dat doe ze drie keer. Dus elk vliegtuig wordt drie keer door een operator geïnspecteerd in drie verschillende ronden. Dit wordt “blind” gedaan, dat wil zeggen dat de operators niet weten welk part-number ze aan het inspecteren zijn. Je kunt de dataset HIER downloaden. Voor een Kappa-studie uit waarbij je naar de reproduceerbaarheid ook de herhaalbaarheid toetst!
Klik HIER voor de uitwerking.
Oefening 3
De Kappa-studie wordt nogmaals uitgebreid:
- Twee operators gaan 25 vliegtuigen inspecteren (reproduceerbaarheid);
- De operators doen dat 3 keer (herhaalbaarheid);
- De beoordelingen worden vergeleken met een standaard-beoordeling die door een expertgroep is bepaald (zuiverheid/bias),
Download HIER de dataset. Voer een Kappa-studie uit waarbij je de reproduceerbaarheid, de herhaalbaarheid en de zuiverheid toetst.
Klik HIER voor de uitwerking.
Criteria waaraan een A.A.A Kappa-test moet voldoen
Wanneer je een MSA Attribute Agreement Analysis (A.A.A.) wilt doen met de Kappa-test, dan zijn er vier criteria waaraan je opzet van je MSA moet voldoen:
- Minimaal 20 items (parts) moeten beoordeeld worden;
- Er moeten minimaal 2 beoordelaars zijn, maar het liefst 3;
- Idealiter heb je een paar items (parts) in je selectie opgenomen die net wel of net niet goedgekeurd moeten worden (of in een bepaalde klasse vallen);
- Je voert minimaal 2 beoordelingsronden uit, maar liever 3.
Meer informatie?
Dit was een deel van een les-unit uit de e-learning Lean Six Sigma Black Belt. Wil jij ook jouw Black Belt certificaat halen? Schrijf je dan vandaag nog in!
Geschreven door
Remco