MSA: Attribute Agreement Analysis (A.A.A.)

In onze online Lean Six Sigma Black Belt opleiding leer je hoe je verschillende MeesSysteemAnalyses (MSA‘s) kunt uitvoeren. Mogelijk wil jij tijdens de Measure-fase van jouw DMAIC-project de betrouwbaarheid van het meetsysteem dat jij hanteert toetsen. Hieronder staat een deel van de les-unit waarin de Attribute Agreement Analysis (A.A.A.) centraal staat. In de les-units kun je veel oefeningen doen met datasets. Tevens wordt elke les-unit afgerond met toetsvragen.

Met de Attribute Agreement Analysis (A.A.A.), bijvoorbeeld de Kappa-test, kun je de betrouwbaarheid van je meetsysteem vaststellen in een situatie waarin kwalitatieve (attributieve) data verzameld en geteld wordt. Dit is bijvoorbeeld het geval wanneer twee docenten (Gosse en Maarten) een scriptie moeten goedkeuren of afkeuren. Wil je toetsen of de meting voor goedkeuren of afkeuren betrouwbaar is, kun je de Kappa-methode gebruiken.

Voorbeeld 1
Hieronder staat een voorbeeld van een situatie waarin 25 verschillende gesneden platen goed of fout gekeurd zijn door een inspecteur. Uiteindelijk zijn er dan per plaat vier mogelijkheden:

  1. beide inspecteurs keuren de plaat goed;
  2. beide inspecteurs keuren de plaat af;
  3. inspecteur 1 keurt het goed maar 2 keurt het af;
  4. inspecteur 1 keurt het af maar 2 keurt het goed;

Deze meetgegevens kunnen we weer in Minitab invoeren. In Minitab kun je een attribute agreement analysis uitvoeren.

Figuur 7 Unit Meetsysteemanalyse

Hieruit volgt een Kappa-index van 0,89.

  • een kappa-index van >0,9 wordt beschouwd als excellent,
  • een kappa-index van 0,7-<0,9 als acceptabel en
  • een kappa-index van <0,7 als onaanvaardbaar.

Is de Kappa-index van je meetsysteem 0,7 of lager, dan zul je het meetsysteem moeten aanpassen. De Kappa-waardes liggen altijd tussen -1 en 1.

  • Een Kappa-waarde van 0 betekent dat de mate van overeenstemming tussen operators puur toeval is.
  • Een Kappa-waare van 1 betekent perfecte overeenstemming in de metingen tussen operators.
  • Een Kappa-waarde van tussen de 0 en -1 betekent dat de meting/ het oordeel tussen operators nog minder overeenkomt dan dat je op basis van kansverdeling zou mogen verwachten. Met andere woorden bij een Kappa van tussen de 0 en -1 is de mate van overeenstemming in de meting of de beoordeling lager dan wanneer je ‘een muntje zou gooien’ en een onderdeel goed zou keuren als het ‘kop’ is, en af zou keuren als het ‘munt’ is.
  • Je ziet in de output van de bovenstaande Kappa-test naast de Kappa-waarde ook een P-waarde staan. Die P-waarde is in deze toets 0,000. Dit betekent dat de overeenkomst tussen de beoordelingen niet toevallig is. De hypothese bij de Kappa-test luidt dat overeenstemmende beoordelingen/metingen tussen beoordelaars toevallig is (kop/munt). Bij een P-waarde van 1,000 is overeenstemming tussen beoordelaars volkomen toevallig. Bij een P-waarde van 0,000 is de overeenstemming in beoordelingen niet toevallig. De overeenstemming in beoordeling komt door een goed beoordelingssysteem.

Bekijk onderstaande video wanneer je wilt leren hoe je een A.A.A. Kappa-test in Minitab kunt uitvoeren.

Voorbeeld 2
In het onderstaande voorbeeld is het meetsysteem extreem onbetrouwbaar. Twee docenten moeten rapporten goedkeuren of afkeuren. De een keurt echter regelmatig een rapport goed die een ander afkeurt en andersom.

Figuur 8 Unit Meetsysteemanalyse

Je ziet in het bovenstaande figuur een negatieve Kappa-waarde. Dat betekent dat de kans op overeenstemming in beoordeling door een muntje op te gooien groter is dan de kans op overeenstemming dankzij het huidige beoordelingssysteem. Je ziet ook dat de P-waarde hoog is, namelijk 0,8541. Dit betekent dat je de hypothese dat overeenstemmende beoordelingen/metingen tussen beoordelaars toevallig is (kop/munt)  niet kunt verwerpen.

Aan de slag

Stel er zijn twee operators die een vliegtuig moeten goedkeuren of afkeuren. De klant wil namelijk geen foute vliegtuigen ontvangen. In onderstaande tabel staan van 25 vliegtuigjes genoteerd of die goed of fout bevonden zijn door een inspecteur. Uiteindelijk zijn er dan per vliegtuig vier mogelijkheden:

  1. beide inspecteurs keuren het vliegtuig goed;
  2. beide inspecteurs keuren het vliegtuig af;
  3. inspecteur 1 keurt het goed maar 2 keurt het af;
  4. inspecteur 1 keurt het af maar 2 keurt het goed;

De dataset staat hieronder weergegeven, je kunt HIER klikken voor de dataset in Excel. Is er hier sprake van een goed meetsysteem? Je toets hierbij dus de reproduceerbaarheid van het meetsysteem.

Figuur 10 Unit Meetsysteemanalyse

solution

Uitwerking 2 Unit MeetSysteemAnalyse _MSA_

Aan de slag

De Kappa-studie wordt uitgebreid. Twee Operators gaan 25 vliegtuigen inspecteren en dat doen ze drie keer. Dus elk vliegtuig wordt drie keer door een Operator geïnspecteerd in drie verschillende ronden. Dit wordt “blind” gedaan, dat wil zeggen dat de Operators niet weten welk part-number ze aan het inspecteren zijn. Je kunt de dataset HIER downloaden. Voer een Kappa-studie uit waarbij je naast de reproduceerbaarheid ook de herhaalbaarheid toetst! 

solution

Klik HIER voor de uitwerking van deze Kappa-test.

Aan de slag

De Kappa-studie wordt nogmaals uitgebreid:
a) twee Operators gaan 25 vliegtuigen inspecteren (reproduceerbaarheid)
b) en ze doen dat drie keer (herhaalbaarheid)
c) en de beoordelingen worden vergeleken met een standaard-beoordeling die door een expertgroep is bepaald (zuiverheid/ bias)

Je kunt de dataset HIER downloaden. Voer een Kappa-studie uit waarbij je de reproduceerbaarheid, de herhaalbaarheid en zuiverheid toetst! 

solution

Klik HIER voor de uitwerking van deze Kappa-test.

Criteria waaraan een A.A.A. Kappa-test moet voldoen
Wanneer je een MSA Attribute Agreement Analysis (A.A.A.) wilt doen met de Kappa-test, dan zijn er vier criteria waaraan je opzet van je MSA aan moet voldoen:

  • Minimaal 20 items (parts) moeten beoordeeld worden
  • Er moeten minimaal 2 beoordelaars zijn, maar het liefst drie
  • Idealiter heb je een paar items (parts) in je selectie opgenomen die net wel of net niet goedgekeurd moeten worden (of in een bepaalde klasse vallen)
  • Je voert minimaal twee beoordelingsronden uit, maar liever drie.

Meer informatie?
Dit was een deel van een les-unit uit de online Black Belt opleiding. Deze opleiding komt in Augustus 2017 online beschikbaar. Wil je meer weten? Klik dan HIER.