Gage R&R crossed należy do narzędzi analizy systemów pomiarowych MSA. Jest częścią metodyki DMAIC. Gage R & R może być użyty tylko do danych ciągłych (np. temperatura, czas, ciśnienie, długość). 

 Analiza systemów pomiarowych MSA to precyzyjna ocena procesu pomiarowego i zazwyczaj obejmuje specjalnie zaprojektowany eksperyment, którego celem jest identyfikacja składników zmienności w procesie pomiarowym 

Podobnie jak mogą się różnić procesy wytwórcze, proces uzyskiwania pomiarów i danych może również posiadać zmienność i powodować nieprawidłowe wyniki. Analiza systemów pomiarowych MSA ocenia metodę testowania, przyrządy pomiarowe oraz cały proces uzyskiwania pomiarów w celu zapewnienia integralności danych wykorzystywanych do analizy oraz zrozumienia wpływu błędu pomiarowego na decyzje podejmowane w procesie produkcji. MSA jest ważnym elementem metodologii Six Sigma oraz innych systemów zarządzania jakością. https://en.wikipedia.org/wiki/Measurement_system_analysis

Jeśli wszyscy operatorzy mierzą identyczne części ze wszystkich partii, można użyć gage R&R crossed. Jeśli jednak charakter testu jest taki, że nie jest to możliwe, jeden operator może testować części tylko z jednej partii, należy użyć gage R&R nested.

Powszechnie przyjęło się, że tam gdzie jedna część może być mierzona najpierw przez jednego operatora potem przez drugiego (kontrola krzyżowa) tam stosuje się gage R&R crossed. Natomiast tam gdzie komponent nie może być wielokrotnie mierzony i zostaje zniszczony lub zmieniony podczas procesu pomiaru lub tam gdzie nie stosuje się ponownego pomiaru ze względu na organizację pracy, w takich przypadkach stosuje się gage R&R nested.

Przykład użycia gage R&R crossed

Trzech operatorów dokonało dwukrotnego pomiaru dziesięciu różnych części. Innymi słowy każda z dziesięciu część była mierzona przez każdego operatora dwa razy. Pomiary dokonywane były w kolejności losowej.

Plik do pobrania »
Kliknij aby pobrać

Badanie to przedstawia poniższy diagram.

Proszę uruchomić test R&R w programie Minitab 16.

Najważniejsza w powyższym teście jest wartość p-value dla przyjętego poziomu istotności α = 0,05. Wynosi ono dla operatorów 0,243 i oznacza, że pomiary między trzema operatorami nie różnią się znacząco. Gdyby p-value było mniejsze od 0,05 oznaczałoby to, że pomiary istotnie różnią się pomiędzy operatorami.

Dalszy ciąg testu.

Najważniejsza jest kolumna  

Operatorzy biorący udział w teście mają kłopoty z jakością pomiaru ponieważ zmienność testu gage R&R crossed wynosi 37,37

Number of Distinct Categories oznacza zdolność testu R&R do rozróżniania poszczególnych kategorii. Jeżeli proces nie jest w stanie wyodrębnić minimum 5 kategorii, wtedy jest uznany za proces o niskiej jakości.

Analiza graficzna w teście gage R&R crossed

 Wykres kontrolny R 

Wykres kontrolny R składa się z punktów pomiaru. Oddzielnie dla każdego operatora przedstawione są różnicę między najwyższą i najniższą wartością pomiaru dla każdej części. Wykres R nazywany jest wykresem przedziałów. Ponieważ punkty są uporządkowane według operatora, można ocenić, jak powtarzalny jest pomiar każdego operatora.

Jeśli punkty na wykresie przekroczą oznaczony czerwoną linią limitu kontrolnego (UCL), oznacza to, że operator ma problemy ze stabilnym pomiarem części. Jak widać operatorzy dokonują stabilnych pomiarów, największy problem ze stabilnością procesu ma pierwszy operator.

 Wykres kontrolny Xbar 

Ponieważ test gage R&R crossed powinny reprezentować cały zakres możliwych części, ten wykres powinien pokazać brak kontroli nad procesem. Świadczyłoby to dobrze o zakresie pomiarów. Brak kontroli występuje, gdy wiele punktów znajduje się poza limitami kontrolnymi karty. Granice te oznaczone są kolorem czerwonym.

Karta kontrolna Xbar wskazuje na dobry zakres pomiarów testu R&R, ponieważ wykres pokazuje skrajny brak stabilności procesu.

 By Part graph 

Wykres By Part wskazuje na wartość pomiarów wg części (oś x). Kropki pokazują wartości pomiarów. Średnie są reprezentowane przez kropki z krzyżykiem. Czarna linia łączy średnie pomiary dla każdej części.

Najlepiej, jeżeli kropki dla każdej części nie różnią się znacznie swoim położeniem. Istnieje jakiś problem z częściami numer 8 i 10. Kropki są tam rozrzucone. Linia jest łamana, ponieważ mierzone części nie są identyczne, widać znacznie się między sobą różnią.

 wykres Box-plot 

Wykres Box-plot pokazuje wszystkie pomiary wykonane w badaniu przez operatora. Pomiary są reprezentowane przez kropki; średnia pomiarów operatora jest pokazana, jako kółko z krzyżem. Czerwona linia łączy średnie pomiary dla każdego operatora.

Operator trzeci ma jakiś problem z pomiarami. Jego pomiary nie mają rozkładu normalnego.

 Wykres interakcji Part*Operator 

Wykres ten pokazuje średnie pomiary wykonane przez każdego operatora, na każdej części biorącej udział w eksperymencie. Każdy operator ma swoją linię oznaczoną kolorem. Wspominałem, że części 8 i 10 mają jakiś problem z pomiarem. Na tym wykresie widać, że problemem z pomiarem części 8 jest wadliwy pomiar dokonany przez operatora 4. Z pomiarem części nr 10 problem mają wszyscy operatorzy.

Jeżeli podobają Ci się ćwiczenia. Chcesz aby było ich więcej, dużo więcej! Oddaj głos na któryś z moich wpisów na Stock Overflow! Oto link – wystarczy tylko kliknąć!

Analiza attribute agreement służy do wykrywania nieprawidłowości w ocenach bazujących na subiektywnych odczuciach ludzi. Są badania, które mogą być prowadzone wyłącznie w oparciu o ludzkie odczucia. Przykładem takich pomiarów jest klasyfikacja jakości wina, ocena jakości potraw, zapach perfum czy ocena wystroju wnętrza. Analiza attribute agreement służy do sprawdzenia czy osoby prowadzące ocenę są obiektywne?  Czy ich oceny są powtarzalne? Na ile osoby te są stabilne w swoich deklaracjach? Czy pojedynczy rzeczoznawca różni się na tle grupy innych oceniających? 

World of Tanks. Przykład zastosowania analizy Attribute Agreemen

Cztery osoby zostały poproszone o ocenę 40 prototypowych map planowanych do wdrożenia w popularnej grze World of Tanks. Poproszono, aby osoby te przedstawili swoje doznania w skali 1-5. Aby oceny były pozbawione zakłóceń, każdy uczestnik walczył z tymi samymi botami. Wszyscy otrzymali również ten sam typ czołgu. Gracze oceniali każdą plansze dwukrotnie. Nigdy dwa razy pod rząd nie grali na tej samej mapie. W ten sposób nie mogli się oni sugerować swoją poprzednią oceną mapy.

Po zakończeniu badań poproszono statystyka, aby zweryfikował na ile subiektywna była ocena poszczególnych graczy.

Dane z badań można pobrać klikając tutaj.

 Ponieważ gracze oceniali mapy dwukrotnie, analiza attribute agreement pozwala na ocenę spójności ocen każdego z graczy 

 Aby przeprowadzić test Attribute Agreement dane muszą być ze sobą spójne. Ilości map oraz ilość ocen graczy muszą być jednakowe dla wszystkich oceniających. 

Wszyscy gracze oceniali 40 prototypowych map gry World of Tanks. Gracze oceniali mapy dwukrotnie w kolejności losowej. Gracz o pseudonimie Suchy15 był najbardziej konsekwentny: 37 plansz na 40 ocenił tak samo. Gracz o pseudonimie Bestu95 ocenił w sposób odmienny aż 7 map z 40. Bestu95 współczynniku ufności 95

Statystyka Fleissa - Kappa

Czym wyższa wartość kappa tym silniejsza zgodność ocen. Jeśli kappa = 1, to istnieje idealna zgodność ocen. Dla wartości kappa = 0, zgodność oceny jest czysto przypadkowe. Wartości ujemne kappa zdarzają się bardzo rzadko i występuje wtedy, gdy ocena jest słabsza niż zgodność przypadkowa. Zakłada się, że gdy wartość kappa jest mniejsza od 0,7 ocena nie jest miarodajna. Wartości kappa > 0,9 to doskonała ocena. W przypadku map do gry bardzo trudno osiągnąć zgodność. Gracze mają różne upodobania i preferencje.

Kappa tylko w dwóch przypadkach nie przekroczyła wartości 0,7. Oznacza to, że prawie wszyscy gracze ocenili mapy miarodajnie.

P-value dla określenia spójności ocen

H₀: Spójna ocena graczy wynika z przypadku

H₁: Spójna ocena graczy nie jest przypadkowa

Jeżeli wartość p-value jest mniejsza lub równa przyjętemu współczynnikowi istotności, p =< 0,05, wówczas należy odrzucić hipotezę zerową na rzecz hipotezy alternatywnej, mówiącej, że spójność ocen graczy nie jest przypadkowa.

W omawianym badaniu p-value dla wszystkich graczy wynosiło zero. Oznacza to, że spójne oceny nie są dziełem przypadku.

Współczynnik Zgodności Kendalla dla indywidualnych graczy

Współczynnik zgodności Kendalla wyraża stopień powiązania między wielokrotnymi ocenami dokonanymi przez gracza. Współczynnik zgodności Kendalla może wynosić od 0 do 1.

H₀: Brak związku między powtórną oceną dokonaną przez gracza

H₁: Kolejne oceny tych samych obiektów dla gracza są ze sobą powiązane

Hipoteza zerowa zostanie odrzucona, gdy wartość p-value =< 0,05 (poziom istotności α = 0,05).

Dla α = 0,05 wszystkich gracze osiągnęli p – value  < 0,05. Można odrzucić hipotezę zerową.

Oceny map każdego indywidualnego gracza są istotnie ze sobą powiązane.

Współczynnik zgodności Kendalla pomiędzy wieloma oceniającymi

Współczynnik zgodności Kendalla wyraża stopień powiązania między ocenami wielu oceniających.

H₀: Nie ma związku między ocenami graczy

H₁: Oceny graczy są ze sobą powiązane

Jeśli wartość p jest mniejsza lub równa poziomowi istotności (poziom α = 0,05) wówczas należy odrzucić hipotezę zerową na rzecz hipotezy alternatywnej.

Oceny map wśród graczy są ze sobą powiązane.

Zgodność ocen pomiędzy graczami

Czy odpowiedzi graczy są spójne w grupie? Czy gracze byli jednomyślni?

Zgodność graczy była została potwierdzona dla 22 plansz, co stanowi 55

Ocena graficzna

Wykres oceny graczy pokazuje spójność odpowiedzi.

Niebieska kropka dla każdego gracza, symbolizuje rzeczywisty poziom dopasowania w procentach.

Czerwona linia to zmienność oceny.