Banas – Estudos RR Parte I – Planejamento
- A etapa Medir do ciclo DMAIC do Seis Sigma é uma das mais demoradas e frustrantes pela falta de qualidade dos sistemas de medição.
- Para validar a medição é essencial realizar medidas repetidas de uma ou mais amostras. A escolha do número de repetições pode ser realizada usando o CV% do desvio padrão da repetibilidade.
Introdução a parte I- Planejamento: a medição no ciclo DMAIC
A etapa Medir é usualmente a mais complicada e demorada do DMAIC (Seis Sigma) pela baixa qualidade dos sistemas de medição da maioria das empresas. Pela importância do assunto dividimos o artigo em duas partes. Nesta primeira parte iremos mostrar como fazer um bom planejamento para a medição da precisão da análise quando os dados são contínuos. Apresentamos os princípios básicos dos estudos de repetibilidade e reprodutibilidade (RR) e um procedimento para determinar o tamanho da amostra adequado para esta análise. Na parte II mostraremos como analisar e interpretar os resultados dos planos.
Vários de seus Green Belts (GB) foram pedir a opinião de nosso amigo Black Belt, de nome Histo DOE acerca do planejamento do estudo para validar o sistema de medição:
- Quantas amostras eu utilizo?
- Qual o número de repetições que cada analista tem que fazer?
- Tenho disponível somente uma amostra para análise, o que eu faço?
- Para uma característica eu tenho 2 analistas e para outra característica tenho 15 analistas. Planejo os dois casos da mesma forma?
Estas dúvidas são muito comuns no dia-a-dia de um Green Belt ou Black Belt. Histo DOE sabe que se os dados não são confiáveis, não se pode continuar o projeto, pois todas as conclusões poderão ficar comprometidas.
Imagine uma empresa onde a característica mais importante do produto fabricado é a resistência e que a especificação varia entre 10cN e 20cN (cN = centi Newton). Desta forma, a largura da tolerância é 10cN. Suponha que você colete uma amostra do produto e o valor verdadeiro de resistência é 12cN.
Se a variação da análise fosse somente de 10% da tolerância, teríamos que a variação da análise seria de ± 0,5cN (10% de 10cN = 1cN = ±0,5cN), como mostra a Figura 1a.
Se a variação da análise fosse de 30% da tolerância (Figura 1b), teríamos que a incerteza seria de ± 1,5cN (30% de 10cN = 3cN = ±1,5cN), ou seja, o sistema de medição poderia gerar valores variando entre 10,5cN até 13,5cN.
Com uma variação da análise de 50% da tolerância, teríamos que a incerteza seria de ± 2,5cN (50% de 10cN = 5cN = ±2,5cN). Note que agora existe uma chance daquele produto que tem 12cN ser classificado fora da especificação (Figura 1c). É fácil notar que quanto maior for a variabilidade da análise, mais chance teremos de classificar errado um produto. Mas cuidado, o contrário também é verdadeiro!!! Existe a possibilidade de termos um produto ruim e classificarmos como estando dentro dos limites (Figura 1d).
a) Variação de 10%
b) Variação de 30%
c) Variação de 50%, risco de classificar produto bom como ruim
d) Variação de 50%, risco de classificar produto ruim como bom
Figura 1 – Exemplos de sistemas de medição com variabilidades diferentes
Numa indústria química o pessoal da produção enviava para o laboratório uma amostra de cada lote para ser testada. Quando o pessoal da produção recebia de volta o resultado, agia da seguinte forma: se o resultado estivesse dentro dos limites continuavam trabalhando normalmente; se o resultado estivesse fora dos limites mandavam outra amostra para o laboratório para confirmação, pois “não podiam confiar no resultado do laboratório que tinha uma variabilidade grande” (a incerteza do laboratório era aproximadamente de 60%). A esta forma de agir damos o nome de Jogada Guga da Qualidade. Esta tática consiste em ficar esperando, esperando, esperando … e quando o resultado da análise cair fora dos limites, damos uma raquetada (re-análise) nele até que caia dentro dos limites.
Um Black Belt esperto ficaria com uma dúvida filosófica: se sempre re-analisamos os resultados que caem fora dos limites é porque não temos confiança suficiente no laboratório, mas por que nunca re-analisamos os valores que caem dentro dos limites? Quem tiver a resposta que se manifeste!
O que fazer para resolver este problema? Simples: diminuir a variação da análise! Mas antes de diminuir a variação, precisamos medir essa variação.
Mensurando a variação da análise
A variação de uma análise tem duas grandes fontes envolvidas:
- Variação entre as medições realizadas num mesmo material feitas pelo mesmo analista, usando o mesmo equipamento em um curto espaço de tempo.
- Variação das medições realizadas num mesmo material feita por analistas diferentes e/ou usando equipamentos diferentes em diferentes dias.
À primeira fonte de variação, ou seja, aquela variação dos resultados da análise quando um mesmo analista repete a análise sob as mesmas condições, damos o nome de Repetibilidade e é caracterizada pelo desvio padrão da repetibilidade (Srepe). À segunda fonte de variação, ou seja, aquela variação dos resultados da análise quando analistas diferentes fazem a análise ou o mesmo analista faz a análise em equipamentos diferentes, e/ou em diferentes dias, damos o nome de Reprodutibilidade e é caracterizada pelo desvio padrão da reprodutibilidade (Srepro).
Figura 2 – Repetibilidade e Reprodutibilidade
O desvio padrão do sistema de medição é igual a: . Para medirmos a variabilidade da medição (ou precisão da medição), temos que estimar os desvios padrão da repetibilidade e da reprodutibilidade (Figura 3).
Figura 3 – Sistemas de medição com baixa e alta variação
Para mensurar a variação da análise basta pegarmos algumas amostras, repetir a análise diversas vezes e calcularmos o desvio padrão, certo? Para isto deve-se ter em conta que a “confiança” no desvio padrão depende da quantidade de analistas que participam das medições e do número de repetições realizadas em cada amostra. Vemos a seguir o procedimento para desenhar um plano de amostragem para medir a precisão da análise.
Selecionando o plano
Há dois tipos básicos de planos: Cruzados e Hierárquicos. A utilização de um ou de outro depende das características das amostras.
No plano cruzado todos os analistas fazem as análises nas mesmas amostras. Este tipo de plano é comum quando a mesma amostra pode ser analisada mais de uma vez, como, por exemplo, quando diversos analistas medem o comprimento dos mesmos parafusos. O nome “cruzado” deriva do fato de que todas as amostras são “cruzadas” entre todos os analistas (Figura 4).
O plano hierárquico é utilizado quando os analistas não conseguem fazer a análise nas mesmas amostras. Um exemplo deste plano é numa análise química, onde a amostra degrada com o tempo e os analistas trabalham em turnos diferentes. Com isto o primeiro analista consegue repetir a análise algumas vezes na mesma amostra, mas quando o outro analista vai medi-la horas depois, os resultados são completamente diferentes. Neste caso selecionamos amostras diferentes para cada analista. O nome “hierárquico” é porque certas amostras estão alocadas a um analista e outras amostras a outro analista.
Figura 4 – Tipos de planos para estudos da precisão
A seguir algumas dicas para a condução dos planos de medição:
- Quando estamos fazendo um levantamento inicial ou melhorando o procedimento de análise, não precisamos fazer a análise com todos os analistas. Podemos fazer a análise com alguns e ir melhorando a procedimento de análise até chegarmos num ponto considerado ideal e aí então fazer um plano mais completo. Mas atenção, cuidado para não selecionar somente os melhores analistas, nem somente os piores, pois senão teremos uma visão deturpada da realidade.
- Enquanto estivermos melhorando a análise, não precisamos também trabalhar com muitas amostras diferentes. Podemos trabalhar com amostras na faixa mais crítica, pois se o método ficar bom para esta faixa, será também adequado nas faixas menos críticas.
- Não é necessário realizar o estudo com mais de uma amostra, mas quando trabalhamos somente com uma única amostra precisamos ter em mente que os resultados são válidos para aquele tipo de amostra. Não podemos simplesmente inferir que o resultado vale para outros tipos de amostra (por exemplo: imagine que a resistência da amostra é de 20cN, nada garante que a precisão do método será a mesma para um valor de 35cN).
Uma vez escolhido o plano do estudo, precisamos definir o número de repetições necessárias para calcular o desvio padrão com um nível de confiança adequado.
Determinando o número de repetições para calcular o desvio padrão da medição
Lembram do exemplo da resistência de um material? Pois bem, o pessoal daquela empresa costuma medir 3 vezes a mesma amostra para calcular o desvio padrão da medição.
Você acha isto suficiente?
Para responder, fizemos uma simulação supondo que o desvio padrão da análise é igual a 1,2 e repetimos 900 vezes a análise de resistência. Separamos os valores em grupos de 3 medidas e calculamos os desvios padrão para cada grupo (300 valores de desvios padrão). Repetimos o mesmo procedimento para grupos de 10 e de 20 medidas. Note na Figura 5 como o desvio padrão pode ser bem diferente quando utilizamos amostras pequenas, indo desde o valor 0,1 até 3,5 na simulação com três valores. Fica claro também que quanto maior o tamanho da amostra, mais precisa é a medição do desvio padrão (com 20 repetições obtivemos desvios padrão entre 0,8 e 1,6).
Figura 5 – Desvios padrão para diversas repetições
Como se conclui da Figura 5, a variação na mensuração do desvio padrão pode ser controlada pela escolha do número de repetições que fazemos. Mas quanto é um nível aceitável de variação nesta mensuração? No geral, é de consenso que uma variação em relação ao valor nominal entre 10% e 15% é adequada para estimar o desvio padrão.
Existe uma fórmula para medir esta “variação em relação ao valor nominal”: o Coeficiente de Variação (CV). Para o desvio padrão esta medida pode ser calculada por:
onde v (letra grega “ni”) representa o número de graus de liberdade (gl) utilizados no cálculo do desvio padrão. Exemplo: no caso da empresa que fazia a medição do desvio padrão com 3 amostras, o número de graus de liberdade será igual a 2 (no caso de 1 amostra o gl é igual ao número de repetições menos 1). O CV será de 50%, valor bem acima do limite de 15% recomendado:
Notamos que quanto mais repetições realizarmos na mesma amostra, menor será o CV do desvio padrão; maior a certeza do que estamos medindo.
O número de graus de liberdade depende do plano utilizado. Imagine as seguintes situações (Figura 6):
- Situação 1: um GB esta fazendo o estudo para uma medida de viscosidade com 2 analistas. Ele preparou 3 amostras com viscosidades diferentes e cada analista repetiu 4 vezes a análise em cada amostra.
- Situação 2: outro GB esta fazendo o estudo para uma medida de resistência e ele dispõe de 4 analistas. Neste caso ele preparou 2 amostras com resistências diferentes e as deu para cada analista repetirem 3 vezes a análise em cada amostra.
Nas duas situações temos um plano cruzado, onde a mesma amostra é analisada por todos os analistas.
Figura 6 – Dois tipos de estudo com o mesmo número de medições, mas diferente número de graus de liberdade
Para as duas situações o número total de análises feitas é o mesmo, ou seja, 24 análises (Tabela 1). Mas apesar disto, o número de repetições feita na mesma amostra pelo mesmo analista é diferente.
Tabela 1 – Número de medições realizadas nas Situações 1 e 2
O cálculo dos graus de liberdade do desvio padrão da repetibilidade pode ser determinado multiplicando o número de analistas pelo número de amostras e depois pelo número de repetições menos 1:
Gl repetibilidade = a*p*(n-1)
Na Situação 1 temos 18 gl e na Situação 2 temos 16 gl, valores que mostram um CV% ainda acima dos 15% (Tabela 2).
Tabela 2 – Número de graus de liberdade para as Situações 1 e 2
Na Figura 7 há gráficos representando a variação do CV% do desvio padrão da repetibilidade em função de “a”, “p” e “n”. Destaca-se também a faixa com valores adequados de CV% (retângulo azul). Na Situação 1 (3 amostras e 2 analistas) precisaríamos de no mínimo 5 repetições para que o CV estivesse abaixo de 15% e no mínimo 10 repetições para que ele estivesse abaixo de 10% (veja gráfico inferior esquerdo da Figura 7). Para a Situação 2 (2 amostras e 4 analistas) precisaríamos de no mínimo 4 repetições para que o CV estivesse abaixo de 15% e no mínimo 8 repetições para que ele estivesse abaixo de 10% (gráfico superior direito da Figura 7).
Figura 7 – CV% do desvio padrão da repe em função do número de amostras, número de analistas (p) e número de repetições dentro de cada amostra (n)
Conclusões:
Agora o nosso amigo Histo DOE já consegue ajudar os seus GB a fazer o planejamento para o estudo da medição.
Vimos que o desvio padrão da medição tem que ser baixo para aumentar a confiança nos dados e para não classificarmos erroneamente a nossa produção. Além disso, a precisão adequada da medição é um ingrediente essencial para realizar experimentos no processo ou para extrair conclusões dos dados históricos.
Mostramos como escolher o plano, cruzado ou hierárquico e como definir o número de repetições necessárias para que a mensuração do desvio padrão da repetibilidade seja confiável.
Na Parte II deste artigo ilustramos a análise e interpretação dos resultados no Minitab para vários exemplos.
Referência bibliográfica
Mandel, J. (1972). Repeatability and Reproducibility, Journal of Quality Technology, 4, 74-85
Marcus Vinícius de C. de Castro
Em 50 palavras ou menos