Banas – Experimentos com dados emparelhados
- Os experimentos emparelhados podem ser uma técnica muito útil para aumentar o poder dos ensaios realizados pelos Belts que trabalham com Seis Sigma.
- Apresenta-se um procedimento para testar se há diferenças significantes entre as variâncias de amostras emparelhadas. O procedimento para testar médias já é amplamente difundido.
Introdução a Experimentos com dados emparelhados
Os Green Belts e Black Belts são coordenadores de projetos de melhoria que utilizam a estratégia Seis Sigma. Com freqüência conduzem experimentos simples para verificar se a mudança de um fator “x” afeta uma variável de interesse, “y”. O experimento mais simples está relacionado com a comparação de duas condições: condição A versus condição B, aparelho 1 versus aparelho 2, antes versus depois. Há duas formas possíveis de conduzir este tipo de experimentos:
- Amostras independentes
- Amostras dependentes ou emparelhadas
A diferença entre as duas estratégias foi ilustrada na Figura 1.
Figura 1 – Experimentos dos tênis com amostras independentes ou emparelhadas
Suponha que nosso amigo Black Belt, Histo DOE, deseja avaliar dois tipos de tênis em relação ao desgaste da sola: tênis Rosa versus tênis Verde. A forma mais simples de fazer o experimento seria escolher, ao acaso, um grupo de meninos e calçá-los com tênis R e calçar um outro grupo com tênis V. Este tipo de experimento se conhece com o nome de amostras independentes.
Histo DOE, por outro lado, poderia pensar: “em cada grupo podem existir meninos muito ativos e meninos que ficam o dia todo na frente da TV comendo pipoca. Isto poderá fazer com que a variabilidade dos resultados entre os meninos dentro de cada grupo seja muito grande e dessa forma será difícil encontrar diferenças entre os grupos. Eu poderia fazer com que cada menino calçasse os dois tênis e então ver para cada menino qual tênis desgasta mais. Escolho aleatoriamente para cada menino o pé no qual calçará o tênis R. No outro pé calçará o tênis V. Não vai ficar muito chique, mas acredito que a meninada não vai se incomodar. Desta forma farei a comparação dentro de cada menino. As diferenças entre os meninos serão eliminadas e o experimento terá maior sensibilidade para detectar diferenças entre os tipos de solas”. Esta classe de experimentos se conhece com o nome de amostras dependentes ou emparelhadas.
Aplicação e análise de resultados
Histo DOE é um apaixonado pelo Seis Sigma e pelo ciclo DMAIC utilizado para a melhoria dos processos. Cada fase tem sua peculiaridade; por exemplo, a etapa Definir é importante para dar o rumo certo à equipe de projeto. Muitas vezes o sucesso ou insucesso do projeto é determinado nesta etapa. Nela determina-se o escopo, objetivo, dedicação da equipe e se escolhe o líder. A etapa Medir é na maioria das vezes a mais trabalhosa e frustrante, já que nela se percebe a baixa qualidade dos dados e informações que se encontram em quase todo tipo de empresa. A etapa, Analisar, é muitas vezes a mais rica. Nela a equipe do projeto começa com a descoberta das causas raiz que afetam os resultados do processo. É nesta etapa e na próxima (Melhorar) que a experimentação tem seu papel mais ativo.
Caso 1:
É durante a etapa Analisar que Histo DOE se deparou com o problema do desgaste da sola dos tênis. Ele decidiu fazer o experimento com amostras emparelhadas. Os resultados do teste dos tênis estão na Tabela 1. A análise deste exemplo poderia ser formulada como na Figura 2.
Tabela 1 – Resultados de desgaste dos tênis R e V (amostras emparelhadas)
Da Figura 2 é possível inferir com uma grande chance de certeza (mais de 99% de confiança) que a nova formulação é eficaz (p-valor = 0,000). Neste caso usamos o procedimento no Minitab “Estat\ Estatísticas Básicas\ Teste t pareado”. Vejamos agora o resultado que poderia ter sido observado se o experimento tivesse sido conduzido com amostras independentes. Suponha que os resultados do experimento fossem os mesmos que os apresentados na Tabela 1 (mas suponha que os resultados de um tênis e do outro são correspondentes a meninos diferentes). A aplicação do teste t para amostras independentes (no Minitab: “Estat\ Estatísticas Básicas\ Teste t para 2 Amostras”) dá o valor t = 1,27 e p-valor = 0,110. Como o p-valor > 0,05, isto indicaria que não há evidencias de diferenças significantes entre os dois tipos de tênis e esta conclusão seria errada!
Figura 2 – Estratégia de análise do experimento dos tênis: amostras emparelhadas
Como se explicam esses resultados aparentemente conflitantes? Na Figura 3a ilustrou-se o enfoque correto para este experimento que seria observar para cada menino a diferença entre os dois tênis: a reta tracejada horizontal representa a média das diferenças e a barra vertical à esquerda do gráfico na altura do primeiro menino representa o intervalo de confiança de 95% para esta diferença média. Como o valor zero (não diferença entre os tênis) está longe do intervalo de confiança, podemos inferir que há diferença significante entre as médias. Na Figura 3b ilustrou-se o “enfoque de amostras independentes”: neste caso a diferença entre as médias parece pequena quando se compara com a largura dos intervalos de confiança (os intervalos em torno de cada média têm uma grande parte sobreposta).
Figura 3 – Análise de um experimento com amostras emparelhadas ou com amostras independentes
No enfoque de amostras emparelhadas, ao se trabalhar com as diferenças, elimina-se a diferença entre os meninos. Veja que na Figura 3a as diferenças apresentam variação aproximada de 2,5 pontos, enquanto que na Figura 3b os valores individuais variam em torno de 8 pontos! Isso explica a diferença entre os métodos.
Caso 2:
Outra aplicação está representada na Figura 4. Há dois equipamentos que testam os mesmos aparelhos. Para avaliar se os dois equipamentos apresentam o mesmo nível médio e a mesma variabilidade, os mesmos aparelhos poderiam ser testados nos dois equipamentos.
Figura 4 – A diferença entre equipamentos é avaliada realizando os testes com os mesmos telefones nos dois equipamentos
Suponha que num experimento parecido ao da Figura 4, tenham sido analisados 35 telefones (os resultados do teste estão na Tabela 2). As hipóteses de interesse referentes aos dois equipamentos seriam verificar se eles são iguais em relação às médias e em relação às variações, ou seja:
Tabela 2 – Dados observados no experimento dos telefones
O teste de diferença entre as médias pode ser feito facilmente no Minitab (“Estat\ Estatísticas Básicas\ Teste t pareado”), como já apresentado no exemplo dos tênis e foi representado na Figura 5. Conclui-se que não há diferença significante entre as médias.
Figura 5 – Resultados do teste t para amostras emparelhadas
O Minitab não tem o teste de igualdade de variâncias para amostras emparelhadas. A solução a este problema afortunadamente já foi encontrada. Histo DOE achou o procedimento em um artigo de Morgan (1939) e não é difícil de implementar. Os passos são descritos a seguir.
Crie duas novas variáveis z1 = (A+B)/2 e z2 = (A-B)/2. O teste da hipótese H0: A = B é equivalente ao teste da hipótese de inexistência de correlação entre z1 e z2 (H0: z1,z2 = 0). Este teste sim pode ser feito no Minitab, usando o procedimento “Estat\ Estatísticas Básicas\ Correlação”. O teste apresentou resultado significante (p-valor = 0,000), indicando a existência de correlação entre z1 e z2, o que nos mostra uma forte evidência de diferença entre os desvios padrão dos dois sistemas. A conclusão é que os equipamentos têm a mesma média, mas não a mesma variabilidade. O desvio padrão para os resultados do primeiro equipamento foi 1,2 e para o segundo 1,6.
Se Histo DOE tivesse realizado, incorretamente, o teste de duas variâncias independentes do Minitab (“Estat\ Estatísticas Básicas\ Teste para 2 Variâncias”) o resultado do p-valor teria sido de 0,169 e Histo DOE concluiria que a diferença entre as variabilidades dos dois aparelhos não era significante.
Caso 3:
Neste caso mostramos duas aplicações do mesmo tipo de experimento. Uma destas aplicações foi realizada na Rhodia Poliamida e Especialidades (agradecemos a colaboração dos Srs. André Anderson e Roberto Wagner dos Reis) e a outra na empresa que chamaremos X. Nas duas aplicações, diversas amostras foram analisadas no laboratório e com analisadores on-line para estabelecer a correspondência dos dois métodos. Os dados utilizados para a Rhodia estão na Tabela 1 e para a empresa X na Tabela 2.
Tabela 1 – Dados de Umidade On-line e Laboratório (Rhodia)
Tabela 2 – Dados de uma propriedade On-line e Laboratório (empresa X)
Os gráficos das medidas obtidos nos dois exemplos estão na Figura 6. Na parte superior dos gráficos estão os resultados dos testes de comparação de médias e variâncias (amostras emparelhadas). Nas duas situações não encontramos evidências de diferenças entre as médias nem entre as variâncias dos dois métodos (p-valor > 0,05).
No exemplo da empresa X a correlação entre os dois sistemas de medição é muito boa, mas o mesmo não acontece no caso da Rhodia. Por outro lado observe que a faixa de valores experimentais utilizados na empresa X é muito maior que a largura de especificação (representada pelo tamanho da linha vertical = T). Na Rhodia as amostras não apresentaram grande variação da propriedade em estudo. Daqui se destaca uma observação importante: “quando se trabalha com dados experimentais e deseja-se obter uma equação que represente bem a relação y = f(x), a faixa de variação do ”x” deve ser a maior possível. Caso contrário a correlação pode ficar mascarada pela variabilidade da medição.
Figura 6 – Experimentos emparelhados para analisar correspondência entre análise on-line e laboratório
Há outros conceitos que podem ser considerados nestes dois conjuntos de dados, tais como “precisão do sistema de medição” e “linearidade de exatidão”, mas isso poderá ser assunto de outros artigos!
Conclusões:
Os experimentos emparelhados podem ser bastante úteis para aumentar a eficiência dos ensaios. Esta estratégia é adequada quando se podem formar blocos em função de algum critério e realizar medidas sob as duas condições diferentes dentro de cada bloco. No exemplo dos tênis, cada menino formava um bloco e as duas condições estavam representadas pelos dois tipos de tênis, um em cada pé. No exemplo dos equipamentos de teste, cada bloco era um telefone e as condições eram os dois equipamentos.
Os exemplos mostraram que a estratégia pode ser utilizada para tratar diferentes problemas. Somente devemos tomar o cuidado de utilizar as técnicas de análise adequadas. Lembram o resultado dos casos 1 e 2 quando utilizamos os testes sem considerar que as amostras eram emparelhadas?
Referência bibliográfica
Morgan, W. A. (1939) “A test for the significance of the difference between the two variances in a sample from a normal bivariate population”, Biometrika, vol. 31, p. 13-19.
Carlos Domenech – MBB
Em 50 palavras ou menos