Blog

• Se o planejamento foi feito com esmero, a análise dos resultados é simples e direta, e compreende análises gráficas e numéricas.
• O Minitab tem ferramentas para análise, adequação do ajuste, visualização da superfície e otimização de várias respostas simultaneamente.

Introdução a DOE Parte II: Análise e interpretação

  Na parte I deste artigo, Conceituação e Planejamento, descrevemos porque o planejamento estatístico de experimentos (DOE) é a forma mais eficiente de extrair informação de um processo. Vimos que os “ingredientes” de um DOE com sucesso são:

• Variação simultânea dos fatores controlados;
• Aumento do domínio experimental (range) destes fatores;
• Verificação de pré-requisitos tais como: estabilidade mínima do processo e sistema de medição adequado;
• Utilização de dispositivos para tratamento de fatores não controlados, tais como randomização, blocagem, repetição dos ensaios do plano fatorial e repetição do ponto central ao longo da matriz.

  Mencionamos também que o número mínimo de ensaios requerido para determinar a significância dos efeitos é 16 (excluindo os pontos centrais).

  Na primeira parte do presente artigo ilustra-se passo a passo a análise dos resultados de um DOE utilizando o Minitab. Os dados analisados fazem parte do exemplo do reator, apresentado na parte I. Os fatores controlados, respostas, objetivos e matriz de ensaios encontram-se na Figura 1. A matriz de ensaios da Figura 1 é adequada para ajustar a resposta “Rendimento”, mas não para ajustar o “Custo”, porque esta resposta apresenta curvatura. Neste último caso serão adicionados pontos axiais para constituir um plano composto, adequado para modelos com termos quadráticos.

Figura 1 – Fatores controlados, respostas, matriz de ensaios e resultados do exemplo do reator

Etapas para analisar os resultados de um DOE no Minitab

  Na Figura 2 há um resumo muito utilizado por Histo DOE, nosso amigo Black Belt, para orientá-lo na análise dos planos fatoriais e na confirmação dos resultados. Exemplificaremos os passos 1 a 7 utilizando os dados da Figura 1.

Figura 2 – Passos para a análise de um fatorial no Minitab

1) Verificar a estabilidade do processo e pontos extremos

   Os gráficos de tendência da Figura 3 permitem verificar se há pontos extremos e se o processo permaneceu estável durante a realização dos ensaios (os resultados dos pontos centrais deveriam variar bem menos que os pontos do plano fatorial). Pela inspeção dos gráficos conclui-se que o processo esteve aproximadamente estável e que o Custo, aparentemente, apresenta efeitos quadráticos (os pontos centrais estão todos dispostos na parte inferior do gráfico).

Figura 3 – Gráficos de tendência do Rendimento e Custo

2) Ajuste do modelo usando regressão múltipla

  O experimento utilizado (dois níveis com pontos centrais) permite ajustar equações do tipo:

y = 0 + 1 x1 + 2 x2 + 3 x3+ 12 x1x2 + 13 x1x3 + 23 x2x3 + resíduos

onde os coeficientes do tipo i medem a importância dos fatores considerados individualmente, enquanto que os coeficientes do tipo ij medem a importância da interação entre os fatores xi e xj. A interação tripla (x1x2x3) raramente é significante. Histo DOE decidiu mostrar somente o modelo para o Rendimento, já que ao realizar o ajuste do Custo confirmou a presença de efeito quadrático. A Figura 4 tem um gráfico de Pareto que mostra a importância relativa dos termos da equação de regressão múltipla. Os termos à direita da linha vermelha são estatisticamente significantes com 90% de confiança.

Figura 4 – Pareto dos efeitos para o Rendimento

  A partir da Figura 5 podem-se concluir quais são os termos que devem ser mantidos no modelo, se há efeito de bloco e se o fenômeno apresenta curvatura. Proceda da seguinte forma:

1. Elimine primeiro os termos não significantes com “P” maior que 0,10. Observe que se um fator não é significante (P > 0,10), mas há uma interação significante (P  0,10) contendo este fator, o mesmo não pode ser excluído do modelo (caso de x2 no exemplo). Se não houver efeito de curvatura e/ou de bloco (considere para isto P > 0,05), retire os termos do modelo.
2. Em uma segunda rodada (Passo 4) elimine os termos não significantes considerando P > 0,05.

Figura 5 – Significância de efeitos principais, interações, bloco e curvatura

3) Visualizar os efeitos principais e interações

  Os gráficos da Figura 6 dão uma noção gráfica da importância relativa do efeito dos fatores e de suas interações, assim como da presença de efeitos quadráticos. Por exemplo, a proporção de aditivos A/B (x1) é o fator mais importante quando se considera o Rendimento, assim como a interação x1 x2. O gráfico de efeitos principais do Custo mostra que deve existir curvatura para esta resposta, já que a média dos pontos centrais (ponto vermelho) não está posicionada próxima da reta.

Figura 6 – Gráficos de efeitos principais e interações

4) Análise de adequação do modelo

  Após retirar os termos não significantes é conveniente verificar se o modelo representa bem o fenômeno em estudo. As análises que podem ser feitas são:

1. Verificar se o coeficiente de determinação ajustado é superior a 75%, o que indicará que os fatores no experimento explicam uma boa porcentagem da variação observada. Neste caso o R² ajustado foi igual a 97% (Figura 7).
2. Se o modelo representa bem o fenômeno, o teste de falta de ajuste (“Lack of Fit”, ou Falta de Ajuste) não deveria ser significante (não significante implica P > 0,05, Figura 7).
3. O diagrama de dispersão dos valores ajustados pelo modelo (“Fits”) versus os valores do Rendimento deveria mostrar pontos agrupados em torno de uma reta a 45^o. Quanto maior o R² ajustado, mais agrupados estarão os pontos em torno da reta (Figura 8).
4. Os resíduos calculados pela diferença entre os valores de Rendimento e os valores da reta de regressão (Ajuste ou Fits) deveriam apresentar comportamento sob controle (sem pontos extremos, gráfico 3 da Figura 9), normalidade (pontos vermelhos em torno da reta, gráfico 1) e variabilidade constante (faixa de variação dos resíduos com largura constante, gráficos 2 e 3).

Figura 7 – Análise do modelo final do Rendimento

Figura 8 – O modelo representa bem o fenômeno em estudo

Figura 9 – Gráficos de resíduos

5) Exploração do modelo ajustado

  A Figura 10 pode ser utilizada para otimizar o Rendimento: o máximo é obtido para x1 e x2 mínimos (Rendimento > 160).

Figura 10 – Gráficos de superfície de resposta e curvas de contorno

  Histo DOE está satisfeito com o avanço do projeto já que o experimento permitirá superar amplamente o rendimento atual que é próximo de 140. Mas ele lembra que há outra resposta que não está sendo considerada, o Custo, que deveria ser mantido abaixo de 10,2. Como a matriz de ensaios não é adequada para modelos com parte quadrática, Histo DOE adicionará os pontos axiais indicados em vermelho no terceiro plano da Figura 11. Esta parte da matriz constitui o bloco 3 à direita da Figura 11. Como Histo DOE teve que rodar estes oito experimentos adicionais para o Custo, ele aproveitou para obter também os resultados de Rendimento. A análise do plano composto é realizada de forma similar à do plano fatorial, porém utiliza-se para isto o procedimento do Minitab denominado “Superfície de Resposta”.

Figura 11 – Evolução da estratégia experimental e matriz axial para Custo

6) Utilização de ferramentas de otimização

  Depois de ajustar o modelo quadrático para o Custo, Histo DOE utilizou a ferramenta de otimização do Minitab, denominada “função desejo”. Para utilizar este procedimento, devem-se especificar as funções-objetivos para cada resposta. No exemplo do reator as funções para o Rendimento e Custo encontram-se na Figura 12a. No Minitab a função desejo denomina-se “Otimizador de Resposta” e utiliza um procedimento numérico que procura satisfazer conjuntamente as funções-objetivos de todas as respostas de interesse. Na Figura 12b observa-se que nas condições: Proporção A/B = 0,84, Temperatura = 186 C e Tempo = 3 horas o modelo prevê um rendimento = 145 e custo = 9.

Figura 12 – Função desejo para otimizar conjuntamente o rendimento e custo do reator

7) Confirme os resultados do modelo

  Histo DOE já teve algumas experiências desagradáveis e sabe que antes de sair comemorando e soltando rojões, devem-se confirmar as previsões do modelo. O próximo passo então é realizar mais um ensaio em caráter de pilotagem colocando o processo nas condições ótimas e medir as respostas para confirmar os resultados.

Aplicação do DOE para otimização de gastos em propaganda

  Um exemplo que sai do âmbito tradicional de aplicação do DOE em ambiente produtivo foi coordenado por Ackoff na área de marketing da empresa Anheuser-Busch. Como resultado dos estudos realizados no período de 1962 a 1968, os gastos em propaganda foram reduzidos de 1,89 US$ a 0,80 US$/barril, enquanto que as vendas aumentaram de 7,5 para 14,5 milhões de barris e o “market share” pulou de 8,14 a 12,94%. Os experimentos foram realizados para determinar a relação entre as vendas de cerveja versus o capital gasto em propaganda, o momento de realizar o gasto e o tipo de mídia utilizado. As análises realizadas mostraram quão complexas e pouco intuitivas podem ser estas relações.

  O estudo iniciou-se porque no ano de 1961 o presidente da Anheuser-Busch foi abordado pelo vice-presidente de marketing com uma solicitação de 15 MUS$ para gastos em propaganda e mais um adicional de 1,2 MUS$. O vice-presidente defendeu o gasto com base no aumento de vendas que “ele achava” que iria acontecer.

  Um dos experimentos realizados pelo pessoal de Ackoff foi um fatorial com três fatores, cada um a três níveis. Os fatores controlados foram: x1 = mudança percentual dos gastos em propaganda em relação ao atual, x2 = gastos em pessoal de vendas e x3 = gastos em materiais nos pontos de vendas. Diferentes áreas de vendas foram designadas aos 27 ensaios e foi medida a percentagem de mudança nas vendas durante um período de 12 meses. Pela análise dos resultados encontrou-se que não havia interação entre nenhum dos fatores do experimento e que x2 e x3 estavam próximos do ótimo. Em relação a x1 foi encontrada uma inconsistência, com um mínimo em zero (Figura 13a). A teoria que se tinha sobre o efeito da propaganda no consumo estava baseada na curva estímulo-resposta da Figura 13b. Uma pequena quantidade de propaganda quase não tem efeito nas vendas, mas quando a quantidade aumenta aparece o efeito desejado. Se o estímulo continua aumentando, o efeito diminui e se chega a um patamar, seja porque se satura o público ou porque o consumidor não tem mais capacidade de compra. Um aumento ainda maior na propaganda teria um efeito negativo sobre o consumidor. O problema desta teoria era que não explicava o formato em V obtido no experimento!

   Neste ponto entrou em cena outro componente que deve estar presente em todo experimentador: o raciocínio técnico que tenta explicar a resposta observada. A teoria formulada foi que existiria uma segmentação do mercado em duas populações, cada uma com sua curva estímulo-resposta, porém separadas horizontalmente (Figura 13c). Nesse caso a resposta agregada das duas populações teria um formato de V. Haveria um grupo de consumidores que são sensibilizados mais rapidamente e que chegam também mais rapidamente ao ponto de saturação.

Figura 13 – O resultado do DOE gera um resultado que vai contra o esperado pela curva Estímulo-Resposta, mas é explicado pela segmentação do mercado

  Para testar a hipótese de segmentação do mercado foram realizados novos ensaios nos seguintes níveis de x1: -100%, -50%, -25%, 0%, +50%, +100% e +200%. Os resultados obtidos confirmaram a segmentação, que deu base para sugerir a redução de propaganda como forma de aumentar as vendas, conforme fora previsto pelo modelo. Muitos outros experimentos realizados permitiram chegar aos resultados mencionados na apresentação deste caso.

  Outros exemplos de DOE fora do âmbito produtivo podem ser encontrados no artigo clássico de Koselka (1996) ou na compilação realizada por Anderson (2004).

Conclusões

  Ao longo das partes I e II vimos como o DOE é uma ferramenta poderosa dentro da caixa de ferramentas do Black Belt. O DOE tem a vantagem de gerar conhecimento com uma velocidade infinitamente maior à obtida por outros métodos. Quando bem utilizado pelos especialistas do processo, este conhecimento pode-se traduzir no aumento do rendimento, na redução de variabilidade e no lançamento mais rápido de novos produtos.

  O sucesso na aplicação do DOE não chega automaticamente. Como já considerado na parte I, o planejamento tem um papel muito importante. Questões como repetição dos ensaios, randomização, medição adequada e largura do domínio experimental não podem ser desconsideradas. Se o planejamento foi realizado com cuidado e os ensaios conduzidos com esmero, a análise dos experimentos é muito simples e os resultados colhidos, muito promissores.

Referências bibliográficas

• Domenech, Carlos (2004). Como fazer um DOE com sucesso. Parte I: Conceituação e planejamento. Falando de Qualidade. Banas.
• Ackoff, Russel L. (1978). The Art of Problem Solving. New York: Wiley.
• Koselka, Rita (1996). The new mantra: MVT. Forbes, 11/3/96. p. 114-118.
• Anderson, Mark J. (2004). Achieving Breakthroughs in Non-Manufacturing Processes via Design of Experiments (DOE). Stat-Ease, Inc.