Fugir da esquizofrenia

Há muitos anos que aqui no blogue escrevo sobre a esquizofrenia analítica, independentemente do governo de turno ser de direita ou de esquerda. Recordo, por exemplo:

• Falta de profissionalismo, venezuelização, falta de liderança (Abril de 2019)
• Mortalidade infantil e esquizofrenia (Janeiro de 2019)
• Comportamentos, padrões... não, "happenings"; não, eventos; não, meteoros (Novembro de 2016)
• Desta vez, sem esquizofrenia (Maio de 2015)
• Para lá da esquizofrenia (Março de 2010)
• Esquizofrenia analítica... por causa de 0,6% (Março de 2010)
• Não praticarás a esquizofrenia analítica!!! (Junho de 2009)
• Não cairás na tentação da esquizofrenia analítica (Maio de 2008)

Mão amiga fez-me chegar este tweet:

esta cena de se dizer ‘a taxa de mortalidade infantil aumentou’ ou ‘diminuiu’ tendo como referência a variação de um ano para o outro é um bocadito tola, ñ é, pordata? https://t.co/iWKC1bDBwf

— fcancio (@fcancio) May 13, 2023

Não por acaso, no final de Abril último tirei uma foto ao título de uma coluna do JN:

Agora, analisei os dados do Pordata e resolvi fazer as cartas de controlo para os valores individuais e para a amplitude móvel:

E o que as cartas revelam é que a mortalidade infantil subiu de um ano para o outro por mera flutuação estatística. Nem o Pordata nem a ordem dos Médicos conseguem fugir da esquizofrenia na análise dos resultados (nem Câncio, se o governo fosse de direita). Só os deuses fogem da Conversa de humano.

IV - Nonconformities, corrective actions and even preventive actions

The fourth video on our series about doing more than just complying with ISO 9001:2015.

Organizations should separate nonconformities treatment, and improvement actions. They are two different things with different time pressure, and different purposes.

Improvement does not come just because we have nonconformities, improvement also comes from trend analysis, even when there is no nonconformities behind.



If you have any question about nonconformities, and improvement actions you can send me an e-mail.

Para lidar com a variabilidade

Interessante que em Agosto de 2019, finalmente, a Harvard Business Review publique um artigo, "Do You Understand the Variance In Your Data?", sobre a análise estatística dos números, dos indicadores ao longo do tempo.

De acordo com a minha pesquisa, a primeira vez que aqui no blogue falei sobre esquizofrenia analítica foi em Novembro de 2006 em "Comportamentos, padrões... não, "happenings"; não, eventos; não, meteoros".

A figura:

Da montanha russa costuma-me acompanhar neste tema. De bestial a besta em 30 dias porque num mês os resultados foram bons ou menos maus e 30 dias depois os resultados são maus ou piores, quando afinal, estatisticamente não mudou nada. No artigo da HBR esta situação é descrita assim:

"The figure below depicts the error rates for the first three weeks of an invoicing process:

After week two, the responsible manager was embarrassed — could her team really be performing that poorly? After the third, she breathed a sigh of relief. The error rate may be high, but at least the trend was in the right direction! She had been extolling her people to “work harder to get the error rate down.” Finally, they were listening!
.
Unfortunately, her interpretation did not hold up. Here are the measurements for the next seven weeks:

This manager’s illusion was shattered the very next week, as the error rate went even higher! Her mistake arose because she did not understand that all processes vary, often considerably!"

Por exemplo, como não lembrar "Uns dias são melhores do que outros" de Maio de 2006. Ou Junho de 2009, ou Julho de 2019.

Quanto ao artigo da HBR, saúda-se a entrada no tema da variabilidade (recordo aqui o anterior nome do nosso projecto profissional, Redsigma, e a sua razão de ser). No entanto, acho estranho que o autor apresente o tema como uma novidade, opte por fórmulas que há muito foram provadas como incorrectas, e não tenha feito qualquer referência a nomes como Shewart, Wheeler ou Deming.

Aqui no blogue sobre a variabilidade/variância podem ser consultados os marcadores associados a este postal.

Por fim, um exemplo sem esquizofrenia e a estória de um estagiário que queria ir longe na vida.

Cuidado com os limites

"It is still surprising how many people, from engineers to managers to quality professionals to technicians, possess limited understanding of product and process (manufacturing) limits.
.
These limits, applied to numerical measurements of key product quality characteristics, often drive behavior and actions as well as frustration for users and decision-makers. Operations can become dysfunctional when this lack of understanding produces further tightening of limits.
...
The differences between specification limits and control limits have been widely discussed since Walter Shewhart of Western Electric invented the process control chart in the mid-1920s. However, these differences seem to be poorly understood at all levels at many organizations and even among some quality professionals.
...
Let’s define specification limits. The general definition is limits within which a product would be expected to perform its stated and intended function for customer use. Specification limits, therefore, are related to product design. They should be set in the product design phase and effectively fixed for manufacture.
.
It might be surprising that some but not all organizations recognize this definition of specification limits. In one such organization the practice was to apply specification limits to averages of process results, thereby failing to acknowledge the application of specification limits to individual product units. Imagine the surprise when the new quality manager asked for the latest Cpk results and noticed Cpk values less than one!"

Claro que isto também dá para alguma batota.

Recuar a 2008 e recordar "SPC (parte III) - Cartas de controlo e especificações a combinação contra-natura (a explicação)"

Trechos recuados de "The Role of Specification Limits"

"e o noticiário seguinte já trazia as explicações para o sucedido"

Intro spc 1 from Carlos da Cruz

Maio de 2010, estava a trabalhar numa acção de formação em Controlo Estatístico do Processo, que teria lugar daí a alguns dias numa central termoeléctrica, quando o Twitter me alertou para o que se passava na Bolsa de Nova Iorque, uma quebra abrupta nas cotações.(slide 2) Liguei o rádio, e o noticiário seguinte já trazia as explicações para o sucedido (Trichet, Grécia e eleições inglesas) (slide 3) sorri porque já estou habituado a que nas empresas façam o mesmo, ficar pela camada superficial da cebola sem retirar as várias camadas, usando o porquê, e o porquê e ainda mais o porquê.
.
Já não recordo se foi nesse mesmo dia, ou nos dias seguintes que alguém apareceu com a explicação, um trader teria, por lapso, trocado milhões por bilhões. (slide 4)
.
Claro que aproveitei o episódio para animar a introdução da sessão de formação.
.
Cinco anos depois, aparece isto ""Trader" responsável pelo "flash crash" de 2010 preso em Londres"

Gráficos e sua análise

Ontem, o Jornal de Negócios, numa página intitulada "Há menos dinheiro e menos profissionais, mas são mais os utentes" apresentou uma série de gráficos.
.
Quatro desses gráficos são:

Olhemos primeiro para os gráficos de barras:

Um conselho: desconfiar sempre de gráficos de barras em que o eixo das ordenadas não começa em zero!
Comparar o 1º gráfico nas duas versões:

Um gráfico de barras não é para análise de tendências, para isso usa-se o gráfico de linha, o gráfico de barras serve para comparar barras entre si. O gráfico da direita esbate as diferenças.
A figura que se segue acentua ainda mais o efeito:

Olhemos agora para o 2º conjunto de gráficos:

Aquele título "Tempo de espera para cirurgia caiu em 2012" e o outro "Mortalidade infantil está a subir".
.
Será que caiu? Será que subiu?
.
Será que subiu de 2010 para 2011?
.
É a isto que chamo de esquizofrenia na análise, recordar "Não cairás na tentação da esquizofrenia analítica" e, sobretudo a esta apresentação:

Podemos entrar numa roda livre...

Um dos temas que abordo no final da formação sobre "Indicadores de Monitorização de Processos" encontra-se retratado no livro "Thinking, Fast and Slow" de Daniel Kahneman:

"Our predilection for causal thinking exposes us to serious mistakes in evaluating the randomness of truly random events.

...

"We are pattern seekers, believers in a coherent world, in which regularities ... appear not by accident but as a result of mechanical causality or of someone’s intention. We do not expect to see regularity produced by a random process, and when we detect what appears to be a rule, we quickly reject the idea that the process is truly random. Random processes produce many sequences that convince people that the process is not random after all. You can see why assuming causality could have had evolutionary advantages. It is part of the general vigilance that we have inherited from ancestors."

Deming chamava ao fenómeno "tampering" e a experiência do funil ilustra o seu efeito na inflação da variabilidade de um sistema.
.
Quando monitorizamos o desempenho de um sistema somos tentados a procurar explicações causais para variações perfeitamente aleatórias, logo, muito facilmente, podemos entrar numa roda livre, numa actuação esquizofrénica destinada a remover todo o sintoma de variação... contudo, a variação faz parte dos sistemas normais.
.
Por isso, recomendo o uso das cartas de controlo.

Interpretar as mensagens das cartas de controlo

Já aqui falamos várias vezes sobre o uso do SPC.
.
Constato que, por vezes, os utilizadores não tiram o máximo partido da interpretação das mensagens das cartas de controlo.
.
Consideremos um processo monitorizado, recorrendo a cartas de controlo do comportamento de um parâmetro considerado relevante:
Existem, qualquer livro sobre o SPC as menciona, várias mensagens que uma carta (qualquer que ela seja, a das amplitudes ou a das médias) pode transmitir para comunicar que algo de anormal está a ocorrer no processo, seguem-se as mais utilizadas.

.
Atenção, emboras as figuras que se seguem digam respeito à carta das médias, as mensagem também se aplicam à carta das amplitudes:

.
1 ponto fora dos limites
Sequência de 7 pontos acima ou abaixo da linha da média das médias
Sequência de 7 pontos a subir ou a descer

2 em 3 pontos consectivos situados a mais de 2 sigma de distância da média

Periodicidade

Estratificação

Consideremos, a título de exemplo, a primeira mensagem da lista acima de que algo de anormal se passa. Quando numa carta de controlo nos aparece um ponto fora dos limtes de controlo:

O que fazemos a seguir? O que devemos investigar?

.

Por que é que trabalhamos com uma carta das amplitudes e com uma carta das médias?

.

Consideremos um processo do qual retiramos duas amostras de hora-a-hora:

Relativamente à carta das médias podemos dizer:

Relativamente à carta das amplitudes podemos dizer:

Consideremos um processo:

A figura ilustra um processo simples em que as matérias-primas provenientes de um fornecedor são processadas por uma máquina operada por um operador por turno.

.

As cartas de controlo são colocadas a monitorizar um parâmetro no ponto beta.

.

O que nos diz a carta das amplitudes e o que nos diz a cartas das médias:

Assim, se a mensagem é a de que existe um ponto que ultrapassou os limites de controlo, então, em função da carta onde ela aparece podemos canalizar a nossa investigação para tópicos deste tipo:

.

Por exemplo, se a mensagem ocorre dentro de um subgrupo (carta das amplitudes) podemos pensar:

• Há erro de medição?
• Há diferentes lotes de matéria-prima misturados?
• Há diferenças entre cavidades do molde?

Mas se a mensagem ocorre entre subgrupos (carta das médias) podemos pensar:

• Houve mudança de lote?
• Houve mudança de trabalhador?
• O trabalhador está cansado?
• Houve mudança de método?
• A máquina avariou?

Para que isto funcione é importante não inflacionar a variabilidade dentro de um subgrupo, tal consegue-se evitando misturar na mesma amostra coisas que se sabem ser diferentes... se calhar este aviso também merecia um postal

Tiro o meu chapéu!!!

Quando se fala de imagem, propaganda, comunicação, marketing, ... há verdadeiros profissionais.

.

"Confiança dos consumidores e clima económico continuam a piorar em Fevereiro"

.

Atentemos nas séries cronológicas mensais - Consumidores - Indicador de confiança do INE e, construamos uma carta de controlo estatístico para a amplitude móvel e outra para o valor individual.

A carta de controlo da evolução do valor individual é que dá mensagens de sinais de mudança.
.

De Fevereiro a Setembro de 2009 o Índice de Confiança dos consumidores foi sempre a subir, a probabilidade de isso ser normal é inferior a 0,4%. Estatisticamente pode defender-se com alguma confiança que algo mudou a partir de Fevereiro de 2009... terão sido os aumentos da função pública? Terão sido...

.

Depois, entre Setembro e Outubro de 2009 não me recordo se houve algo de importante ou não... em Outubro atinge-se o pico. Novamente, os valores de Setembro e Outubro são estatisticamente muito altos, o que comprova a mudança ocorrida a partir de Fevereiro.

.

De Outubro para cá ... os números falam por si. Estranho é que se perca tempo a celebrar a subida de Dezembro para Janeiro e a carpir a descida de Janeiro para Fevereiro quando na realidade, estatisticamente nada mudou nesses meses.

.

Temos de concordar ... há profissionais na capacidade de ilusionar quando é preciso, quando é necessário.

Analisar resultados tem técnica, não é só olhar.

Já por várias vezes escrevi neste blogue sobre a monitorização e a esquizofrenia na análise de resultados:

• Uns dias são melhores que outros;
• Comportamentos, padrões... não, "happenings"; não, eventos; não, meteoros;
• Não cairás na tentação da esquizofrenia analítica

Pois bem, desta vez cito alguém na mesma linha de pensamento contra os semáforos: "Red-Yellow-Green Scorecards: Issues and Resolution":
.
"Red-yellow-green scorecards (dashboard) in the balanced scorecard and elsewhere can lead to significant unhealthy problems and firefighting. I know that this is contrary to what is currently being done."

Não praticarás a esquizofrenia analítica!!!

Depois de ouvir e ler tantos comentários sobre os dados publicados hoje pelo INE, relativamente ao Indice de Confiança, resolvi fazer o teste.
.
Resolvi ir ao sítio do INE e, com base nos dados dos últimos 12 meses, fazer uma carta de amplitudes móveis e outra de valores individuais:
Olhem para estas reacções:

• ""Estaremos, porventura, a chegar ao fim desta crise""
• "Teixeira dos Santos: “A crise aproxima-se do fim”" (neste caso, acho deliciosa a referência a César das Neves, o mesmo que há uns anos, depois de o ouvir cerca de uma hora a apresentar justificações para a evolução dos resultados de uma sondagem, me levou a aplicar a análise estatística a este tipo de dados... que provaram que tinham estado a dizer baboseiras pois estatisticamente não tinha havido qualquer alteração)

Conclusão: "Much Ado About Nothing"

Todo este frenesim deveria ter tido lugar em Fevereiro deste ano, não agora. Estatisticamente não há diferenças entre os últimos 4 meses. No entanto, alguma coisa aconteceu em Fevereiro e foi estatisticamente significativa, não foi um acidente.

Exemplo de acção preventiva (parte III)

Continuação da parte I.

.
A análise do comportamento do sistema, através de uma carta de controlo X-mR (valor individual - amplitude móvel), permitiu concluir que estamos perante um sistema estável que gera um tempo de paragem mensal médio em torno das 523 horas.

O objectivo da TALQUE é o de conseguir reduzir o tempo de paragem mensal a um valor inferior às 500h, aos olhos da empresa 523h é uma não conformidade, dado que a especificação não é cumprida, no entanto 523h (como valor médio) é um produto legítimo do sistema. Assim, se a TALQUE quer melhorar o desempenho só tem uma saída… mudar o sistema, para que o novo sistema possa gerar os resultados futuros desejados.

Onde actuar? Onde realizar as mudanças? Para que estas tenham o efeito desejado, reduzir o tempo de paragem para um valor inferior a 500h por mês.

Antes de cair na tentação de começar a fazer alterações por palpite, há que primeiro analisar os sintomas do problema, há que primeiro recolher dados sobre o problema e procurar recolher informação objectiva, pistas sobre o que tem acontecido.

Felizmente, os operadores da TALQUE já preenchiam diariamente uma “Ficha de Produção” onde registavam, através de um código de motivos, as justificações para cada paragem. Se tal não acontecesse, a TALQUE teria de conceber uma folha de registo e recolher dados durante um espaço de tempo representativo.

A equipa de melhoria procurou reduzir o âmbito do problema, através da análise dos seus sintomas, das suas manifestações. Assim, procurou responder à questão “Quais os principais motivos de paragem?”, reparem motivo e causa não são bem a mesma coisa. Ou, na linguagem da filosofia que o meu pai aprendeu nos anos cinquenta do século passado, os motivos são as causas próximas, as causas que queremos remover para melhorar um sistema são as causas remotas, as causas que geram os motivos.Com base nesta informação a TALQUE desenhou o seguinte diagrama de Pareto:

Que conclusões se podem tirar? Quais os sintomas “poucos vitais”?

.

Foi Juran quem introduziu o diagrama de Pareto no mundo da qualidade, uma ferramenta com o propósito de isolar, de distinguir o essencial do acessório.

Exemplo de acção preventiva (parte I)

Quando realizo auditorias a organizações com sistemas de gestão da qualidade certificados, segundo os requisitos decorrentes da ISO 9001, uma das falhas sistemáticas que encontro tem a ver com as acções correctivas e as acções preventivas.

.

Muitas organizações confundem acções correctivas e preventivas com correcções.

.

Vamos apresentar um exemplo que pretende ilustrar as diferentes etapas que têm de ser, ou devem ser, percorridas para que se desenvolvam acções correctivas ou preventivas eficazes, bem como fazer referência a algumas ferramentas que podem ajudar a trabalhar a informação existente.

.

Consideremos então o caso da TALQUE.

A TALQUE é uma empresa que se dedica à injecção de peças plásticas para clientes que detêm a posse dos moldes e a concepção das peças.
Os clientes da TALQUE, são clientes muito exigentes que esperam dos fornecedores: um preço muito competitivo, o cumprimento rigoroso dos prazos de entrega e entregas sem defeitos.
.
Para alinhar a empresa, para a concentrar no que é importante para satisfazer este tipo de clientes, a gestão de topo da TALQUE desenvolveu o Balanced Scorecard que se apresenta a seguir.

Figura 1. Balanced Scorecard completo da TALQUE: Mapa da estratégia, indicadores, metas e iniciativas estratégicas
.

Os indicadores apresentados na figura 1 são os chamados indicadores estratégicos, os indicadores relevantes para a monitorização do desempenho da organização, tendo em conta o cumprimento da sua estratégia.
.
Seleccionemos o indicador “tempo de paragem”, associado ao objectivo “baixar os custos unitários de produção”.

Ao analisar as práticas de monitorização de muitas empresas, deparamos sistematicamente com algumas situações que devemos procurar evitar:

.
1. Olhar só para o último número, um resultado, como se fosse um autêntico evento isolado em vez de olhar para a evolução dos resultados ao longo do tempo, para autênticos padrões de comportamento do sistema. Quando se olha só para um número, não há mais nada a fazer, já aconteceu, é passado… só resta corrigir, apagar o fogo.

.
2. Olhar para os números sem os compararmos com um critério de sucesso claro e transparente também é de evitar. Quando existe uma especificação, sabemos se estamos bem ou não. Sem uma especificação inequívoca é sempre possível “tornear”, a realidade à medida dos interesses.

.
3. Olhar para números, para tabelas, em vez de olhar para gráficos não dá tanta informação. Um gráfico, uma imagem, é mais poderoso que mil palavras.
.
Quando olhamos para uma sequência de resultados representados num gráfico, o que interessa é olhar para o todo, olhar para a evolução, ver cada um dos resultados como uma emanação do sistema existente.

Figura 2. Evolução mensal do tempo de paragem (indicador do Balanced Scorecard)

.
O gráfico da figura 2 descreve a evolução temporal do indicador “tempo de paragem” ao longo de vários meses. Para perceber melhor o que se passou ao longo do ano e como se justifica a evolução do indicador, podemos apôr sobre o gráfico alguma informação relevante.

Figura 3 Explicação da evolução do tempo de paragem

.

No inicio do ano, o tempo de paragem rondava as 1100/1000 horas mensais. A meta seleccionada foi a de chegar ao final do ano com não mais de 500 horas de paragem por mês.

Para atingir essa meta, foi formulada uma iniciativa:
· numa primeira fase procurou-se aumentar o número de encomendas, dado que a maior parte do tempo de paragem era motivado por falta de encomendas (a empresa não produz para a prateleira, produz para responder a encomendas);
· numa segunda fase, a iniciativa propunha reduzir os tempos de paragem conseguindo completar os turnos com pessoal competente, capaz de operar as máquinas (o segundo motivo de paragem era a falta de pessoal).

A figura 3 ilustra o efeito do desenvolvimento das iniciativas na evolução do resultado. De Maio em diante, o tempo de paragem estabilizou em torno das 520 horas de paragem por mês. Como o objectivo a atingir é o de baixar das 500 horas de paragem por mês, há ainda melhorias que têm de ser conseguidas.

.

Que se pode dizer da evolução mensal do tempo de paragem?
.
Desenhando uma carta de controlo podemos fugir ao risco da esquizofrenia na análise de resultados.As cartas de controlo evidenciam um sistema sob controlo estatístico!
.
Qual o passo seguinte que sugere?

.

Continua

Não cairás na tentação da esquizofrenia analítica

Já percebi onde é que cometi o meu erro neste postal O problema deve ser meu...
.
O meu erro foi o de confiar nos jornalistas!
.
Apercebi-me do erro ontem, ao ler esta crónica de Peres Metelo no DN "Um plano, mais tarde ou mais cedo".
.
O que diz Peres Metelo?
.
"O indicador de confiança dos consumidores, depois de uma queda, cinco meses a fio, entre os -37,9 em Novembro de 2007 e os -42,9 em Março último, dá um salto positivo para -33,4 em Abril. "
.
Ok, mas quais são os números do INE?
Pelo texto de Peres Metelo percebo que ele se está a referir às médias móveis de 3 meses, não percebo é de onde é que ele desencantou o valor de Abril igual a -33.4?!
.
Mas voltemos ao meu erro. O meu erro foi o de me deixar embalar na esquizofrenia da análise de resultados como happenings (não há acasos) e esquecer o padrão de comportamento, e esquecer a estatística.
.
Mês após mês os resultados variam, umas vezes para cima, outras vezes para baixo. Variabilidade existe sempre.
A pergunta certa é: A variabilidade é sinal de ruído? (ou seja variação aleatória). Ou é sinal de mudança? (ou seja, variação significativa).
.
A forma de responder à pergunta é elaborar uma carta de controlo para valores individuais. A primeira para testar a hipótese de variabilidade controlada (só variação aleatória)
E a segunda para testar o controlo da variabilidade da média.

Ambas as cartas ilustram um sistema em controlo estatístico.
Ou seja, podemos afirmar com uma elevada dose de segurança que, muito provavelmente, os valores do Índice de Confiança (IC) nos últimos 6 meses pertencem a um mesmo universo, não houve nem melhoria nem deterioração da confiança.
.
Defender que a confiança baixou de Dezembro de 2007 para Janeiro de 2008, ou que aumentou de Março de 2008 para Abril de 2008 não tem qualquer suporte estatístico!!!
.
É como o exemplo das bolas desta apresentação:

View Upload your own

... acreditar que de tiragem para tiragem o saco cria, ou destrói bolas verdes.

Uns meses são melhores que outros e pouco mais...

Na sequência deste postal, resolvi analisar os dados e testar a validade das conclusões.


De acordo com este documento publicado pelo INE “Inquéritos de Conjuntura às Empresas e aos Consumidores” pode ler-se:

“Indicador de clima e indicador de confiança dos Consumidores diminuíram em Agosto”

Estatisticamente não sou capaz de suportar esta afirmação, elaborando uma carta do comportamento estatístico da evolução do índice de confiança dos consumidores, para a variabilidade e a média desde Agosto de 2006, não há nenhum regra de leitura das cartas de Shewhart que me habilite a concluir ter havida mudanças estatísticas no último ano. Se não fosse o valor de Maio de 2007 estar acima da média, teríamos uma série de 7 valores consecutivos abaixo da média, o que seria suficientemente improvável, para continuar a defender a hipótese de que nada mudou, mas não foi essa a realidade.

Os comentadores podem aventar as mais diversas explicações, algumas intelectualmente atraentes, outras esteticamente interessantes, mas quantas vezes são irrelevantes, porque não distinguem sinal de mudança, de ruído estatístico de fundo.

Pormenores sobre a metodologia aqui, aqui e aqui.

Analisar a evolução dos resultados

Depois de uma organização ter seleccionado um conjunto de indicadores e constituído o seu Balanced Scorecard, inicia-se a fase da monitorização.

Procuro sempre convencer as organizações a utilizarem o controlo estatístico do processo (carta de controlo para valores individuais e amplitude móvel) para auxiliar a análise da evolução dos resultados e perceber a existência de mensagens relevante, bem como ignorar o ruído da varição subjacente.

Este artigo dá uma rápida ideia do que está em causa, comparar a Figura 1 com a figura 3... para lá dos eventos e da sua sucessão, descobrir os padrões de variação que se escondem.