A pergunta única não é termômetro

A clínica dispara a pesquisa. Uma pergunta, escala de 0 a 10, resposta em dois toques. Na segunda-feira o número está no grupo da equipe, e o número é bom.

Ele quase sempre é.

As fontes deste artigo foram publicadas entre 2002 e 2022, e o que elas medem é outra coisa. A nota da pesquisa mede quem respondeu, e quem respondeu não é a sua agenda. Este blog já mostrou de que a avaliação pública é feita; aqui a pergunta é outra: o que a pesquisa que a própria clínica manda consegue medir.

A pergunta nasceu numa revista de gestão

O Net Promoter Score foi apresentado por Frederick Reichheld num artigo da Harvard Business Review de dezembro de 2003 (The One Number You Need to Grow). A conta é conhecida: pergunte numa escala de 0 a 10 a probabilidade de recomendar, chame de promotor quem responde 9 ou 10, de neutro quem responde 7 ou 8, de detrator quem responde de 0 a 6, e subtraia a porcentagem de detratores da porcentagem de promotores.

O artigo descreve a base de onde isso saiu, e vale ler com atenção porque são dois estudos diferentes. No primeiro, cerca de 20 perguntas de um questionário do próprio autor foram aplicadas a consumidores de seis setores; com informação de mais de 4.000 clientes saíram 14 estudos de caso, e a pergunta da recomendação ficou em primeiro ou segundo lugar em 11 deles. Esse teste mede o comportamento do cliente, compra repetida e indicação, e não o crescimento da empresa.

O segundo estudo é o que virou a promessa. A nota foi coletada em mais de 400 empresas, mas o cruzamento com crescimento só aconteceu onde havia dado de receita comparável: cerca de 50 empresas, numa dúzia de setores. O texto diz que existia forte correlação nas aéreas.

O artigo não publica um único coeficiente. Nenhuma correlação, nenhum R quadrado, nenhum valor de p, nenhuma tabela. O que ele publica são três gráficos de dispersão, e Keiningham e colegas contaram os pontos deles: três empresas, cinco empresas e dez empresas. Nos outros nove setores da amostra, a média cai para menos de quatro empresas por setor.

Duas coisas mais ficam de fora do resumo que circula. A primeira é a declaração do próprio autor, no mesmo texto: a pergunta não foi a melhor em todo caso, e ele nomeia software de banco de dados, sistemas de computador, telefonia local e televisão a cabo. A segunda é quem assinava. Reichheld é da Bain, o trabalho foi feito com a Satmetrix, em cujo conselho ele diz servir, e até hoje o NPS é marca registrada dessas três partes.

Quando tentaram repetir, não repetiu

Timothy Keiningham, Bruce Cooil, Tor Wallin Andreassen e Lerzan Aksoy pegaram o barômetro nacional de satisfação da Noruega, isolaram as empresas com dois anos ou mais de série e refizeram a conta pelo mesmo método (Journal of Marketing, 2007). Vinte e uma empresas, mais de 15.500 entrevistas, períodos de 2000 a 2005; cinco setores tinham firmas bastante para a conta, e cobriam 17 das 21 empresas.

A tabela principal não tem nenhuma correlação significativa. Nem a do NPS, nem a de nenhuma das outras dez métricas de satisfação e lealdade que eles testaram junto. Desses cinco setores, só dois tinham observações bastante para o teste de significância, bancos e postos de gasolina, e em nenhum dos dois o p desceu de 0,05.

Os autores foram além e reconstruíram os gráficos que o próprio livro do NPS publica, para três setores americanos que o índice americano de satisfação também acompanha. Em dois dos três, o índice de satisfação comum explicou mais o crescimento do que o NPS. Somando isso aos quatro setores que o artigo de 2003 já admitia, de uma dúzia examinada, o balanço dos autores é que em metade deles o NPS não era o melhor previsor. A promessa era ser o melhor previsor, e é essa promessa que a réplica não encontra.

Em julho de 2006 Reichheld respondeu às críticas no blog do próprio método (Questions about NPS, and Some Answers). Perguntado se as correlações entre crescimento e NPS são confiáveis, ele concede o núcleo da crítica: a evidência estatística do livro é imperfeita, não prova conexão causal entre a nota e o crescimento, e algumas das janelas de tempo não são ideais. Depois vem o fecho.

Nós apenas quantificamos esse senso comum de um jeito que fizesse sentido para líderes de negócio, que é o público do meu livro. Esses líderes práticos têm pouco interesse em métodos estatísticos avançados. [...] Francamente, vemos pouco valor em continuar o debate sobre causa contra correlação, janelas de tempo ou métodos estatísticos.

Quinze anos depois a concessão ficou maior. Em Net Promoter 3.0, Reichheld, Darci Darnell e Maureen Burns escrevem que notas autodeclaradas e leituras erradas do método semearam confusão e diminuíram a credibilidade dele, que parte das empresas transformou a nota em estatística de vaidade, e listam o que veem em campo: súplica, suborno e manipulação (Harvard Business Review, 2021). A saída que eles propõem é pôr um número contábil auditado ao lado da pergunta.

A versão que a clínica consegue rodar é a que não previu

Sven Baehre, Michele O'Dwyer, Lisa O'Malley e Nick Lee voltaram ao teste com dados de sete marcas americanas de artigo esportivo, 19 trimestres e 193.220 avaliações (Journal of the Academy of Marketing Science, 2022). Eles separaram duas versões da mesma métrica: a de lealdade, que pergunta a quem já é cliente, e a de saúde de marca, que pergunta a todo cliente potencial do mercado, inclusive a quem nunca comprou.

Só uma das duas previu crescimento, e não foi a primeira. Na versão de cliente, o coeficiente foi de 0,159 para o nível da métrica e 0,189 para a variação dela, nenhum dos dois significativo. Na versão de mercado o nível também não previu nada, 0,012, e o que previu foi a variação: 1,458, com p abaixo de 0,01.

A clínica só tem como perguntar a quem já é paciente. É exatamente o recorte em que a métrica não previu nada, nos dois modelos testados. Quem ainda não é paciente decide por outro caminho, que este blog já mediu em como o paciente escolhe a clínica.

Em saúde, a revisão não achou validação do NPS

Corey Adams, Ramesh Walpola, Anthony Schembri e Reema Harrison varreram cinco bases em maio de 2021 atrás de todo estudo revisado por pares que avaliasse o uso do NPS em saúde (Health Expectations, 2022). Foram 468 registros na busca e 12 estudos no fim, dez deles britânicos.

A conclusão é curta: a métrica não foi validada para uso em saúde, e o rigor do seu uso, incluindo validade e confiabilidade, permanece incerto. A revisão não calcula nenhuma correlação, porque não havia o que agrupar.

Dezoito anos depois da estreia, a busca que fecha essa revisão não achou validação no setor que transformou a pergunta em política pública. O próprio sistema público inglês, que a adotou em escala nacional, trocou a pergunta de recomendação por uma de avaliação geral.

Um dos estudos que ela reúne é de Tommaso Manacorda, Bob Erens, Nick Black e Nicholas Mays, que entrevistaram 118 pessoas em 42 consultórios ingleses sobre a versão do NPS adotada pelo sistema público (British Journal of General Practice, 2017). Em quatro dos 42 consultórios alguém falou bem da ferramenta. Em um único consultório alguém deu exemplo de melhoria que tivesse saído dela.

Os consultórios do estudo coletavam mais respostas que a média inglesa, ou seja, eram mais engajados que quem não participou. Os autores registram que o resultado talvez superestime o apoio à ferramenta.

A nota mal varia, então não separa nada

Rebecca Lawton, Jane Kathryn O'Hara, Laura Sheard, Caroline Reynolds, Kim Cocks, Gerry Armitage e John Wright mediram 33 enfermarias de cinco hospitais ingleses entre maio e julho de 2013, com 822 pacientes e 648 profissionais (BMJ Quality & Safety, 2015). Cruzaram três instrumentos com o indicador oficial de cuidado sem dano da enfermaria.

A medida específica, que pergunta ao paciente sobre a segurança do cuidado, correlacionou 0,58 com o dano evitado. A avaliação da equipe sobre cultura de segurança, 0,54. A pergunta de recomendação ficou onde ficou.

São 33 enfermarias, e nessa amostra o limiar de significância fica perto de 0,34: o 0,29 passou perto. O achado que não depende disso está na mesma tabela. A média da pergunta de recomendação foi 4,38 numa escala de 1 a 6, com desvio padrão de 0,25. Quase não há variação para correlacionar com coisa nenhuma, e os autores nomeiam isso: pergunta de satisfação sofre efeito teto porque o paciente responde bem de forma consistente.

Troque o texto da pergunta e a nota muda

Cindy Nguyen, Joost Kortlever, Amanda Gonzalez, David Ring, Laura Brown e Jason Somogyi sortearam 212 pacientes de quatro consultórios de ortopedia entre cinco versões de pergunta única de satisfação (Journal of Patient Experience, 2020). Mesmos consultórios, mesmo período, pacientes sorteados. Só o texto e a escala mudavam.

A pergunta que pedia utilidade da consulta, na mesma escala de 0 a 10, deu 44 e teve o menor efeito teto, com 29%. Trinta e dois pontos de diferença sem que o atendimento mudasse um minuto.

O canal também mexe no número

Marc Elliott, Alan Zaslavsky, Elizabeth Goldstein, William Lehrman, Katrin Hambarsoomians, Megan Beckett e Laura Giordano sortearam, no começo de 2006, 27.229 altas de 45 hospitais americanos entre quatro modos de coleta: carta, telefone, sistema de voz e carta com telefone depois (Health Services Research, 2009). Dentro de cada hospital, um quarto dos pacientes para cada modo. Dos 24.617 elegíveis, responderam 7.555.

As taxas de resposta já separam os modos: 42% no misto, 38% na carta, 27% no telefone, 21% no sistema de voz. A nota separa mais.

Os autores comparam esse deslocamento com o ajuste por perfil de paciente, que é o que todo mundo teme, e o efeito do canal é maior. O envelope mexe mais na nota do que o tipo de paciente que a respondeu. Michael Anastario e colegas acharam efeito de modo também em atenção primária, entregando o questionário na recepção em vez de mandar pelo correio: 2,1 pontos a mais na média, e o ranking dos médicos mudava de lugar conforme o modo (Health Services Research, 2010).

A pesquisa perde o paciente do meio

Thomas Perneger, Isabelle Peytremann-Bridevaux e Christophe Combescure analisaram 717 pesquisas de satisfação feitas entre 2011 e 2015 em 164 hospitais suíços, com 166.014 respondentes (BMC Health Services Research, 2020). A nota média das pesquisas foi 9,15 numa escala de 0 a 10, variando de 8,36 a 9,79.

Eles modelaram a chance de responder em função da satisfação, e a curva não é reta. Quem daria nota de 3 a 7 responde em torno de 20% das vezes. Quem daria a nota máxima responde perto de 70%. O insatisfeito extremo também responde mais que o morno.

O viés é maior justamente onde a nota é pior. O hospital de nota baixa tem mais gente na faixa que se cala, então a distância entre a clínica boa e a clínica ruim encolhe na medição. Os próprios autores dizem que isso pode induzir complacência em quem está no fim da fila.

Existe contraevidência, e ela é grande. Martin Roland e colegas analisaram 2.163.456 respostas de 8.273 consultórios ingleses e acharam correlação de 0,34 entre taxa de resposta e uma das duas perguntas de acesso que disparavam pagamento, 0,15 na outra. As duas sumiram quase por inteiro quando o perfil demográfico do consultório entrou no modelo (BMJ, 2009). Parte do que parece viés de resposta é o bairro.

Dez respostas não formam uma nota

Kathleen Mazor, Brian Clauser, Terry Field, Robert Yood e Jerry Gurwitz pegaram as avaliações de 82 médicos por 6.681 pacientes num plano de saúde de Massachusetts e perguntaram quantas respostas uma nota de médico precisa para ser confiável (Health Services Research, 2002). A taxa de resposta geral foi de 32%, e por médico ia de 11% a 55%.

A conta mais recente é pior. Joshua Fenton e colegas mediram 1.319 consultas de 56 médicos de uma clínica-escola de medicina de família, 45 deles residentes, e acharam que, depois de descontar o que é do paciente e não do médico, sobram 3,4% de variação atribuível a quem atendeu (Journal of General Internal Medicine, 2017). Nessa conta, seriam necessárias 66 respostas por médico para chegar a 0,70, e 255 para chegar a 0,90. Entre os 56 médicos, oito trocaram de faixa entre os quartis extremos e o meio, conforme o ajuste.

Vale fazer a conta com a sua agenda. Um profissional que atende 120 pacientes por mês, pesquisando todos eles, junta 38 respostas por mês à taxa de 32% que o estudo de Massachusetts mediu: são pouco mais de dois meses e meio até as cem. Com 60 pacientes por mês, cinco meses. E aquela taxa variou de 11% a 55% entre médicos: na ponta de baixo, os mesmos 120 pacientes levam quase oito meses.

A nota de um profissional é um número trimestral, e a clínica lê como se fosse semanal. A conta acima supõe duas coisas: que a clínica pergunta a todo mundo que passa, e que a taxa de resposta dela é a de uma pesquisa postal de plano de saúde americano. Se a sua for menor, o prazo estica na mesma proporção.

A pergunta que discrimina é outra

Chris Salisbury, Marc Wallace e Alan Montgomery decompuseram a variação de quatro medidas em 4.573 pacientes, 150 médicos e 27 consultórios ingleses, para saber quanto de cada nota é do consultório, quanto é do médico e quanto é do paciente (BMJ, 2010).

Na satisfação geral, 93,9% da variação está no paciente e no erro aleatório. No prazo para conseguir consulta, 79,1%, e aí o consultório aparece. Perguntar como foi rende opinião; perguntar o que aconteceu rende medida. É a mesma lógica da régua que este blog já usou para medir a espera pelo relógio do paciente.

No Brasil, o número grande é de quem vende o método

A Bain e a Anahp mediram o NPS de 13.984 pacientes em 18 hospitais privados brasileiros e publicaram o resultado em 2016 (Satisfação do paciente nos hospitais privados brasileiros). O NPS médio deu 59, com dispersão de 24 a 87 entre hospitais, e o pronto-socorro apareceu como o pior serviço, com mínimo de menos 14. O relatório imprime esses valores com sinal de porcentagem, que o NPS não tem.

O relatório também traz um R quadrado de 0,73 entre o NPS ajustado do hospital e o crescimento do número de atendimentos. Vale ler o eixo do gráfico antes de usar o número: o NPS foi medido em 2016 e o crescimento é de 2013 a 2015. A métrica está sendo comparada a um crescimento que já tinha acontecido, que é a falha metodológica que Keiningham e colegas apontam nas medições anteriores à deles.

E a justificativa que o próprio documento dá para a superioridade do método aparece noutra página, com outro número: uma correlação de 73% contra 43% da segunda melhor métrica. A nota de rodapé desse número aponta para o artigo da Harvard Business Review de 2003. A cadeia fecha em si mesma: a consultoria que detém a marca cita o artigo do próprio sócio como prova.

A medição acadêmica brasileira que encontramos é do serviço público. Tobias Kfoury aplicou o NPS a 355 usuários das unidades básicas de Nova Lima, em Minas Gerais, e achou 67,3 no conjunto, com unidades pontuando 100 (dissertação, UFMG, 2021). Os questionários foram aplicados presencialmente, logo depois do atendimento, que é dos modos que mais inflam a nota nos estudos citados aqui.

O que fazer com isso na segunda-feira

• Pare de comparar a sua nota com a de fora. Não há como saber se o número do concorrente saiu da mesma pergunta, do mesmo canal e do mesmo momento. A revisão sistemática de 2022 diz isso com todas as letras: a evidência não sustenta o uso do NPS para comparar prestadores.
• Congele a pergunta, o canal e o momento. Se algum dos três mudar, a série quebra e você vai comemorar ou sofrer por causa de uma troca de formulário. Mudou algum, marque a data e trate o antes e o depois como duas séries.
• Não peça a nota na recepção, olhando para a pessoa. Em 188 clientes de duas clínicas de Mumbai, a média caiu de 9,52 na entrevista para 8,69 na urna, só por deixar a pessoa responder sozinha (Global Health: Science and Practice, 2018). A nota da urna é a menos contaminada das duas, e nenhuma das duas é a nota da clínica.
• Troque a pergunta de opinião por uma de fato. Quanto tempo levou para conseguir esta consulta. Ligaram de volta. Quanto tempo esperou na sala. São perguntas que distinguem clínicas, e a de satisfação geral quase não distingue.
• Nunca ranqueie profissional com poucas respostas. Com dez respostas por médico, a confiabilidade fica em 0,31, e isso num questionário de 11 itens, não numa pergunta só. Abaixo de cem respostas por profissional a nota não alcança o patamar de 0,80, e o número serve para conversar, nunca para pagar bônus ou decidir escala. Este blog já mostrou o que o bônus faz com o número que ele mede.
• Leia o comentário, não o placar. Na revisão de 2022, o campo aberto é preenchido por mais de três quartos de quem responde, e foi apontado como benéfico em 4 dos 12 estudos, o componente mais útil que ela encontrou. O número diz que algo aconteceu; o texto diz o quê.

O que essa evidência não diz

Nada aqui diz que perguntar ao paciente é perda de tempo.

• Nem toda réplica achou o vazio da norueguesa. Jenny van Doorn, Peter Leeflang e Marleen Tijs mediram 46 empresas holandesas com 11.967 respostas e concluíram que o NPS não é superior nem inferior às outras métricas: todas previram igualmente bem o crescimento do ano corrente e igualmente mal o do ano seguinte (International Journal of Research in Marketing, 2013). O que a evidência derruba é a promessa de superioridade, não a pergunta.
• Quase toda a evidência é de hospital grande, sistema público estrangeiro ou setor de consumo. Não encontramos, em busca no SciELO, no Google Acadêmico e em repositórios universitários brasileiros, nenhum estudo revisado por pares que ligue nota de satisfação a resultado financeiro de clínica pequena. A base de dados brasileira da área da saúde da BVS não abriu para a nossa busca automatizada e ficou fora da varredura.
• O estudo das cinco perguntas tem 212 pacientes divididos em cinco grupos, ou seja, cerca de 40 por versão, e os autores dizem que não validaram formalmente nenhuma das escalas.
• O deslocamento de 41 percentis do experimento americano é de um item só, o controle da dor, no modo telefone. Na nota de 0 a 10 do hospital, nenhum modo se separou da carta com significância, embora o teste conjunto de modo tenha dado significativo para os dois itens globais.
• O relatório brasileiro de 2016 é de consultoria, não passou por revisão por pares, e declara robustez com intervalo de confiança de 80%, mais largo que o padrão de 95% da literatura citada aqui.

Perguntas rápidas

O NPS funciona para clínica?

Como placar comparável, não. Uma revisão sistemática de 2022 varreu cinco bases, achou 12 estudos e concluiu que a métrica não foi validada para uso em saúde e que sua validade e confiabilidade permanecem incertas. Como conversa interna, com o campo de comentários aberto, ela ainda rende.

Qual é um bom NPS para clínica médica?

As tabelas que circulam no setor põem de 75 para cima como zona de excelência. O número depende da pergunta: num ensaio com 212 pacientes dos mesmos consultórios, o NPS variou de 44 a 76 conforme a versão sorteada, e a versão que deu 76 é justamente a de maior efeito teto. Sem saber a pergunta e o canal do número alheio, comparar é comparar formulários.

Quantas respostas eu preciso para confiar na nota?

Para comparar profissionais, cerca de cem. Com dez respostas por médico num questionário de 11 itens, a confiabilidade medida foi de 0,31; com cinquenta, 0,69; com cem, 0,81. Com uma pergunta só é pior. Num estudo de 2017 com ajuste mais fino, foram necessárias 66 respostas por médico só para chegar a 0,70.

Por que a nota da minha clínica quase sempre é alta?

Porque quem está no meio termo não responde. Em 717 pesquisas suíças, a chance de responder ficou perto de 20% para quem daria nota de 3 a 7 e perto de 70% para quem daria a nota máxima. A média observada foi 9,15, e a projetada para participação total é menor.

O que perguntar no lugar?

Perguntas de fato, sobre o que aconteceu na visita. Numa decomposição de 4.573 pacientes ingleses, só 4,6% da variação da nota de satisfação geral ficava no nível do consultório, contra 20,2% da variação da pergunta sobre o prazo para conseguir uma consulta. O prazo até a vaga, o retorno de ligação e a espera na sala são medidas que a clínica consegue mexer.

Referências

1. Reichheld, F. F. The one number you need to grow. Harvard Business Review, 2003.
2. Reichheld, F. F. Questions about NPS, and some answers. Net Promoter blog, 2006 (via Internet Archive).
3. Reichheld, F. F.; Darnell, D.; Burns, M. Net Promoter 3.0. Harvard Business Review, 2021.
4. Keiningham, T. L. et al. A longitudinal examination of net promoter and firm revenue growth. Journal of Marketing, 2007.
5. Baehre, S. et al. The use of Net Promoter Score (NPS) to predict sales growth: insights from an empirical investigation. Journal of the Academy of Marketing Science, 2022.
6. Adams, C. et al. The ultimate question? Evaluating the use of Net Promoter Score in healthcare: a systematic review. Health Expectations, 2022.
7. Manacorda, T. et al. The Friends and Family Test in general practice in England: a qualitative study of the views of staff and patients. British Journal of General Practice, 2017.
8. Lawton, R. et al. Can staff and patient perspectives on hospital safety predict harm-free care? BMJ Quality & Safety, 2015.
9. Nguyen, C. et al. Attempts to limit censoring in measures of patient satisfaction. Journal of Patient Experience, 2020.
10. Elliott, M. N. et al. Effects of survey mode, patient mix, and nonresponse on CAHPS Hospital Survey scores. Health Services Research, 2009.
11. Anastario, M. P. et al. A randomized trial comparing mail versus in-office distribution of the CAHPS Clinician and Group Survey. Health Services Research, 2010.
12. Perneger, T. V.; Peytremann-Bridevaux, I.; Combescure, C. Patient satisfaction and survey response in 717 hospital surveys in Switzerland. BMC Health Services Research, 2020.
13. Roland, M. et al. Reliability of patient responses in pay for performance schemes. BMJ, 2009.
14. Mazor, K. M. et al. A demonstration of the impact of response bias on the results of patient satisfaction surveys. Health Services Research, 2002.
15. Fenton, J. J. et al. Reliability of physician-level measures of patient experience in primary care. Journal of General Internal Medicine, 2017.
16. van Doorn, J.; Leeflang, P. S. H.; Tijs, M. Satisfaction as a predictor of future performance: a replication. International Journal of Research in Marketing, 2013.
17. Salisbury, C.; Wallace, M.; Montgomery, A. A. Patients' experience and satisfaction in primary care: secondary analysis using multilevel modelling. BMJ, 2010.
18. Koladycz, R. et al. The Net Promoter Score (NPS) for insight into client experiences in sexual and reproductive health clinics. Global Health: Science and Practice, 2018.
19. Fiorentino, G. et al. Satisfação do paciente nos hospitais privados brasileiros. Bain & Company e Anahp, 2016.
20. Kfoury, T. Avaliação da satisfação do usuário na atenção primária à saúde por meio da ferramenta Net Promoter Score. Dissertação, UFMG, 2021.