A conversa da entrevista prevê quase nada

A vaga é de recepção. Chegaram onze currículos, você chamou quatro, conversou quarenta minutos com cada uma e escolheu a terceira. Ela chegou no horário, respondeu tudo, olhou no olho.

Quase toda clínica contrata assim.

A psicologia de seleção mede quanto essa conversa vale há um século: o resumo de referência da área, de 1998, se apresenta no subtítulo como “85 anos de achados de pesquisa”. Em 2022, quatro pesquisadores foram conferir as contas da própria área e puxaram para baixo os números que ela vinha publicando havia 24 anos. As fontes deste artigo foram publicadas entre 1987 e 2022. A conversa da entrevista prevê alguma coisa, e prevê tão pouco que existe faixa plausível em que ela não prevê nada.

Este blog já mediu o que custa a saída de quem atende e já mostrou o que acontece quando o telefone da clínica não é atendido. Os dois textos terminam na mesma cadeira. Este aqui é sobre quem senta nela, e sobre como essa pessoa entra.

Em 24 anos, a entrevista teve três números

Validade, no vocabulário da área, é uma correlação: o quanto a nota que o candidato tirou na seleção anda junto com a avaliação de desempenho que ele recebeu depois de contratado. Vai de 0 a 1, e nenhum método de seleção chega perto de 1.

O resumo de 1998, de Frank L. Schmidt e John E. Hunter, deu 0,51 à entrevista estruturada e 0,38 à entrevista solta, aquela em que cada entrevistador pergunta o que quiser, na ordem que quiser. Os dois números viraram manual.

Em 2016, Schmidt voltou ao assunto com In-Sue Oh e Jonathan A. Shaffer, num documento de trabalho que esticava o resumo para 100 anos de pesquisa. Com um método novo de correção, os dois tipos de entrevista empataram em 0,58: a conversa solta tinha alcançado a estruturada. Os próprios autores avisaram, na mesma página, que aquele valor era frágil, e que ele cairia se as estimativas de confiabilidade da entrevista solta subissem.

Caiu.

Em 2022, Paul R. Sackett, Charlene Zhang, Christopher M. Berry e Filip Lievens publicaram no Journal of Applied Psychology uma revisão do jeito como a área vinha corrigindo esses números. A correção de restrição de amplitude, que existe para compensar o fato de que só quem foi contratado tem desempenho medido, estava sendo aplicada com premissas que inflavam tudo. A entrevista estruturada foi para 0,42. A solta, para 0,19.

Reconhecemos que nós mesmos usamos essas abordagens de forma equivocada em nossas pesquisas, as citamos em estudos anteriores e as ensinamos aos nossos alunos.

A mesma conversa de quarenta minutos valeu 0,38 em 1998, 0,58 em 2016 e 0,19 em 2022, sem que nada tivesse mudado na conversa. O que mudou foi a conta.

A faixa da conversa encosta no zero

Média de meta-análise esconde variação, e a tabela de 2022 publica a variação ao lado da média. Para cada método ela traz o desvio padrão das validades e o pé da faixa de 80% de credibilidade: o valor acima do qual se espera que fiquem 90% das validades reais. Sai de uma conta curta, a média menos 1,28 vez o desvio.

Na entrevista estruturada, 0,42 com desvio de 0,19 dá 0,18 no pé. Na entrevista solta, 0,19 com desvio de 0,16 dá -0,01.

Existe uma faixa plausível em que a conversa solta não separa candidato nenhum, e a conta põe essa faixa em uma situação a cada dez, não em uma a cada mil. Ninguém consegue saber, de dentro da sala, se a clínica dele caiu nessa faixa.

O que 0,42 não quer dizer

Não quer dizer 42% de acerto: correlação não é taxa de acerto. Traduzir uma na outra exige coisas que a meta-análise não carrega: quantos candidatos você tem por vaga, quantos deles dariam certo de qualquer jeito e o que a sua clínica chama de dar certo. A revisão de 2022 não publica taxa de acerto nenhuma, e este texto também não vai publicar.

Também não quer dizer que alguém tenha visto 0,42 numa clínica. Os 0,42 e os 0,19 são médias ponderadas de duas meta-análises de entrevista, uma de 1994 e outra de 2014, depois de recorrigidas pelos autores de 2022. Antes de qualquer correção, as correlações observadas nos estudos foram 0,28 e 0,21 na primeira, e 0,36 e 0,13 na segunda.

A entrevista não foi a única a encolher. A média dos cinco métodos mais fortes do resumo de 1998 era 0,49; a dos cinco mais fortes de 2022 é 0,37. Teste de habilidade cognitiva caiu de 0,51 para 0,31. Prova de trabalho, de 0,54 para 0,33. “Gostaríamos de trazer notícia melhor”, escreveram os autores no fim.

A conversa não é neutra: ela dilui

Jason Dana, Robyn Dawes e Nathanial Peterson publicaram em 2013, no Judgment and Decision Making, três experimentos que fazem outra pergunta. Não quanto a entrevista prevê sozinha, e sim o que ela faz com quem já tinha informação boa na mão.

No primeiro, 76 estudantes da Carnegie Mellon entrevistaram um colega por 20 minutos para prever a nota dele no semestre. Antes de responder, recebiam os dados do entrevistado e a informação de que a média acumulada anterior era, sozinha, o melhor previsor de nota naquela universidade. Depois, cada participante previa também a nota de um segundo colega, que ele não tinha entrevistado.

Em uma das três condições, com 26 dos 76 participantes, o colega entrevistado respondia ao acaso a partir da metade da conversa. Ele olhava a primeira letra das duas últimas palavras da pergunta e respondia sim ou não conforme elas caíssem na mesma metade do alfabeto. O entrevistador não sabia que esse sistema existia.

Alguns dos entrevistados chegaram preocupados, achando que a farsa seria descoberta no meio da conversa. Nenhuma foi.

A previsão feita depois de entrevistar correlacionou 0,31 com a nota real. A previsão que as mesmas pessoas fizeram sem entrevistar correlacionou 0,61. E a média anterior do aluno, sozinha, entregue a todos antes de responder, previa 0,65.

Por condição, a entrevista aleatória foi a que previu melhor: 0,42, contra 0,20 na condição em que o colega dizia a verdade e 0,29 na condição sem restrição de pergunta. As três não diferem entre si estatisticamente, e das três só a aleatória diferiu de zero. Responder ao acaso não mudou nada.

Os entrevistadores gostaram da conversa aleatória. Numa escala de 1 a 4, a concordância com “da entrevista, tirei informação valiosa para prever a nota” foi 3,00 na condição verdadeira e 3,31 na aleatória. Quem foi enganado saiu mais satisfeito com a informação que achou ter recebido.

No segundo experimento, 64 pessoas assistiram a entrevistas gravadas, foram avisadas de que metade do lote era aleatória e tiveram de adivinhar qual tinham visto. Das 32 entrevistas aleatórias, 19 foram classificadas como verdadeiras.

No terceiro, 169 estudantes ordenaram os métodos pela precisão que esperavam de cada um. Noventa e seis deles, maioria simples, preferiram uma entrevista aleatória a nenhuma entrevista.

A entrevista não é um instrumento fraco que se soma ao resto: ela disputa espaço com o que você já sabia, e ganha. Os autores fecham o artigo com uma recomendação de uma linha para quem faz triagem: não use.

Os 50 recusados de Houston

Dana e colegas abrem o artigo deles com um caso: uma lei estadual obrigou a Universidade do Texas, em Houston, a admitir na escola de medicina 50 candidatos que ela já tinha recusado. A mesma comissão de admissão que os recusou tinha escolhido, antes, 150 aprovados pelo processo tradicional, entrevista incluída.

DeVaul e colegas acompanharam os dois grupos pelo curso inteiro e por um ano de residência, e publicaram o resultado no JAMA, em 1987. Em evasão e em desempenho, pré-clínico e clínico, não houve diferença relevante entre quem tinha sido aprovado e quem tinha sido recusado. Variáveis acadêmicas e demográficas explicavam 28% da diferença entre os dois grupos, e os 72% restantes os autores atribuíram à preferência da comissão.

A conclusão que eles escrevem no resumo é seca: o processo tradicional de entrevista provavelmente não melhora a capacidade de prever o desempenho do candidato.

O que a clínica olha primeiro prevê menos ainda

Antes da conversa vem o currículo, e no currículo a clínica olha duas linhas: quanto tempo de experiência e até onde a pessoa estudou.

A revisão de 2022 dá 0,07 para anos de experiência. O valor vem de uma meta-análise de 2019 sobre experiência ANTERIOR à contratação, que é a pergunta de quem seleciona, e os autores a adotaram inteira. Os 0,18 que circulavam antes mediam outra coisa: há quanto tempo o funcionário já estava naquele posto, uma pergunta sobre quem já está dentro.

A atualização de 2016 explica por que tão pouco. Anos de experiência “não trazem informação nenhuma sobre o desempenho anterior na função”, escreveram Schmidt, Oh e Shaffer. E o ganho que existe é curto: em grupos cuja experiência naquele posto não passava de cinco anos, a correlação entre tempo de casa e desempenho chegava a 0,33; passados os cinco anos, a curva deita e mais tempo quase não acrescenta.

Escolaridade dá 0,10 e grafologia dá 0,02, e os dois números vêm do resumo de 1998, não da revisão. Os autores de 2022 registraram que não tinham informação suficiente para reavaliar esses itens e os deixaram de fora da comparação.

No Brasil, o levantamento mais próximo que encontramos é de 2003. Fabiana Marques Pereira, Ricardo Primi e Claudia Cobêro perguntaram a psicólogos de recrutamento de 112 empresas de São Paulo o que usavam e por quê, e 33 responderam. Dezessete disseram conhecer a validade do Teste de Wartegg e oito, a da grafologia. Os autores anotam, na mesma página, que não existem estudos de validade do Wartegg no Brasil e que a grafologia e o teste palográfico não têm dados documentados de validade.

O que sobe a régua é pedir uma amostra do trabalho

Os quatro métodos mais fortes entre os que a revisão de 2022 reavaliou são entrevista estruturada (0,42), teste de conhecimento da função (0,40), questionário biográfico com chave empírica (0,38) e prova de trabalho (0,33). Os autores chamam atenção para o que os quatro têm em comum: todos são medidas específicas daquela função. Quanto mais o que você pede se parece com o trabalho, melhor prevê o trabalho.

Na recepção de clínica, o trabalho é conhecido. Responder a mensagem de um paciente novo, atender o telefone com alguém irritado do outro lado, encaixar sem estourar a agenda, confirmar a lista de amanhã. Nada disso precisa ser imaginado numa conversa. Dá para pedir.

• Escreva as perguntas antes. As mesmas perguntas, na mesma ordem, para todos os candidatos, e tiradas do trabalho que a pessoa vai fazer. É essa a diferença entre 0,42 e 0,19: na entrevista solta, cada entrevistador pergunta o que quiser, e no fim as duas conversas não se comparam.
• Dê nota por resposta, na hora. Numa escala combinada antes, resposta por resposta, e antes de conversar com quem mais entrevistou. Nota dada depois da impressão geral é a impressão vestida de número.
• Pergunte comportamento, não opinião sobre si. “Me conta a última vez que um paciente chegou irritado na recepção e o que você fez” mede uma coisa. “Você lida bem com pressão?” mede outra, e a segunda qualquer um responde bem.
• Peça vinte minutos de trabalho de verdade. Três mensagens reais de paciente, sem nome, para responder por escrito. Uma ligação encenada com alguém da casa. Um encaixe para marcar na agenda que a clínica usa. Depois compare as respostas lado a lado, na mesma folha.
• Decida pela soma, não pela sala. Some as notas e olhe o total antes de lembrar quem foi simpático. Este último passo é recomendação nossa, tirada do efeito de diluição de 2013, e não uma medição: ninguém testou ordem de decisão em contratação de clínica.

Nada disso custa dinheiro. Custa uma folha escrita antes.

O que essa evidência não diz

0,19 não é zero. A entrevista solta prevê alguma coisa, e o pé da faixa de credibilidade é uma cauda, não a média. Quem entrevista conversando não fica sem informação nenhuma: fica com pouca, e, no experimento de 2013, estragou a que já tinha.

Nenhum estudo deste conjunto mediu contratação em clínica pequena. Varremos por validade preditiva de entrevista na seleção de recepção, de secretária e de equipe administrativa de saúde, no Brasil e fora dele, e não encontramos medição.

As validades de 2022 preveem avaliação de desempenho dada por supervisor, que é um critério imperfeito, e são corrigidas supondo confiabilidade de 0,60 nessa avaliação. Com 0,52, os valores sobem em média 0,02, e o maior aumento é 0,03. A escolha muda pouco, mas é uma escolha, e a revisão inteira é um argumento sobre que escolhas fazer. Em 2016, o mesmo tipo de decisão empurrou a entrevista solta para cima, não para baixo. Os valores de 1998 entram aqui como os dois trabalhos abertos os reproduzem: a atualização de 2016 e a Tabela 3 de 2022.

A tabela de 2022 também deixa três métodos de fora por falta de informação, e os três traziam valores altos no resumo antigo: avaliação por pares 0,49, consistência comportamental 0,45 e período de experiência no cargo 0,44. Os autores não conseguiram reavaliá-los, e por isso a frase “a estruturada é a mais forte” vale entre os métodos reavaliados, não contra a lista inteira.

O experimento de 2013 é com estudante prevendo nota de estudante: 76 pessoas no primeiro estudo, 64 no segundo e 169 no terceiro, todas na Carnegie Mellon. Em duas das três condições, as perguntas tinham de ser fechadas. E prever nota de semestre com a média anterior na mão é um problema com um previsor bom, conhecido e numérico. Contratação raramente tem um desses.

O caso de Houston é admissão a uma escola de medicina, não contratação, é de uma turma só, e os 50 recusados já tinham passado por todos os filtros de papel. Nada ali diz que a entrevista atrapalhou. Diz que ela não separou os dois grupos.

O levantamento brasileiro de 2003 ouviu 33 recrutadores de empresas nacionais e multinacionais do Estado de São Paulo. Não é amostra de clínica, e não mede validade: mede o que quem seleciona diz saber sobre validade.

Perguntas rápidas

Como contratar uma recepcionista para clínica?

Com as mesmas perguntas para todos os candidatos, nota escrita resposta por resposta e uma amostra do trabalho real. Na revisão de 2022, a entrevista estruturada prevê 0,42 e a conversa solta prevê 0,19; a prova de trabalho prevê 0,33. Currículo e conversa livre ficam no pé da lista.

O que é uma entrevista estruturada?

É a entrevista com as perguntas escritas antes, feitas na mesma ordem para todo mundo e pontuadas numa escala combinada, resposta por resposta. A solta é o contrário: cada entrevistador pergunta o que quiser. Entre as duas, a validade salta de 0,19 para 0,42 na revisão de 2022.

Quantos anos de experiência exigir de uma recepcionista?

Anos de experiência prévia preveem 0,07 do desempenho na revisão de 2022, e o pé da faixa de credibilidade desse item é -0,07. A atualização de 2016 acrescenta que anos de experiência não dizem nada sobre como a pessoa se saiu antes. Exigir tempo de casa filtra currículo, não desempenho.

Vale a pena fazer teste prático na seleção?

Vale. Prova de trabalho prevê 0,33 e teste de conhecimento da função prevê 0,40, contra 0,19 da conversa solta. Numa recepção de clínica o teste sai barato: três mensagens de paciente para responder por escrito, uma ligação encenada e um encaixe para marcar na agenda da casa.

A entrevista serve para alguma coisa?

Serve, se for estruturada. Os 0,42 dela são o valor mais alto entre os métodos que a revisão de 2022 reavaliou, acima de teste de conhecimento e de prova de trabalho. O que não sustenta o próprio peso é a conversa livre: 0,19 de média e -0,01 no pé da faixa de credibilidade.

Referências

1. Sackett, P. R.; Zhang, C.; Berry, C. M.; Lievens, F. Revisiting meta-analytic estimates of validity in personnel selection: addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 2022.
2. Schmidt, F. L.; Oh, I.-S.; Shaffer, J. A. The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 100 years of research findings. Working paper, 2016.
3. Dana, J.; Dawes, R.; Peterson, N. Belief in the unstructured interview: the persistence of an illusion. Judgment and Decision Making, 2013.
4. DeVaul, R. A.; Jervey, F.; Chappell, J. A.; Caver, P.; Short, B.; O’Keefe, S. Medical school performance of initially rejected students. JAMA, 1987.
5. Pereira, F. M.; Primi, R.; Cobêro, C. Validade de testes utilizados em seleção de pessoal segundo recrutadores. Psicologia: Teoria e Prática, 2003.