Por que as pesquisas variam tanto?

Na coluna da semana passada, comentei que torcer por instituto de pesquisa é mais ou menos o mesmo que torcer por marcas de termômetro. Mas, sabemos, os resultados das pesquisas variam muito mais do que o que se observa entre diferentes marcas de termômetro. Então, vamos conversar aqui sobre como as pesquisas são feitas.

+ Conheça os colunistas do SBT News
+ Leia as últimas notícias de Economia
+ Leia as últimas notícias no portal SBT News

Existem dois grandes tipos de erro que podem influenciar no resultado de uma pesquisa. Um é o erro amostral e o outro é o não-amostral. Como cada instituto tem sua própria "receita de bolo" de como tentar captar para que lado está indo hoje a preferência do eleitorado, cada instituto está exposto de maneiras diferentes a esses dois tipos de erro.

O erro amostral é o estatisticamente esperado, aquele que é possível calcular nas margens de erro se tudo estiver certinho. Dezenove de cada vinte vezes, uma pesquisa feita corretamente deve ficar dentro de uma margem de erro em torno de um valor que seria o "verdadeiro" ? e bota aspas nisso, porque verdadeiro mesmo só o que sai das urnas.

Um exame de sangue que você faz no laboratório também é uma espécie de pesquisa amostral: sabendo que o sangue circula bem pelo corpo, e portanto deve estar bem misturado, o laboratório tira poucas ampolas e pode ter uma ideia bastante precisa de como anda sua saúde. Isso tem uma margem de erro. 

Quando se trata de ouvir a população hoje sobre o que se pretende fazer daqui a um mês com base no que se sabia até ontem, extrair uma boa amostra não é tão simples quanto colocar uma agulha no braço de alguém e tirar uma ampola de sangue. 

Abordagem

Primeiro, tem a maneira de abordar as pessoas. Você vai abordar pessoalmente, na rua? Vai bater à porta de casa? Vai telefonar e alguém vai falar com a pessoa? O entrevistado vai digitar suas preferências em resposta a uma gravação? Isso já começa a influir na maneira como as pessoas respondem. Há quem revele suas opiniões com mais tranquilidade a uma gravação do que olhando no olho de alguém; há quem se sinta mais à vontade sabendo com quem fala. Cada instituto tem sua justificativa de por que prefere um método ao outro.

Aliás, para voltar à metáfora dos termômetros, imagine que nas pesquisas também temos termômetros de mercúrio, digitais e de "pistola", daqueles que se aplicava nas portas dos estabelecimentos comerciais durante a maioria da pandemia. (Sempre que me aplicavam um termômetro de "pistola" na porta de um estabelecimento, a temperatura mostrada no visor era cadavérica, diferente da captada nos de casa.)

Para tentar "misturar" bem a população e com isso aumentar a chance de captar a dispersão das opiniões da melhor maneira possível, os institutos procuram dividir os entrevistados em "cotas" por sexo, idade, localização e algum fator sociodemográfico que reflita a desigualdade, como educação ou renda. Estamos com o Censo mais do que atrasado, mas para estrutura etária, por sexo, educação e renda até temos parâmetros recentes pelas pesquisas amostrais do IBGE. (Responder sobre renda a um estranho que lhe aborda na rua, porém, pode causar confusão na hora de responder.)

Sabendo da importância política de questões religiosas para uma parte do eleitorado, alguns institutos tentam calibrar sua amostra pela religião, o que é bem temerário porque o dado mais sólido e recente que temos a respeito é do Censo de 2010. Muita coisa aconteceu desde então. Alguns institutos procuram calibrar isso com uma estimativa de quanto seria a parcela de cada religião hoje, mas é uma estimativa. Cada um faz de um jeito, quando faz, e isso altera o resultado final. 

Quem vai falar

Aí, vem a questão de quem topa falar ? e, quanto mais perguntas se faz, mais importante fica quem topa falar até o fim. Antigamente, para entrevistar duas mil pessoas, não era preciso abordar tanta gente ou fazer tantos telefonemas quanto hoje em dia. Já ouvi estimativas de 100 mil telefonemas para conseguir 2 mil entrevistas completas. Quanto menos pessoas atendem aos pedidos de entrevista para uma pesquisa, mais caras elas ficam, porque precisam de mais gente trabalhando por mais horas, e fica mais difícil encontrar alguns grupos específicos.

No comecinho da minha carreira no jornalismo, trabalhei num jornal do Rio Grande do Sul, que tinha seu próprio instituto de pesquisas. Havia uma desconfiança, por parte dos apoiadores de um candidato a governador, de que os grandes institutos "roubavam" para o oponente. Então, esses eleitores tacitamente decidiam não responder às pesquisas dos grandes institutos, mas isso não afetou as dos institutos locais. Esses foram os que mais perto chegaram do resultado final. Isso não desabona em nada a seriedade dos grandes: chama-se "viés de não-resposta", e é o que acontece quando um grupo específico se recusa a responder pesquisas. Um instituto só sabe a opinião de quem respondeu. 

O viés de não-resposta é uma forma de erro não amostral. Um instituto sério procurou as pessoas certas, tentando ao máximo refletir a população: um número X de mulheres, o restante de homens, divididos entre cotas por idade, educação, renda. Mas, como é impossível ler a mente das pessoas antes de elas começarem a falar, não há como saber de antemão o motivo da recusa em responder a uma pesquisa. A pessoa pode estar realmente ocupada ou de alguma forma foi estimulada a não responder. (Aliás: caso um instituto peça sua opinião, a melhor coisa que você pode fazer para tê-la representada na pesquisa é? responder.)

Também temos erro não amostral em coisas mais sutis, como a ordem das perguntas numa pesquisa. Se você pergunta primeiro se está mais caro fazer as compras e depois se a pessoa aprova a condução da economia, a resposta de parte dos entrevistados pode ser diferente do que a que viria se as perguntas fossem invertidas. 

Fatores de representação

No fim, quando chegam os questionários feitos, o total coletado nunca corresponde exatamente à distribuição da população. Aí é que entra uma parte importante das receitas de bolo de cada instituto: os pesos. 

Conforme os fatores escolhidos para representar a população, e conforme as pessoas que se conseguiu entrevistar, para que essa amostra represente a população é preciso dizer que uma entrevista de um grupo sub-representado vale um pouco mais do que 1 e uma entrevista de um grupo super-representado vale um pouco menos. O bicho pega quando é um grupo muito pequeno. Digamos, mulheres negras com mais de 60 anos com renda mensal acima de R$ 20 mil na região Norte (nenhuma pesquisa faz esse recorte, diga-se).

Se pela definição da amostra era preciso obter seis e os entrevistadores só acharam duas, a resposta de cada uma valerá por três. Nos Estados Unidos, cotas amostrais muito detalhadas fizeram com que um homem negro de 19 anos em Illinois desbalanceasse as pesquisas em 2016. Devido ao seu perfil inusitado, sua entrevista valia por até 30. Se ele estava no painel de entrevistados, parecia que Trump era o favorito dos negros jovens em Illinois; se não estava, o resultado era outro.

Enfim: apesar de usarem a linguagem da estatística e com isso parecerem precisas, as pesquisas são humanas até demais. Isso porque são elaboradas, aplicadas e respondidas por pessoas. Por mais sério que seja o critério, sempre pode haver algum ou mais fatores fora do plano de voo. 

No agregador da Lagom Data, procuro observar as pesquisas pelo que elas são: termômetros falhos, mas muitas vezes bem intencionados. A média que calculamos é uma forma de dar dois passos para trás e olhar o cenário com uma visão de conjunto, sem se deixar impressionar com cada resultado específico. Se você olhar bem, a maioria das pesquisas gravita em torno de uma mesma direção, mesmo sendo feita por empresas diferentes, com métodos diferentes, e encomendada por contratantes que discordam entre si. As que fogem muito da média é que soam estranhas.

Existem institutos para todos os gostos, mas o segredo é justamente não tratar os resultados das pesquisas como uma questão de gosto. O único resultado correto será o da urna eletrônica em 2 de outubro.