AVALIANDO DESEMPENHO DE PESQUISAS ELEITORAIS (Nota Técnica)

21/10/2010

Por Maurício Costa Romão

 “… muitos questionam as pesquisas por causa de decimais fora da margem de erro, dando a elas um rigor de precisão que não está no seu propósito, quando deveriam na verdade ser interpretadas como estimativas de tendências.” (As Pesquisas Erraram? Márcia Cavallari, 08/10/2010, O Estado de S. Paulo).

“Erram os que cobram precisão numérica de pesquisas encerradas na véspera da eleição, quando ainda há indecisos.” (Erros sobre Erros, Mauro Paulino, Folha de S.Paulo, 12/10/2010).

Para se fazer uma avaliação de desempenho de pesquisas eleitorais é preciso antes estabelecer um critério que possibilite confrontar suas estimativas com os resultados finais da eleição, num contexto em que os “concorrentes” participem em condições as mais igualitárias possíveis.

Qualquer que seja esse critério, todavia, há que se nivelar, inicialmente, a base temporal em que os levantamentos são realizados pelos diferentes institutos. Os comparativos só fazem sentido se os trabalhos de campo forem feitos praticamente nos mesmos dias, pouco antes das eleições.

Assim, garante-se que nenhum instituto leve vantagem sobre os demais, captando manifestações recentes dos eleitores que os outros não chegaram a obter. A pesquisa boca de urna, por exemplo, sempre é favorecida, já que é realizada no dia da eleição e entrevista o eleitor após ele ter votado.

Embora não exista na literatura especializada um modelo consagrado e universalmente aceito de avaliar desempenho de pesquisas eleitorais, a grande maioria das análises comparativas se debruça mesmo é sobre a averiguação dos números estimados nas últimas pesquisas dos diferentes institutos e suas divergências, maiores ou menores, vis-à-vis os resultados oficiais.

Por essa sistemática, computam-se as estimativas de intenções de voto das pesquisas relativas aos candidatos individualmente e observam-se as que ficam fora da margem de erro, quando comparadas com as totalizações oficiais. Resultados fora da margem são considerados erros de previsão dos institutos de pesquisa.

Este é o procedimento adotado neste texto e que será denominado de “avaliação pontual”.

É importante ilustrar o argumento com uma evidência empírica, usando dados do primeiro turno das eleições deste ano para Presidente (nacional) e para Governador e Senador em Pernambuco

Vê-se, nas tabelas abaixo, que as pesquisas de antes do dia da eleição, as chamadas pré-voto, foram realizadas pelo Datafolha e Ibope nos mesmos dias, 01 e 02 de outubro, o que satisfaz perfeitamente o critério de nivelamento da base temporal dos trabalhos de campo.

As pesquisas boca de urna do Ibope, realizadas no próprio dia 03 de outubro, são também relacionadas nas tabelas à guisa de complemento, embora para a explicação dos critérios estabelecidos elas possam ser dispensadas. 

No corpo central das tabelas despontam as intenções de voto previstas pelos institutos para os candidatos listados. As células hachuriadas em cor mais escura destacam as intenções de voto que ficaram fora da margem máxima de erro estipulada (a margem está mostrada na segunda linha, de baixo para cima), relativamente aos dados oficiais constantes da última coluna.

As intenções de voto contidas nas células hachuriadas são, portanto, consideradas erros de previsão.

As tabelas apresentam ainda as datas de divulgação das pesquisas e a média, em valores absolutos, das discrepâncias entre as previsões dos institutos e os resultados das urnas, parâmetro que será objeto de discussão mais à frente.

Tome-se, inicialmente, a primeira tabela, que retrata as intenções de voto para Presidente e se aplique o critério de avaliação pontual, que destaca os erros ou acertos das pesquisas para cada uma das candidaturas individuais, relativamente aos dados observados.

Nota-se que os dois institutos, incluindo também a pesquisa boca de urna do Ibope, tiveram o mesmo número de erros (marcados em vermelho) para os três postulantes competitivos, com estimativas fora da margem de erro máxima estipulada.

Pela avaliação pontual, então, não se pode distinguir o instituto de melhor desempenho, já que ambos tiveram o mesmo número de acertos (ou de erros).

Naturalmente nem sempre acontece isso. Por exemplo, na eleição para Prefeito do Recife, Pernambuco, em 2008, oito pesquisas de intenção de voto, incluindo uma de boca de urna, oriundas de sete institutos diferentes, foram divulgadas na última semana do pleito. Um dos institutos de sobressaiu pela avaliação pontual, errando apenas um resultado fora da margem de erro para os quatro candidatos competitivos. Os demais institutos erraram entre dois e três.

O método de avaliação pontual tem essa característica: revela claramente o instituto de melhor desempenho quando um deles se destaca por ter menos resultados fora da margem de erro, mas se torna incapaz de sinalizar qualquer ordenamento quando as pesquisas se equiparam na quantidade de êxitos ou fracassos.

Daí a necessidade de se introduzir outro conceito que possa complementar a avaliação pontual, o de “avaliação global”.

A avaliação global busca dimensionar os resultados das pesquisas em função do desempenho do conjunto de suas predições, sempre em relação aos dados observados nas urnas. A questão que surge é como mensurar essa avaliação global.

Uma possível abordagem à avaliação global pode ser levada a cabo pelo desvio-padrão das estimativas, que tem a propriedade de mensurar os desvios de cada previsão de intenção de voto, consignada por determinado instituto, em relação à média (no caso, os resultados oficiais).

Assim, o instituto que apresentar o menor desvio-padrão seria o primeiro do ranking, pois suas estimativas, vistas em conjunto, estão mais perto do alvo, são as que têm menor dispersão relativamente aos dados finais do pleito.

Outra possibilidade é usar a diferença média entre as percentagens projetadas para todos os candidatos, por cada um dos institutos, e as observadas nas urnas.

Este método, que vai ser adotado neste texto, pode ser denominado de “discrepância média” das estimativas, é mais simples de que o desvio-padrão, pois envolve o conceito intuitivo e largamente usado de média aritmética, uma medida básica de tendência central. 

Através desta sistemática, calcula-se, por instituto e para todos os candidatos, cada discrepância, em valores absolutos (desprezando-se o sinal negativo), entre a percentagem prevista e a observada. Em seguida, obtém-se o valor médio (veja-se a terceira linha das tabelas, de baixo para cima).

Por exemplo, levando-se em conta as estimativas do Datafolha para Presidente (segunda coluna da primeira tabela) as diferenças entre as percentagens previstas e as observadas para os candidatos foram: -1,61; 3,09; -2,33; 0,85. Em valores absolutos esses pontos percentuais seriam: 1,61; 3,09, 2,33, 0,85. A média, portanto, resultou em 1,97 ponto de percentagem.

Por essa metodologia, então, os prognósticos do Datafolha, vistos em conjunto, estão menos distantes dos valores observados, já que apareceu com a menor discrepância média, de 1,97 ponto de percentagem, relativamente ao ibope.

Duas outras ilustrações, ainda concernentes à eleição deste ano de 2010, estão mostradas nas tabelas que seguem. Uma refere-se ao pleito para Governador em Pernambuco e a outra para Senador, no mesmo estado.

Na de Governador é preciso invocar, mais uma vez, a metodologia da avaliação global, via discrepância média, pois as três pesquisas projetaram percentuais fora da margem de erro para os dois candidatos competitivos.

Aplicando-se a avaliação global, o Ibope é que tem desempenho menos sofrível entre as pesquisas pré-voto e, mais ainda, se se levar em conta o levantamento boca de urna do instituto, o que apresentou menor discrepância média.

Na tabela que desfila números para o Senado Federal, o Ibope se saiu melhor na avaliação global, quando cotejadas as pesquisas de antes do pleito. Incluindo-se o levantamento boca de urna o Ibope teve melhor desempenho na avaliação pontual, ironicamente errando apenas a estimativa dos “outros” candidatos, que normalmente tem índices de acertos elevadíssimos.

Em resumo, é sempre aconselhável mensurar o desempenho comparativo de pesquisas pelo critério de avaliação pontual, calculando-se o número correto de predições que ficaram dentro da margem de erro, em relação aos dados das urnas.

Quando nenhum instituto isoladamente se destaca entre os demais em número de acertos, então é o caso de prospectar desempates aplicando a avaliação global, através do método da discrepância média das estimativas.

Nenhum Comentário
Deixe seu comentário
Sobre o autor

Maurício Costa Romão é Master e Ph.D. em economia pela Universidade de Illinois, nos Estados Unidos, sendo autor de livros e de publicações em periódicos nacionais e internacionais...

continue lendo >> Maurício Romão

Copyright © 2012 Maurício Romão. Todos os direitos reservados.

Desenvolvimento: 4 Comunicação