La Asociación de Investigadores de Opinión Pública de Estados Unidos, AAPOR, por sus siglas en inglés, dio a conocer un reporte de evaluación de las encuestas preelectorales en las elecciones presidenciales de 2020 en ese país (Task Force on 2020 Pre-Election Polling).
Quienes gustan de las metodologías demoscópicas probablemente prefieran revisar el reporte completo, de poco más de 100 páginas, disponible en el sitio www.aapor.org. Para quienes siguen este espacio de Las encuestas, ofrezco aquí una breve revisión y algunos comentarios.
Tanto el reporte 2020, como su predecesor de 2016, son documentos muy bien elaborados, muy pedagógicos y muy útiles. Para "brindar un servicio a la profesión", AAPOR encargó a un equipo de especialistas, 19 en total, tanto de organizaciones encuestadoras como de universidades y centros de investigación, evaluar las encuestas del 2020. Se trata de un trabajo colegiado, lo que se conoce como task force; además es incluyente, ya que analizan todas las encuestas publicadas, no solamente algunas.
En México suelen hacerse evaluaciones sobre la exactitud de las encuestas después de una elección, pero solemos hacerlo cada quien por separado, ya sea en artículos periodísticos o en algunos libros temáticos.
En mi libro El cambio electoral (FCE 2018) incluí una evaluación de las encuestas preelectorales en nuestro país desde 1994 hasta 2017. También están las memorias de las reuniones que ha hecho el INE/IFE para evaluar a las encuestas desde hace dos décadas, en las que se incorporan diversos puntos de vista gremiales y profesionales. Sin embargo, rara vez, por no decir nunca, ha habido un reporte colectivo en nuestro país en el que participen especialistas de distintas afiliaciones institucionales. Es una tarea pendiente.
El reporte 2020 de AAPOR destaca cómo las elecciones presidenciales de ese año se llevaron a cabo en el contexto de la pandemia, en las cuales hubo, no obstante, un alto nivel de participación y una alta votación por correo. La buena para las encuestas nacionales es que previeron correctamente la victoria de Joe Biden sobre Donald Trump. La mala es que se sobreestimó la victoria y el error fue históricamente alto.
Comparado con elecciones previas, la magnitud del error de las encuestas preelectorales en 2020 fue la más alta en los últimos 40 años, según indica el reporte. Otra manera de decirlo es que las encuestas tuvieron en 2020 su peor desempeño en cuatro décadas. El error promedio en la estimación del voto popular a nivel nacional fue de 3.9 puntos, el triple que en 2016 (1.3 puntos), año en el que las encuestas sufrieron un revés en su credibilidad. Entre las encuestas publicadas solamente la última semana el error alcanzó 4.2 puntos. Comparando con México, en 2018 el gremio de encuestas tuvo un error promedio agregado de 5.1 puntos en sus encuestas finales. El error en 2020 puede ser el peor en cuarenta años, pero es una mejor marca que la de la industria mexicana en 2018.
Dado que el ganador resultó correcto, las encuestas no pasaron por un proceso de descrédito tan agudo como en 2016, cuando se esperaba que ganara Hillary Clinton el voto popular, lo cual fue bastante exacto, pero ultimadamente ganó Trump la presidencia por vía del colegio electoral. El 2016 dejó muy mal paradas a las encuestas y a los pronósticos o forecasts, que no han dejado de confundirse con las encuestas. Pero lo curioso es que 2020 fue un peor año y el golpe a la credibilidad no fue tan severo.
El reporte de AAPOR 2020 no ofrece una explicación de las fallas. Sólo descarta algunas hipótesis, al igual que el reporte de 2016 descartaba la noción de los Shy Trumpists, pero no hay una explicación contundente de por qué están fallando las encuestas, sobre todo en subestimar el voto republicano y sobreestimar el demócrata.
Aún así, el descarte de algunas hipótesis sobre las fallas de método, así como el planteamiento de algunas explicaciones plausibles, es muy interesante, y no solamente para la elección presidencial sino en las contiendas a nivel estatal. El registro del error en esas contiendas se lleva apenas desde el año 2000, y resulta que en 2020 las encuestas también tuvieron su error más grande.
Ante la pregunta "¿qué sucedió?" el reporte nos ofrece mejores respuestas de "qué no sucedió". Pero también nos da una idea de qué podría estar sucediendo. La mayor sospecha está en la no respuesta, es decir, en el rechazo o no contacto de personas elegibles seleccionadas en la muestra. Veremos si en 2024 las encuestas mejoran o empeoran, tanto en el vecino país como aquí en México. ¿Usted qué cree?
