Diferenciar entre una encuesta y un sondeo se volvió parte de la discusión pública esta semana. Me pareció una oportunidad muy didáctica para la apropiada difusión de ejercicios demoscópicos. Desafortunadamente algunos de los intentos por aclarar o remarcar las diferencias resultaron confusos y hasta errados. La confusión se deriva, en parte, de pensar que la encuesta, por su rigor y metodología, es superior al sondeo, pero no es el caso. Me explico.
SURVEYS vs. POLLS
Las encuestas y los sondeos de opinión (opinion survey y opinion poll, en inglés, enquête y sondage d’opinion en francés) nos permiten conocer las opiniones de la gente, así como algunos aspectos de su conducta. Tanto la encuesta (survey), como el sondeo (poll) pueden contar con sólidas y rigurosas bases metodológicas, lo cual les da un carácter científico, aunque también puede haber encuestas y sondeos meramente informales o realizados con buena intención pero sin ningún tipo de rigor metodológico. Desde mi punto de vista, encuesta de opinión y sondeo de opinión no son cosas diferentes, y generalmente uso los términos como equivalentes, aunque por su uso sí han tenido algunos aspectos que los diferencian. Las encuestas o surveys las suelen hacer las agencias de gobierno o las instituciones académicas, mientras que los sondeos o polls los suelen hacer los medios de comunicación y los partidos políticos.
El Census Bureau en Estados Unidos y el INEGI en México llevan a cabo encuestas o surveys sobre diversas temáticas que responden a la necesidad de medición demoscópica y que tienen un impacto en la política pública. La Encuesta (survey) Nacional sobre Victimización del Crimen, en el vecino país, o la Encuesta Nacional de de Ingresos y Gastos de los Hogares, en México, son buenos ejemplos. Varias encuestas académicas llevan también esa etiqueta de survey, como el General Social Survey o el World Values Survey, Encuesta Mundial de Valores, proyecto en el cual tengo el honor de fungir como Vicepresidente actualmente (http://www.worldvaluessurvey.org/wvs.jsp).
Por otro lado, los medios de comunicación, incluidos los periódicos, llevan a cabo sondeos de opinión (opinion polls), los cuales, desde la decáda de 1930 con George Gallup y otros pioneros de la demoscopía, han desarrollado bases científicas y han evolucionado adaptándose a circunstancias y tecnologías distintas. Sin embargo, los sondeos informales (straw polls) aparecieron en los periódicos por lo menos desde un siglo antes, en 1824, y se referían literalmente a un conteo de cabezas para ver hacia dónde se mueven los vientos de la opinión (de ahí lo de straw poll).
Los sondeos de opinión (opinions polls o sondages), dominan buena parte de la discusión en tiempos electorales, aún y cuando también indistintamente les llamemos encuestas. La diferencia entre encuesta y sondeo no es metodológica, no es una superior al otro, excepto quizás que las encuestas, cuando son de gobierno o académicas, pueden contar con más tiempo para hacerse y a veces con más recursos, mientras que el sondeo, por su valor mediático, requiere una mayor rapidez en su realización. Pero eso metodológicamente, tanto una encuesta (survey) como un sondeo (poll) pueden ser rigurosos metodológicamente, ya que se apegan a los mismos principios de muestreo, construcción de cuestionarios y recopilación de datos. (Dato curioso: los tan de moda poll of polls, deberían llamarse sondeo de sondeos, no encuesta de encuestas, pero lo cierto es que ni siquiera son estrictamente eso, aunque ese es un tema al que volveré en otra ocasión).
EL "SONDEO" DE REFORMA
El detonante reciente de esta discusión añeja entre encuesta y sondeo fue la publicación en el diario Reforma de un "sondeo" de preferencia electoral entre estudiantes universitarios, cuyos resultados fueron disonantes con lo que muestran la mayoría de las encuestas realizadas a la población adulta con credencial para votar. Mientras que los úlltimos muestran a AMLO como puntero, el sondeo de Reforma ubicaba a Ricardo Anaya con la mayor proporción de preferencias. Por más que Reforma puso énfasis en lo de "sondeo", la reacción a la publicación nos volvió a mostrar la capacidad de viralización del enojo en las redes sociales con el hashtag #UniversitariosConAMLO.
Estudiantes apoyan a @lopezobrador_ con #UniversitariosConAMLO al estilo #YoSoy132 https://t.co/U9N17V9ZXJ pic.twitter.com/BNIXwtI7Th
— Nación321 (@Nacion321) 18 de abril de 2018
Por lo que hasta ahora se ha dicho, el intento de Reforma de diferenciar su ejercicio de una encuesta llamándolo sondeo fue erróneo, ya que un sondeo puede ser altamente riguros o válido, lo cual seguramente fue responsabilidad de algún editor del diario más que de su experto equipo de investigación, liderado por Lorena Becerra. Pero también fueron erróneas las críticas, en muchos casos pasionales, de descalificarlo simplemente por ser un sondeo y no una encuesta. Como acabamos de apuntar, no debería haber una jerarquía ni técnica ni de calidad entre ambas, a menos que se especifique que se trata de una encuesta no científica o de un sondeo informal, que es lo que quizás debió hacer el diario. Recuerdo cuando se pusieron de moda los sondeos en Internet hace algunos años, mi petición a los editores de Reforma era que les pusieran la leyenda "esta encuesta/sondeo no tiene validez científica".
Hoy en día, la sugerencia de agregar ese tipo de leyendas "sin validez científica" aún me parece adecuada, aunque también podemos emplear algunos adjetivos como "sondeo informal" o "encuesta informal" para hablar de ejercicios de menor rigor o sin validez, como los straw polls. Con la palabra straw ya sabemos que no es un ejercicio científico ni riguroso, pero debo decir que incluso esos straw polls del siglo 19 y principios del 20 eran altamente influyentes y, para nuestra sorpresa, increíblemente exactos en muchos casos. Cuando la demoscopía por muestreo impulsada por Gallup (inventor del término opinion polling) hizo su aparición en los años treinta, los straw polls eran la neta, el establishment de las voces ciudadanas, el gigante a enfrentar, hasta que erraron en sus pronósticos de la elección de 1936 y dieron paso al nuevo gigante: las encuestas y sondeos modernos con base al muestreo.
(Si alguien está interesado adentrarse más en la historia de las encuestas y los sondeos tanto en Estados Unidos como en México, así como su desempeño en nuestro país durante los últimos 30 años, les adelanto que pronto se publicará un nuevo libro mío en el que abordo detenidamente el tema: El cambio electoral: Votantes, encuestas y democracia en México, FCE 2018. Además de mi investigación de años y mis impresiones más recientes, ahí tendrán una amplia bibliografía sobre estos temas).
VOLVER AL FUTURO
La publicación del "sondeo" de Reforma me recordó otra experiencia similar durante la campaña electoral en el DF en 1997, la primera elección para Jefe de Gobierno. En ese año, que ganó el PRD, las encuestas detectaron cómo venía aumentando el apoyo a Cuauhtémoc Cárdenas, a quien eventualmente ubicaron como puntero de la contienda, por delante del panista Carlos Castillo Peraza y del priísta Alfredo del Mazo. La primera encuesta en mostrar la ventaja perredista fue, por cierto, la de Reforma, en ese entonces coordinada por mi amigo y compañero de clases en el ITAM, Rafael Giménez.
A la par que las encuestas señalaban la ventaja cardenista, otro periódico publicó a ocho columnas (o sea, la nota principal de portada), que Del Mazo encabezaba las preferencias. El encabezado era contundente, pero si el lector continuaba leyendo, la descripción metodológica decía que se trataba de una consulta entre amas de casa en una colonia específica de la ciudad, la cual probablemente el candidato había visitado recientemente.
El estudio tenía claramente sus limitaciones, pero podía ser válido respecto al universo especificado, y ciertamente era transparente en su metodología, por eso los lectores supimos que era entre amas de casa. Tanto la regulación vigente como los códigos de ética profesional especifican los elementos mínimos requeridos en la difusión de encuestas y sondeos, lo que se conoce como minimal disclosure (ver por ejemplo los lineamientos de WAPOR sobre encuestas de salida en cuya elaboración participé hace algunos años: https://wapor.org/wp-content/uploads/WAPOR-Guidelines-for-Exit-Polls-and-Election-Forecasts.pdf).
Lo que estaba fuera de proporción fue el tratamiento editorial del "sondeo". Como ya he dicho en otras ocasiones, la cultura de encuestas incluye su hechura y su lectura, y en esta última va la diseminación y publicación. Al encuestador que publica no le queda otra que tener un ojo vigilante sobre sus editores, aunque eso no siempre ni en todos lados sea posible.
Al igual que la encuesta informal delmacista de 1997, el sondeo informal universitario de Reforma tenía limitaciones, pero la publicación ofrecía ciertos elementos necesarios para saber qué peso darle. Lo que más me llamó la atención de todo esto fue que, con la publicación de una encuesta nacional al día siguiente, que registraba un aumento de AMLO y una caída de Anaya, las críticas al diario de repente se apagaron. ¿Habrá sido la calidad y el rigor de la encuesta, o sus resultados? Cualquiera que sea la respuesta, creo que la publicación de la encuesta/sondeo del día siguiente tuvo un efecto desviralizador. Y el sondeo universitario pasará a los anales de las encuestas raras.
Te presentamos el sondeo universitario donde Ricardo Anaya lidera las preferencias electorales, seguido de AMLO y Meade. https://t.co/tYlMcEPXUa pic.twitter.com/L4iHF54AQI
— REFORMACOM (@Reforma) 17 de abril de 2018
A menos de que se traten de una burda fabricación de datos, las encuestas y los sondeos reflejan las opiniones de la población respecto a la cual buscan hacer inferencia. Los sondeos y encuestas más rigurosos y mejor hechos suelen ser mejores herramientas para esa inferencia que los sondeos y encuestas informales. Pero incluso estos últimos no son del todo ficción, ya que reflejan algo sin la validez y confiabilidad de los otros.
Alguna vez le escuché esta frase a Warren Mitofsky: "mejor pregúntale a tu abuelita y sale más barato que una encuesta mal hecha". Tenía razón, en lo de barato principalmente, pero aún la opinión de la abuelita es valiosa y un sondeo informal con abuelitas algo dice. Sin embargo, si se publican los resultados, insisto en que debe decir que se trata de un sondeo "sin validez científica", y no solamente de un sondeo.
