Edicion digital






Latam Research Group
WonderPanel
Opi-Nation
Feedback
Bla! Contact Group
Silvina Tellez / Consultora Patagónica
ESOMAR


2016. ¿Fracasan las encuestas? por Manuel Mora y Araujo, Ipsos Argentina





La encuesta por muestreo -un invento del siglo XX- sirve a tres propósitos: método de conocimiento, herramienta para intervenciones comunicacionales (llamadas campañas), pronóstico de los resultados de las elecciones. Esas tres funciones son antiguas casi como la humanidad misma: conocer el mundo, influir en los acontecimientos,anticiparse a lo que sucederá, han sido desde tiempos remotos inquietudes humanas aplicadas a planos muy distintos de la vida.

 

Desde sus comienzos en la década de 1930, el valor predictivo de las encuestas ha sido, tendencialmente, bueno, y en particular a veces desacertado. Está claro que este instrumento basado en los criterios de la estadística inferencial está preparado para informar acerca de lo que está sucediendo mucho más que para anticipar lo que va a suceder. Ocurre que, por un lado, los fenómenos humanos entre los cuales se encuentran los procesos electorales constituyen fenómenos de “sistemas abiertos” resistentes a una reducción total de incertidumbre; y, por otro lado, por su misma naturaleza, las campañas electorales están abiertas a los esfuerzos de intervenciones estratégicas cuyo propósito es, precisamente, incidir hasta marginalmente, y hasta último momento, en los resultados. De tal manera que las encuestas que pretenden anticipar el resultado final entran en tensión con quienes hacen uso de esa misma información tratando de modificar la tendencia para modificar el resultado final. En un sentido bastante literal, el éxito de unos es proporcional al fracaso de los otros.

 

En estos días se habla mucho del “fracaso” de las encuestas. Efectivamente, una serie de resultados resonantes en distintos lugares del mundo ha sorprendido a muchísima gente, y ha ocurrido que las encuestas en su mayor parte anticipaban otros resultados. El plebiscito en Inglaterra por el Brexit, el plebiscito en Colombia por el acuerdo de paz con la guerrilla, la elección presidencial en Estados Unidos, son casos descollantes en esa tendencia. No mucho tiempo atrás se han vivido fracasos de magnitud similar en distintos lugares del mundo. Esta historia no puede ser contada en términos de blanco y negro, de un capítulo luminoso y otro oscuro. Ha habido algunos “aciertos” igualmente subrayables, por ejemplo en la reciente elección presidencial en Perú. En el pasado siempre han existido eventualmente algunos fracasos en los pronósticos derivados de las encuestas -inclusive entre los padres fundadores de la disciplina, hace ochenta años-, generalmente compensados por los pronósticos verificados. Ahora, la seguidilla de fracasos parece no encontrar compensación. Pero en parte, esto se debe a que los desaciertos en estos casos recientes han sido los relativos a situaciones muy decisivas en los respectivos países, y a que los resultados efectivos de las votaciones fueron muy parejos. Estrictamente hablando, las estimaciones derivadas de una encuesta se formulan en términos probabilísticos: dentro de tales márgenes, se espera tal resultado. En esos términos, por ejemplo, el promedio conocido de las estimaciones de las principales encuestas en Estados Unidos en la reciente elección presidencial ha estado “acertado” dentro de los márgenes de variabilidad aceptados -esto es, Hillary Clinton ganó la votación por una distancia no muy distinta a la que las encuestas anticipaban-. Pero el hecho es que por el sistema electoral vigente, Donald Trump se consagró presidente, y eso las encuestas no lo preveían.

 

 

El problema, en este caso, se generó en el hecho de que Trump ganó en unos pocos estados donde las encuestas lo daban perdedor, y esos estados -en virtud del particular sistema de conformación del Colegio Electoral- le dieron una mayoría de electores. En esos estados, sin duda hubo un problema con las encuestas. Y allí entran las explicaciones ad hoc.

 

Un excelente análisis publicado en el New York Times (Nate Cohn, Josh Katz and Kevin Quealy: “Putting the Polling Miss of the 2016 Election in Perspective”, New York Times, 13 de noviembre de 2016) sostiene que lo sucedido es producto de dos errores. Uno es atribuible a las encuestas, y según esos analistas es un problema de muestreo: subestimación de la población blanca con baja educación habitualmente empleada en posiciones laborales formales que hoy están en recesión. El otro es un problema de estrategia de campaña: en parte inducida por las mismas encuestas, Hillary Clinton descuidó su campaña en los estados donde ese fenómeno es más importante (estados del norte y nordeste), y así favoreció el avance de Trump. Ese problema de muestreo, según los expertos que publican en el New York Times, es más general; pero se magnifica en estados donde esa franja poblacional pesa proporcionalmente más. La idea de que las muestras actualmente en uso subestiman a algunos segmentos poblacionales la comparto y la generalizo a nuestro país. Además, hubo en Estados Unidos un problema que en buena medida se dio también en Inglaterra y en Colombia: muchas personas no concurrieron a votar, pero las encuestas no captaron ese fenómeno.

 

Algunos de estos problemas son posiblemente inherentes a los usos vigentes actualmente en la práctica de la producción de encuestas: muestras menos controladas, métodos de recolección de datos que obligan a cuestionarios breves y simples, tiempos de ejecución muy cortos en desmedro de los controles de calidad, tasas de no respuesta sumamente altas porque la gente se resiste crecientemente a ser encuestada. Se ha avanzado hacia un producto que tiene mucho de commodity, con menos énfasis en la calidad y más énfasis en la rapidez y el bajo costo. Un problema distinto es que la realidad misma a la cual se aplican los instrumentos de observación y análisis está cambiando. Es indudable que si las encuestas son de utilidad, deben servir para ser aplicadas a cualquier situación y a cualquier realidad, previsible o cambiante. Los problemas técnicos, cuando se los identifica, deben ser resueltos.

 

El mundo está cambiando, la política está tornándose más volátil, pero seguirán siendo demandadas las dos principales funciones que dieron vitalidad a las encuestas por muestreo: influir mediante operaciones coordinadas que responden a estrategias de comunicación -campañas electorales-, anticipar el resultado de las votaciones -pronósticos-. Dos funciones casi tan antiguas como las sociedades humanas, para las cuales este invento que data de unos ochenta años atrás, imperfecto como es, resulta más útil que cualquier otra cosa conocida hasta ahora.

 



Manuel Mora y Araujo.

Sociólogo. Ipsos Argentina.

Qualitativa
TESI
Pull Market
AZI Andrea Zar
Jimena Bustos
Bla! Contact Group
Eure-k Research
InData Research
CIO
Vanesa Halperin / Diego Segovia