El 11 de Agosto de 2019 la política argentina se encontró con resultados electorales que iban a contramano de las predicciones de las encuestadoras y, con ello, con un interrogante: ¿por qué fallaron las encuestas? En el siguiente artículo intentaremos responder esta pregunta explorando los sesgos y límites de los principales instrumentos de recolección de datos. Por último, daremos cuenta de una solución parcial y provisoria que encontramos al problema en un contexto de restricciones sanitarias al campo presencial.
A una semana de las elecciones PASO del 2019, las encuestas daban cuenta de un consenso: la elección entre el Frente de Todos y Juntos por el Cambio iba a ser relativamente cerrada. Algunos hablaban de 6 u 8 puntos de diferencia, con el Frente de Todos con un techo de no más de 43 puntos. Las más optimistas para el oficialismo pronosticaban un empate técnico, donde la diferencia nominal entre uno y otro sería inferior al margen de error que implicaba la metodología instrumentada.
En la práctica, los resultados fueron abrumadores: Frente de Todos 47% y Juntos por el Cambio 32%. ¿Cómo se explica esta diferencia entre pronósticos y resultados?
En la Argentina las encuestas se suelen realizar adoptando metodologías de campo únicas. Sin embargo, si revisamos los instrumentos de recolección vemos que cada uno enfrenta distintos sesgos que dificultan dar con una muestra representativa del universo estudiado.
El primer instrumento a evaluar son las encuestas telefónicas, realizadas en general a través de metodología IVR o CATI - a través de dispositivos automáticos o de operadores telefónicos - mayormente dirigidas a teléfonos fijos. El primer sesgo que enfrentan es que los teléfonos fijos cayeron en desuso y fueron remplazados por celulares entre las generaciones más jóvenes, lo cual dificulta la obtención de casos para estos sectores etarios y sobre-representa a los sectores mayores. Segundo, esta metodología también excluye a los sectores de menor poder adquisitivo, que por lo general no tienen acceso a telefonía fija. La *Figura 1* da cuenta de la composición muestral de una encuesta propia realizada mediante tecnología IVR la semana anterior a las elecciones del 11 de Agosto. Es visible cómo las características del instrumento privilegian a sectores demográficos más entrados en años, con mayor nivel educativo. El ejemplo más claro es que en la encuesta realizada a través de IVR las personas mayores a 60 años significaron el 37% de la muestra.
En cuanto a la recolección presencial, los hogares urbanos y de mayor poder adquisitivo resultan menos accesibles para los encuestadores, en tanto sus habitantes son menos proclives a recibirlos. De esta forma, este instrumento sub-representa a los sectores sociales que la metodología telefónica sobre-representa. Por último, las herramientas digitales permiten una mayor penetración entre los jóvenes y el nivel socio-económico más bajo, pero excluyen los segmentos etarios mayores. En este sentido, no parece haber una metodología de campo que pueda recolectar por sí misma una muestra de casos que se asemeje lo suficiente a la composición de la sociedad argentina.
Los problemas de representación de las distintas metodologías de campo suelen ser mitigados a través de la ponderación de resultados por variables sociodemográficas; esto es, ajustando el peso de cada caso para que la distribución interna de la muestra se corresponda con la distribución sociodemográfica del universo representado. Si bien este recurso mejora la exactitud estadística de la muestra en tanto la asemeja más al universo, el último proceso electoral demuestra que es un tratamiento insuficiente. En la *Figura 2* comparamos los resultados electorales con resultados obtenidos a través de encuestas CATI e IVR, sujetas a ponderación por variables sociodemográficas. Es posible observar que la ponderación no alcanzó a compensar las deficiencias de la penetración en el trabajo de campo:
Creemos que, debido a la composición demográfica de las bases electorales del Frente de Todos y de Juntos por el Cambio, este sesgo en las encuestas telefónicas que sub-representaba a los sectores populares, rurales y más jóvenes, y sobre-representaba a los sectores medios, urbanos y mayores repercutió en que se predijera un rendimiento electoral para Juntos por el Cambio superior al apoyo que tenía realmente. Esto explica, en parte, por qué fallaron las encuestas el año pasado.
Pareciera que una alternativa para resolver este problema de representación seria adoptar una metodología de campo mixta. Sin embargo, las restricciones a la movilidad en el marco de la pandemia han imposibilitado la recolecciones datos de forma presencial. Mientras atravesamos las restricciones de la pandemia, hemos encontrado otra solución parcial y provisoria, no desde la recolección de casos sino desde la ponderación. Además de la ponderación por variables socio-demográficas, sumamos una forma de ajustar la muestra que, como se ve en la *Figura 3*, se trata de una ponderación que logra, tanto en metodología CATI como en IVR, reducir el sesgo anti-peronista que las encuestas telefónicas enfrentaron en el último ciclo electoral.
Así y todo, es importante resaltar que la ponderación puede corregir las imperfecciones muestrales del instrumento en determinado momento, pero el tipo de muestra que tiende a producir cada instrumento puede y suele cambiar a lo largo del tiempo. Es fundamental revisar constantemente a qué sectores privilegia y a qué sectores perjudica cada herramienta de campo.
Move, Consultora dedicada al diseño de estrategias de comunicación política en función del estudio de la opinión pública. Cuenta con 15 años de experiencia trabajando en campañas políticas en Argentina y la región.
