Las internas de junio dispararon nuevamente la discusión sobre las encuestas y las empresas encuestadoras. En esa discusión se pueden escuchar frases como “nuestras estimaciones deben ser la combinación de medición y modelización, medición y estimación” (Ignazio Zuasnábar, Equipos Mori), “si miramos la encuesta ‘pelada’ nuestra, se comportó mucho mejor que nuestro trabajo de estimación” (Mariana Pomiés, Cifra) o “el investigador principal suele tomar decisiones que tienden a equilibrar el resultado del relevamiento. Para ello recurre a ponderadores” (Daniel Chasquetti, ex Radar).

Con los valores reales de la elección que provee la Corte Electoral, podemos medir el impacto de esta ponderación en los resultados que las encuestas publicitan.

El método tiene como base el cálculo de la probabilidad del resultado de una encuesta para una muestra dada. Por ejemplo, la probabilidad del resultado Lacalle Pou 45 % - Larrañaga 47 % con una muestra de 1002 casos (Cifra) es de 0,3 %. Para incluir el margen de error se suman las probabilidades de todo el rango. Siguiendo el ejemplo de Cifra, para un error de +/- 3 % hay que sumar la probabilidad de todas las combinaciones que tienen Lacalle Pou entre 42 % y 48 % y Larrañaga entre 44 % y 50 %. Ese valor es 5,9 % (Calculo detallado, datos y código de los programas en http://www.mordecki.com/html/leydeencuestascalculos.php)

A partir de estos cálculos es fácil ver que las encuestas tienen una probabilidad de ser válidas mucho menor que el 95 % publicitado (entre un 20 % y un 24 % para las internas) y que la ponderación hace que no se dispersen hacia arriba y abajo de los valores reales, sino que se muevan en bloque. Como diría Adam Smith, hay una mano invisible que hace que se sigan unos a otros.

El intervalo de confianza

En la ficha técnica de cualquier encuesta podemos encontrar una frase como ésta: “Margen de error de +/-3 % con un 95 % de intervalo de confianza”. Esto quiere decir que si al resultado de la encuesta le sumamos 3 % y le restamos 3 %, la probabilidad de que el valor real caiga en ese rango es de 95 %.

Una vez que conocemos el resultado de la Corte Electoral, podemos calcular el intervalo de confianza real para cada tamaño muestral y porcentaje de error. Es contestar la pregunta: con la encuesta que hicieron, ¿qué probabilidad tenían de acertar? Estos son los valores:

No hay argumento alguno que explique una diferencia tan brutal: nos están vendiendo oro por baratijas, como al desafortunado Don Rodrigo de Les Luthiers.

Correlación

Con una probabilidad tan baja de acertarle, lo esperable es que las encuestas den resultados bastante dispersos en torno al valor real: algunos más cerca y otros más lejos, algunos por arriba y otros por abajo.

Sin embargo, no es esto lo que sucedió: en el Partido Nacional los valores de las encuestadoras no se dispersaron de forma amplia por encima y por debajo del valor real (54,4 % para Lacalle Pou - 45,5 % para Larrañaga), sino que se agruparon en un rango relativamente pequeño, todas por encima para Larrañaga (47 % - 53 %) y todas por debajo para Lacalle Pou (45 % - 49 %). ¿Qué probabilidad hay de que esto suceda? Es decir, con los tamaños muestrales y errores declarados por cada encuestadora, ¿qué probabilidad tienen los resultados expuestos? Una en 62.4 millones, algo así como ganar la lotería dos veces seguidas.

Pero esto no queda ahí, porque también para la interna colorada las encuestadoras, lejos de dispersarse en torno al valor real (73,3 % para Bordaberry - 25,8 % para Amorín), se concentraron en un rango que no contiene estos valores. Todas por encima para Bordaberry (75 % - 84 %) y todas por debajo para Amorín (14 % - 24 %).

Otra vez nos preguntamos qué probabilidad hay de que con los tamaños muestrales y errores declarados suceda algo así. Una en 664 millones.

Ganaron la lotería cuatro veces en un par de semanas. Tanta suerte no da ni para calificar como sospechoso.

Hacia una ley de Encuestas

Para curar de raíz las consecuencias de un uso tan sesgado y arbitrario de la valiosa herramienta encuesta, es imprescindible que Uruguay cuente con una ley de Encuestas que se base en tres pilares:

•  Registro de que se comenzó una encuesta. Las empresas encuestadoras deben anunciar a un órgano oficial que comenzaron a realizar una encuesta con el fin de difundirla en los medios. A partir de ello se deben dar dos condiciones:
•  Todas las encuestas que se comienzan deben obligatoriamente ser publicadas, al menos en el sitio web de la empresa, independientemente de su resultado.
•  Está prohibido difundir encuestas de las que no se registró el comienzo.
•  Publicación de los datos sin procesar. Junto con la difusión de una encuesta la empresa deberá publicar en su sitio web todos los datos “en crudo”, formulario por formulario y encuestado por encuestado, de modo que cualquier ciudadano pueda realizar sus propios cálculos a partir de la información relevada. 

Esta publicación deberá incluir explícitamente la información de cuántas personas se negaron a contestar la encuesta y excluir toda información personal sobre los encuestados.

•  Indicar otras fuentes de datos. Las encuestadoras deberán indicar si los porcentajes de intención de voto surgen exclusivamente de los datos relevados o si se tomaron otros datos para realizar cálculos o ponderaciones, como por ejemplo datos del censo, encuestas anteriores, etc.

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas públicamente. Se excluyen explícitamente las encuestas que se realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

Toda la información de base es de dominio público. Detalle sobre los cálculos, datos utilizados o código fuente de los programas:http://www.mordecki.com/html/leydeencuestascalculos.php o por mail a daniel@mordecki.com.

Por Daniel Mordecki