Esta semana se publicó una nueva versión de la encuesta CADEM, la que entregó resultados que nos permiten concluir, una vez más, que las encuestas de opinión en Chile son, metodológicamente, una vergüenza.
Se tenía que decir y se dijo. Gracias, será hasta un próximo editorial.
PD: No puede ser que los medios de comunicación nacionales sigan dando tanta relevancia a supuestos estudios de opinión como la encuesta Plaza Pública de CADEM, Pulso Ciudadano de ACTIVA Research, y a otras mediciones igualmente cuestionables, como Agenda Ciudadana de CRITERIA Research, e incluso la histórica Encuesta CEP.
Hago este editorial con la esperanza estadística de que usted tome distancia critica la próxima vez que le saquen ese clásico comodín que sepulta cualquier argumentación: “Según la tal encuesta, la gente en Chile opina esto o aquello”.
Usted dirá: ¿Pero cómo se atreve este periodista de un medio insignificante a cuestionar tan prestigiosas empresas nacionales de opinión pública? Con la misma autoridad que usted, estudiando métodos de encuestas y estadística básica, podría llegar a las mismas conclusiones.
Me explico: una encuesta, si bien no es un censo, debe cumplir con criterios mínimos de calidad técnica, por ejemplo:
- Que la muestra sea representativa del universo poblacional
- Que cada individuo tenga la misma probabilidad de ser elegido
- Que la técnica de encuesta evite el sesgo de selección
- Que presente una baja tasa de no respuesta
- Que el cuestionario no induzca a error
- Entre otros.
Veamos qué significa esto de manera práctica aplicada a una medición cualquiera, digamos… el escenario político nacional.
Todas estas encuestas mencionadas comparten un mismo problema central, que es el tamaño de la muestra. La CEP (que bordea los 1500 casos) es la más grande. El resto, se encuentra por debajo de los 1000 casos. El tamaño muestral de calidad para una población como la chilena de 17 millones debería ser, aproximadamente, de 1850 casos, al 99% de confianza y con un margen de error de 3% como la Encuesta CEP.
Con menos de 1000 casos, habrá un margen de error cercano al 5%, vale decir: si el apoyo real a la figura de Joaquín Lavín como presidenciable es de 10%, una encuesta como la ACTIVA (febrero 2020) podría entregarle entre 15% y 5%. Podríamos cerrar el caso aquí simplemente señalando que esos 10 puntos, en términos electorales, equivalen a 1.470.000 del padrón en el SERVEL, o sea: 33 votos por mesa.
Para que se haga una idea: eso es poco menos que toda la votación que consiguió Alejandro Guiller en la primera vuelta presidencial el 2017 (obtuvo 1.498.040 votos). Y que el mismo Joaquín Lavín perdió en segunda vuelta presidencial contra Ricardo Lagos por diferencia de apenas 1 voto por mesa. La CADEM contempla una muestra de apenas 705 casos, y la CRITERIA un poco más de 950 casos. Saque sus conclusiones.
El tema no termina ahí. Porque un investigador podría tratar de corregir la incapacidad práctica (económica) para seleccionar una muestra representativa del universo nacional, seleccionando integrantes de grupos representativos de la realidad social: en Chile, según estadísticas oficiales, la población está compuesta por 51% de mujeres y 49% de hombres, un 12,8% se considera indígena, se estima en un 20% a los evangélicos, 24% son jóvenes, el 3% de la población pertenece al segmento AB (la clase alta), y así hasta conformar una muestra “estratificada”.
El problema en este caso es doble. Primero, los porcentajes nacionales, regionales y comunales de estos grupos varían significativamente (por ejemplo, en Santiago el 1% es del llamado segmento AB, en tanto que a nivel nacional es 3%). Segundo, se debe cumplir que cada integrante de la muestra tenga la misma probabilidad de ser elegido, un muestreo probabilístico. Sin embargo a excepción de la Encuesta CEP el diseño de las demás “encuestas de opinión” en Chile no es probabilístico, si no apenas “aleatorio” o simplemente “estratificado”. En el caso de la CADEM, la ACTIVA y la CRITERIA, la encuesta se basa en un panel (un grupo de personas seleccionadas arbitrariamente por el investigador).
Supongamos que esos centros de estudio tienen tan “buena suerte” que seleccionan para ese panel justo a la gente más representativa de su respectivos segmentos. Se hace un sorteo, y ahora toca aplicar la encuesta (encuestarlos). ¿Dónde o cómo se encuentra a esa gente? Sorpréndase: la CADEM realiza encuesta telefónica a un celular, prepago y pospago. La CRITERIA un panel online, lo mismo que hace ACTIVA.
La CEP nuevamente es la excepción, pues realiza muestreo probabilístico, estratificado y aleatorio en cada nivel del estudio, y realiza la encuesta cara a cara. Pero la metodología del panel, sumado al escaso volumen de la muestra, carece de rigurosidad científica. Hagámonos algunas preguntas: ¿Qué hace a esas personas del panel mejores representantes de las opiniones de otros con similares características? ¿Qué garantiza que los poseedores de un teléfono celular (y no los que usan teléfono fijo) o los que tienen acceso a internet y habilidades digitales para responder, son mejores portavoces de una realidad social?
Esto se traduce en varios sesgos de selección, y por ende una representación errónea de la opinión pública: el sesgo del investigador al elegir su muestra (especialmente el sesgo de las variables o características que selecciona, para segmentar el panel) el sesgo de aquellos que usan celular (versus aquellos que no tienen, o tienen más de uno) el sesgo de los que tienen acceso a internet o mayores habilidades digitales, etc.
Hay además otro sesgo que se genera con este tipo de metodologías, y es la alta tasa de no respuesta. En el caso de la CADEM, reconocen llamar a poco más de 3700 números del panel, de los cuales contesta apenas el 19% (vale decir: 81% de los que reciben el llamado decide NO contestar la encuesta). La ACTIVA reconoce una tasa de respuesta del 12% (88% de no respuesta). CRITERIA ni siquiera lo menciona.
¿Por qué los seleccionados no contestan? ¿Será gente muy ocupada? ¿Gente que no contesta números desconocidos? ¿Gente que no da su opinión política a terceros, por miedo a ser objeto de seguimiento? ¿O será gente a la que no le interesa la política, y que en definitiva NO vota? ¿Quiénes son estas personas que regalan su tiempo para responder una encuesta telefónica u online? ¿Gente muy motivada a dar su opinión?
Nuevamente, la CEP (diciembre 2019) marca un contrapunto: el nivel de respuesta cara-a-cara a su cuestionario es de aproximadamente 71%. Además, en caso de no encontrar a la persona seleccionada al azar, o si no hay respuesta, insisten y buscan encontrar un reemplazo que conteste (otra persona del mismo territorio).
Superando todos estos escollos metodológicos, existe un último desafío de calidad que deben superar las encuestas de opinión es el cuestionario propiamente tal. No debe inducir a error, ni a la persona encuestada ni para el resultado de la investigación.
Es distinto preguntar, por ejemplo:
“Qué tan de acuerdo está con que se cambie la actual constitución de Chile”
A preguntar:
“En el próximo plebiscito de abril 2020 ¿usted irá a votar?” (SI o NO)
“En caso que su respuesta sea SI, usted votará:
¿APRUEBO o RECHAZO? / Estoy indeciso”
La primera forma de preguntar no indaga directamente sobre la decisión que se juega en el próximo plebiscito constitucional, pudiendo significar un “cambio a la actual constitución” una reforma constitucional, en aspectos puntuales, sin «hoja en blanco». La segunda pregunta arroja un dato más preciso, ya que posee un doble filtro: Pregunta si la persona pretende ir a votar (o no) el 26 de abril, y si en ese virtual escenario ya tiene una opción tomada. Generalmente los indecisos son el “voto blando”: gente que no tiene mayor compromiso ideológico previo, y son el botín electoral de las campañas. Incluso puede que decidan ir a votar el mismo día de la elección.
ACTIVA realiza tanto la primera como la segunda pregunta, frente a lo cual un 73% (o sea: 762 personas) dicen estar “de acuerdo o muy de acuerdo” en cambiar la constitución. Y un 69% (o sea: 721 personas) señala que “quiere” una nueva constitución, aunque eso (según el cuestionario) no significa que vaya a votar “Apruebo”.
En el caso de la CEP, pregunta: “¿Usted aprueba o rechaza una nueva constitución?” (Aprueba 67%, Rechaza 13%, y no sabe: 20%) omitiendo por completo el criterio previo: saber si la persona votaría o no en el plebiscito de abril, o si tiene su decisión tomada (en el caso dado que fuera el próximo domingo).
¿Se entiende? La forma de preguntar obtiene datos distintos, evidentemente.
Así que cuidado con sobre dimensionar el valor explicativo de las encuesta de opinión en Chile. Si fuera por encuestas, Piñera habría ganado fácilmente en primera vuelta el 2017, José Antonio Kast habría obtenido entre un 1% y un 3% ese mismo año y Franco Parisi en 2013 no habría obtenido la mayor votación de un independiente en la historia de las presidenciales.
«La balanza falsa es abominación al SEÑOR,
Pero el peso cabal es Su deleite»
Proverbios 11:1