20 octubre 2012

Encuestadoras Venezolanas, sus records y la Elección del 2012 - Actualización Post Electoral

Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). 


Después de una contienda electoral bastante larga, el pasado 7 de Octubre los venezolanos pudimos, finalmente, ir a las urnas y contestar la pregunta que todos nos hacíamos: Que encuestadora tenia la razón? La respuesta no es tan simple como pareciera y tratare en estas líneas explicar porque.

Me gustaría empezar por recalcar algo sumamente interesante que ocurrió en los primeros días después de la elección. Yo siempre he estado acostumbrado a ver los resultados electorales y escuchar a los políticos -ganadores y perdedores por igual- decir que ganaron, siempre me ha parecido una característica interesante de las elecciones. No importa el tamaño de la derrota, sus miembros siempre encontraran una forma de decir que ganaron con frases como “obtuvimos más votos que en el pasado” o “ganamos en esta región”. Lo que nunca había visto antes era a encuestadoras hacer esto también! Horas después de que los resultados de la elección se supieran varias encuestadoras empezaron campañas señalando como ellos acertaron los resultados. Esto, me parece a mi, completamente absurdo. Cuando las encuestadoras sienten que deben hacer más que simplemente reportar sus encuestas entonces tenemos problemas serios. Esto viene a colación por el punto que he tratado de hacer desde que comencé el blog: cuando encuestas realizadas en fechas similares muestran resultados tan diferentes como ventajas de 20 puntos a un candidato o de dos para el otro, entonces hay alguien que no esta bien su trabajo.

Recapitulando

Primero, hagamos un breve repaso a esta secuencia de posts. En las tres entregas anteriores he venido argumentando que las encuestadoras tienden a errar, típicamente, en una dirección específica, esto nos permite determinar unas medidas de sesgo con las cuales corregir las actuales predicciones. Usando todas las encuestas a mi disposición genere para cada elección el error promedio de cada encuestadora y utilicé esto como medida de sesgo. Estos términos de corrección se pueden apreciar en la Tabla 1.

 Tabla 1.  Sesgos por encuestadoras y proceso electoral



Los errores del 2012

Ahora que la elección terminó podemos repetir este ejercicio para las encuestas del 2012. Esto lo haré basado en un total de 107 encuestas que he recopilado. La Tabla 2 muestra el número de encuestas por cada encuestadora. Como se puede ver Datanalisis y GISXXI son las dos encuestadoras con mas encuesta (22 y 17 respectivamente)

 Tabla 2. Número de encuestas por encuestadora par alas elecciones 2012





Igual que hice en el post original de Julio voy a comenzar por ver la última encuesta de cada encuestadora. Como ya sabemos los resultados de la elección utilizare los números “polarizados”. Los números polarizados toman en cuenta solamente la intención de voto para cada una de las opciones (en este caso Chávez y Capriles) y de esta forman suman 100%. Para hacer esto se divide cada intención de voto por la suma de ambas opciones. Por ejemplo, si una encuesta daba la elección 53-35 a favor de Chávez entonces la intención de voto polarizada seria:

 Chavez =53/(53+35)=53/88=60.23 ; Capriles = 35/(53+35)=35/88=39.77

La figura 1 muestra en barras horizontales la intención de voto que cada encuestadora le dio a Capriles; y en barras horizontales rojas la intención de voto por Chávez. Las dos líneas verticales muestran los porcentajes de votos obtenidos por Chávez (55.12%) y por Capriles (44.24%)[1]. Como se puede ver la encuestadora que estuvo mas cerca del resultado fue GISXXI seguida de cerca por Datanalisis. El resto de las encuestadoras, excepto Varianzas, tuvieron errores de más de cinco (5) puntos porcentuales.



Figura 1. Ultima encuesta antes de la elección presidencial 2012



Sin embargo, como también he dicho en oportunidades anteriores, dadas las diferencias tan grandes en números y predicciones que observamos durante el ciclo electoral ver solamente la última encuesta no nos permite analizar apropiadamente el sesgo de las encuestadoras. Durante la campana electoral las diferentes encuestadoras dieron versiones extremadamente diferentes de una misma realidad y es mi opinión que esto debe ser considerado en la estimación de sesgos, especialmente para evaluar encuestas durante la campana. Basado en esto junte todas las encuestas de cada una de las encuestadoras y genere el error promedio para las predicciones de intención de voto tanto para el gobierno como para la oposición. La figura 2 muestra estos números. Lo primero que es interesante ver es que a pesar de la exactitud de la última encuesta del GISXXI (Casi perfecta) sus encuestas durante la campana fueron bastante diferentes. GISXXI es efectivamente la encuestadora con los sesgos pro-Chávez mas grandes. Por el contrario la encuestadora con los sesgos promedios más pequeños fue Datanalisis, seguida de Varianzas e Hinterlaces. La tabla  muestra los números de sesgo para cada una de las encuestadoras en la base de datos recopilada. Números negativos significan que la intención de voto reportada fue menor que el numero actual de votos y números positivos indican que la intención de voto sobre-reporto la realidad.



Figura 2. Sesgo promedio para el gobierno y la oposición en las encuestas del 2012




Tabla 3. Error promedio por encuestadora en la elección 2012




Con estos resultados a la mano podemos entonces actualizar la primera tabla para que incluya los sesgos de esta elección. Con respecto a esta nueva tabla podemos resaltar varias cosas. 
  • Primero, 30.11 Consultores tuvo un sesgo similar al de la elección del 2007. 
  • Consultores 21 mejoro con respecto a sus peores predicciones en 2004 y 2009, pero empeoro con respecto a sus mejores momentos y paso el umbral de mas de cinco (5) puntos de sesgo. 
  • Datanalisis tuvo uno de sus mejores desempeños con errores que bordearon el margen de error. 
  • GISXXI logro empeorar su pobre desempeño del 2010 al pasar la línea de los diez (10) puntos en sesgo pro-gobierno. 
  • Hinterlaces mejoro su peor predicción del 2009 pero empeoró con respecto a sus mejores resultados en los que estuvo a décimas de los resultados reales. En esta oportunidad el error pasó de los tres puntos logrando estar fuera del margen de error estadístico. 
  • El IVAD tuvo sesgos de cerca de cinco puntos que es cercano a su promedio. 
  • Finalmente, Varianzas, logro empeorar su desempeño con respecto a su record previo manteniendo consistencia en su sesgo oposición. Igual que Hinterlaces su error esta dentro del margen de cinco puntos pero pasa los tres puntos porcentuales.


 Tabla 4. Sesgos por encuestadoras y proceso electoral - con actualización 2012





Con esta última contribución a este blog (Venezuelan Politics and Human Rights) me gustaría reiterar el argumento que he estado tratando de hacer desde el principio. Diferencias tan grandes entre encuestas no son el resultado de simples errores estadísticos. Definitivamente hay algo mas sucediendo entre las encuestadoras venezolanas. No importa si eso que ocurre es que las encuestadoras son incompetentes o están jugando a la política, eso esta de mas. Lo que si importa es que estas diferencias reducen la confiabilidad, no solo en las encuestadoras, pero en el sistema político. Las encuestas ayudan a crear expectaciones y permiten que los diferentes escenarios sean considerados por los actores en juego quienes planifican en base a estos sus acciones. Cuando existen números tan dispares quienes pagan el precio son las instituciones. Por ejemplo, la mayoría de quienes creen que hubo fraude basan su racionalización en base a lo que decían algunas encuestas. Por lo tanto, si estamos interesados en construir instituciones duraderas y estables necesitamos mejorar los procesos de creación de conocimiento que las afectan. Una vez más llamo a las encuestadoras venezolanas a que formen una asociación y establezcan estándares profesionales como se hace en otros países.


Establecer estándares de divulgación como los del Consejo Nacional de Encuestas Publicas de los Estados Unidos (NCPP por sus siglas en ingles) por ejemplo solo ayudara a mejorar la industria de encuestas. Estos principios de divulgación son usados en países como los EEUU, el Reino Unido y México. En estos países las encuestadoras –a través de asociaciones- se han comprometido a proveer una considerable cantidad de información de sus productos. Es interesante resaltar que mientras en los EEUU y el Reino Unido esto ha sido un proceso que nació como iniciativa de las encuestadoras mismas, en México fue establecido mediante regulación de la autoridad electoral (el Instituto Federal de Elecciones – IFE). Sin embargo, de una forma u otra, en estos países las encuestadoras hacen pública información de sus encuestas como por ejemplo: el cuestionario completo y el orden exacto de las preguntas, los patrocinantes del estudio, y tabulaciones de las respuestas en todas las preguntas hechas públicas. Y estos detalles son solo una pequeña parte de los principios de divulgación del NCPP que promueve inclusive que sus miembros hagan pública la data de las encuestas –eliminando cualquier forma de identificación de los encuestados. Como ya dije días antes de la elección (Un llamado a la transparencia) mientras mas información se hace publica mejores conclusiones se pueden sacar de esta.


En Venezuela, el Consejo Nacional Electoral (CNE) tuvo un intento fallido de regulación similar al del IFE Mexicano. La regulación de las elecciones presidenciales del 2012 establecía algunos requerimientos de las encuestadoras. Toda firma interesada en hacer del conocimiento publico sus encuestas tenia que registrarse en el CNE y tenia que hacer publica cierta información básica de cada encuesta. Sin embargo, como ya argumente cuando se estableció esta regulación (Sello de Calidad CNE), esta es insuficiente para generar un control adecuado o proveer un nivel de divulgación relevante ya que la información requerida es información básica como tamaño de la muestra, fechas de campo, y estrategia de muestreo. En pocas palabras esta regulación del CNE fue mas un gesto vacío que una verdadera política pública que buscara de cierta forma poner algo de orden y generar mayor transparencia en el campo de las encuestas electorales.


No puedo terminar sin antes agradecer a David Smilde (moderador del blog Venezuelan Politics and Human Rights) por invitarme a escribir estos cuatro artículos para su blog. Espero haber contribuido a los propósitos de éste. 




[1] Estos números fueron obtenidos de la página web del CNE el 19 de Octubre.

2 comentarios: