31 julio 2012

Encuestadoras Venezolanas, sus records y la Elección del 2012

El próximo 7 de Octubre los venezolanos escogeremos el presidente de la republica que gobernará los próximos 6 anos, las dos opciones: Hugo Chávez y Henrique Capriles Radonski. En este blog he hecho diferentes análisis históricos así como análisis de la evolución de las encuestas actuales. Lo que no he hecho es presentar un análisis que mezcle ambos. En esta oportunidad utilizo 64 encuestas para presentar un análisis de sesgo pro-gobierno y pro-oposición en cinco procesos electorales: El referendo revocatorio de 2004, la elección presidencial de 200, los referendos de 2007 y 2009, y la elección parlamentaria de 2010. Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). Veamos entonces los números.



Referendo Revocatorio de 2004

La figura 1 presenta la última encuesta, antes del revocatorio, llevada a cabo por cada una de las encuestadoras. Las barras horizontales azules muestran la predicción de votos de la opción opositora (SI), mientras que la barra roja muestra la intención de votos de la opción oficialista (NO). Las líneas verticales representan el resultado real de la elección. Entonces, cuando vemos la figura 1 se puede observar claramente que tres encuestadoras predijeron con relativa certeza el resultado electoral: Datanalisis, Hinterlaces y  Varianzas. Al contrario, dos encuestadoras predijeron que la oposición ganaría: Datos predecía que la oposición ganaría ampliamente mientras que Consultores 21 daba un resultado más parejo.


Figura 1. Predicción de la última encuesta antes del Revocatorio

Estos resultados se repiten cuando vemos el sesgo pro-gobierno y pro-opositor. En la figura 2 incluyo todas las encuestas de las diferentes encuestadoras durante el proceso del 2004. El gráfico incluye el promedio de las diferencias entre el resultado real y las predicciones de cada encuestadora. Como se puede observar, tanto Consultores 21 como Datos tienen sesgos significativos en favor de la oposición mientras que las otras tres encuestadoras muestran sesgos muy bajos.


Figura 2. Sesgo promedio por encuestadora en encuestas previas al Revocatorio


Elección presidencial de 2006

Como punto de partida para este análisis debo decir que no creo que la elección presidencial del 2006 sorprendiera a nadie. A través de todo el proceso se hizo evidente que Chávez ganaría sin mayores dificultades la elección contra Manuel Rosales. Sin embargo, siempre existieron rumores sobre el voto secreto y la “espiral del silencio”; esto, se argumentaba, haría la diferencia para darle la victoria a Rosales.
Los dos gráficos siguientes no representan ninguna sorpresa sino más bien una confirmación del análisis de esta elección. La mayoría de las encuestadoras pudieron predecir con relativa certeza los resultados, por ejemplo Consultores 21 tiene menos de un 5% de sesgo pro-oposición. La única encuesta que  exhibe un sesgo extremadamente alto en favor de la oposición es la realizada por el Observatorio Hanna Arendt, que utilizo lápices de tres colores como método para predecir el ganador, esto basado en la teoría dela espiral del silencio. Utilizando este método en el cual se divide la muestra de participantes en tres grupos y a los integrantes de cada grupo les corresponde votar con un lápiz de un color (amarillo, azul o rojo), se encontró una diferencia muy grande entre la intención de voto del grupo que votaba con lápiz rojo y del que votaba con lápiz azul.


Figura 3. Predicción de la última encuesta antes de la elección presidencial

Figura 4. Sesgo promedio por encuestadora en encuestas previas a la elección presidencial



Referéndum Constitucional del 2007


El referendo del 2007 es interesante porque fue una elección muy cerrada. Es también la elección en la que empezamos a ver la existencia de encuestadoras no-tradicionales con amplios márgenes de ventaja para el gobierno. En cuanto a los resultados vemos que tres firmas lograron predecir correctamente la elección en su última encuesta, estas son: Consultores 21, Datanalisis e Hinterlaces. Por el contrario, tres encuestadoras hicieron un análisis que distaba bastante de los resultados reales: 30.11 Consultores, IVAD y Keller.


Figura 5. Predicción de la última encuesta antes del referendo



La figura 5 compara la última predicción de cada encuestadora con el resultado de la elección. Cuando se promedian los sesgos de las diferentes encuestas vemos algunas diferencias (figura 6). Igual que en el grafico anterior vemos sesgos considerables en favor del oficialismo por Consultores 30.11 y por el IVAD. Vemos sesgos de tamaño mediano (5 puntos) por Datanalisis (en favor de la oposición) y Keller (pro gobierno). Y vemos sesgos pequeños en las encuestas de Consultores 21 e Hinterlaces. Estas diferencias son en parte debido a la naturaleza cambiante de la elección que se volvió más y más cerrada a medida que discurría la campaña.

Figura 6. Sesgo promedio por encuestadora en encuestas previas al Referendo





Referendo Constitucional 2009

Encontrar encuestas para el referéndum del 2009 fue bastante difícil. Para este proceso solo pude obtener datos verificables de 5 encuestas: 3 de Datanalisis y 2 de Hinterlaces. Sin embargo, dada la importancia de esta elección decidí utilizar un juego de datos que no pasaría los estándares normales de las publicaciones académicas: el artículo de Wikipedia sobre el referéndum del 2009. Gracias a este artículo logre obtener información de 23 encuestas de 8 encuestadoras diferentes. De estas encuestas, sin embargo, solo pude verificar independientemente 2 ya que los links de las otras no se encuentran activos. La figura 7 muestra la ultima encuesta para cada consultora. Como se puede observar existe un sesgo bastante alto en favor de la oposición. Igual que en los análisis anteriores, para cada una de las encuestadoras obtuve el promedio de sus errores (que se pueden observar en la figura 8). Como se puede observar Keller e Hinterlaces tienen los sesgos pro-oposición más grandes. Asimismo se puede ver como la mayoría de las encuestadoras erraron del lado de la oposición. Resulta interesante que tanto el IVAD como GISXXI, dos encuestadoras que usualmente tienen sesgos grandes, estuvieron acertados en esta oportunidad.


Figura 7. Predicción de la última encuesta antes del referendo

Figura 8. Sesgo promedio por encuestadora en encuestas previas al Referendo


Elección Parlamentaria de 2010

La ultima elección en la que participamos los Venezolanos, antes de esta elección presidencial que se avecina, fue la elección de los miembros de la Asamblea Nacional en 2010. Esta elección, como la del 2007, fue muy cerrada –por lo menos en cuanto al porcentaje de votos-. La diferencia de votos entre el gobierno y la oposición fue muy difícil de predecir y (como se puede ver en la figura 9) solo una encuestadora logro predecir en su última encuesta: Hinterlaces Consultores 21. Dos encuestadoras más estuvieron cerca también Consultores 21 Datanalisis y Varianzas, a su vez seguidas por Hinterlaces y GISXXI. Del otro lado de Hinterlaces Consultores 21 se encuentra GISXXI IVAD, que erró del lado del gobierno en más de 10 puntos porcentuales.

Figura 9. Predicción de la última encuesta antes de la elección parlamentaria



Mientras la ultima encuesta provee resultados interesantes, ver los promedios de estos errores nos da una idea mas completa de la elección. En la figura 10 podemos ver que tres encuestadoras tuvieron un sesgo pro-gobierno de mas de 5 puntos porcentuales: Datanalisis, GISXXI e IVAD. Una encuestadora, Keller, tuvo un sesgo mediano en favor de la oposición, y otras tres tuvieron sesgos pequeños en favor de la oposición: Consultores 21, Hinterlaces y Varianzas.


Figura 10. Sesgo promedio por encuestadora en encuestas previas a la elección parlamentaria


La elección del 2012

Que significa todo esto? Significa que las encuestadoras cometen errores, típicamente favoreciendo al mismo lado – aunque existe cierta variación. La tabla siguiente muestra el error promedio de cada encuestadora a favor del gobierno (fila superior) y a favor de la oposición (fila inferior). Números positivos indican que la encuestadora dio mayor intención de votos que los votos reales que obtuvo una opción. Números negativos indican que la encuesta daba números por debajo de la realidad. Por ejemplo, Datanalisis ha cometido errores tanto a favor del gobierno (2006 y 2010) como a favor de la oposición (2004 y 2007); lo mismo ocurre con el IVAD que ha cometido errores grandes pero en lados diferentes. Otras consultoras por el contrario son más consistentes en el lado al que tienden a favorecer. Por ejemplo, Consultores 21 tiende a favorecer a la oposición. Hay una encuestadora (de la que tengo poco conocimiento) que ha sido bastante consistente en tener errores muy bajos. Esta encuestadora, Varianzas, ha cometido errores que están dentro del margen de error de sus encuestas. Sin embargo, solo cuento con encuestas de dos procesos electorales para esta firma. La última columna indica el error promedio de los cinco procesos electorales para cada encuestadora.


Tabla 1. Sesgos por encuestadoras y proceso electoral


La tabla 2 muestra la ultima encuesta de cada encuestadora para este proceso electoral. Incluye las fechas de inicio y cierre de campo y la predicción. Yo agregue tres columnas que llamo predicción “corregida”. Dos de estas representan escenarios electorales diferentes. En el primer escenario, se piensa que la oposición esta por delante pero termina perdiendo (como en 2004 y 2009); este escenario utiliza el error del 2009 para generar una corrección. En el segundo escenario se piensa que el gobierno va por delante pero termina ganando la oposición (como en 2007 y –relativamente- en 2010); en este caso se utiliza el error del 2010 como factor de corrección. Finalmente existe un escenario intermedio que utiliza el promedio de los errores para corregir las diferentes predicciones de cada encuestadora.
La última fila de la tabla indica el promedio de todas las encuestas y todas las correcciones. Los tres escenarios “corregidos” apuntan a donde puede terminar la elección del 2012 en base a las encuestas actuales y en base a cada uno de los posibles escenarios. Por ejemplo, si la dinámica de la elección es similar a la del 2009 entonces esta elección presidencial seria como la del 2006 y terminaría en una victoria amplia de Chávez. Si, por el contrario, la dinámica es mas como las elecciones de 2007 y 2010 entonces los indecisos, o Ni-Ni, serán un factor importante. Según esta dinámica la diferencia entre Chávez y Capriles se reduciría a  12 puntos, con Chávez por debajo del 50%. Finalmente, utilizando la corrección en base al promedio Chávez tendría una ventaja de 19 puntos.


Tabla 2. Predicciones corregidas


En este punto tengo que decir que, en base a otros análisis que he realizado y puesto en este blog, me inclino hacia el escenario número 2 que indica que la elección se encuentra en 46-34. Esto no solo es consistente con mis análisis sino además con la estrategia opositora –de unidad- que se asemeja más a las estrategias del 2007 y 2010 que a la del 2004 o 2009.
En términos generales estos estimados muestran una contienda en donde Chávez tiene la delantera, pero por un margen menor que el numero de indecisos. La dirección que tome este grupo de electores podría alterar significativamente la contienda. Para ver esto más claramente veamos un último grafico. La figura 11 muestra la predicción corregida promedio para las 8 encuestadoras tanto para Chávez como para Capriles. Muestra también los valores máximos y mínimos para ambos (todo esto basado en el escenario 2). La forma de interpretar este grafico es la siguiente: Chávez esta en algún punto del rango entre 39 y 49, con un promedio de 46%. Capriles esta en el rango entre 27 y 43, con un promedio de 34. Estos rangos tienen 5 puntos de coincidencia, que significa es esta elección todavía no se ha decidido, especialmente si consideramos que la mayoría de estas encuestas se realizo antes de que la campaña comenzara oficialmente y que la gente empezara a prestarle atención a la elección.


Figura 11. Rango de predicción promedio corregida









****** Este post fue modificado el 1/Agosto/2012 debido a un error en la creación de la figura 9. Este error no altera ninguna de las estimaciones de sesgo presentadas en la última sección del artículo.

24 comentarios:

  1. excelente análisis. Conclusion: La cosa no esta facil para la oposición pero con mas de dos meses de campaña esta claro que cualquier cosa puede pasar. Seria interesante analizar las tendencias en pasadas elecciones y compararlas con las tendencias actuales. Quizas es mucho pedir pero seria interesante... Felicitaciones.

    ResponderEliminar
    Respuestas
    1. muchas gracias. A ver si un dia tengo tiemo y puedo hacer el analisis que dices. saludos

      Eliminar
  2. Hola, excelente analisis. Pero lo del 2009 contamina la muestra en mi opinión.

    Recuerda que a ultima hora Chávez "acepto" que se agregara la reelección indefinida no solo para el, si no tambien para todos los cargos de eleccion popular. Dudo que alguna encuesta haya podido hacer una encuesta despues de ese anuncio.

    De hecho, supuestamente ese anuncio se hizo, porque la enmienda no tenia el apoyo requerido.

    Tambien hay casos, que opositores votaron por el "SI" (En sitios donde el alcalde o gobernador son opositores), en el Estado Nueva Esparta hay data para sustentar eso.

    POr favor me gustaria ver el analisis sin tomar en cuenta el 2009.

    Muchas gracias.

    ResponderEliminar
    Respuestas
    1. Si, estoy de acuerdo que el 2009 es algo particular por diversas razones. Tomare en cuenta tu comentario para la proxima oportunidad hacerlo con y sin 2009.

      Saludos

      Eliminar
  3. IVAD 2004:
    http://www.eluniversal.com/2004/08/04/revo_art_04104B.shtml

    IVAD 2006:
    http://www.noticias24.com/actualidad/noticia/1007/encuesta-seijas-chavez-27-puntos-arriba/

    KELLER 2004:
    http://www.ieim.uqam.ca/IMG/pdf/Chro_0428_Ref_Venezuela.pdf (uLTIMA PAG)

    ResponderEliminar
  4. Fascinante análisis... aunque mi corazón tricolor me duela...

    ResponderEliminar
  5. Lo que me causa curiosidad es que en la última encuesta hecha por Hinterenlace, el porcentaje de oposición sea mucho más bajo que lo alcanzado por la oposición en las últimas elecciones. Muy raro. Es DEMASIADA diferencia.

    ResponderEliminar
    Respuestas
    1. Bueno, esos son criterios que hay que usar para evaluar la factibilidad de una encuesta.

      Eliminar
  6. Excelente análisis. La información que utilizas para hacer el estudio de donde la sacaste?

    ResponderEliminar
    Respuestas
    1. He logrado conseguirlos por aqui y por alla. Vienen de las presentaciones que preparan las encuestadoras.

      Eliminar
  7. Buenos días,

    Buen trabajo pero me llama la atención que no se ve reflejado los resultados de Hercon de Julio y Agosto, ni los de C21 de Agosto, ¿Alguna razón particular?

    ResponderEliminar
    Respuestas
    1. Hola Gustavo, la razon por la que no esta Hercon es porque este analisis solo incluye encuestadoras que dieron predicciones en elecciones anteriores. Como Hercon es nueva pues no tengo ningun punto de referencia para evaluarla.

      Sobre C21 pasan dos cosas. Primero, este post fue hecho antes de agosto (el 31 de julio). Segundo, no tengo ninguna confirmacion de la encuesta de C21 de Agosto, solo los rumores y eso lamentablemente no es suficiente para mi.

      Saludos

      Eliminar
  8. Excelente y laborioso análisis. Felicitaciones
    Sería fascinante poder tener tener un análisis de encuestas una vez iniciada oficialmente la campaña electoral. Por otra parte, me gustaría conocer tú opinión acerca de los resultados que daban algunas encuestadoras durante el período en el que Chávez estaba "enfermo" y no aparecía en medios y Capriles andaba recorriendo poblaciones por toda Venezuela. Hubo encuestadoras que dieron a favor de Chávez hasta 30 puntos de diferencia.
    Saludos y espero tus comentarios. Gracias

    ResponderEliminar
    Respuestas
    1. hola

      Ciertamente eso seria muy interesante voy a ver si puedo hacer algo al respecto.

      Saludos

      Eliminar
  9. Lo felicito, me parece que hizo un muy buen trabajo, en mi opinión sería de interés que se incluyera una estimación del error de muestreo para cada estimación puntual, de esa forma se podría verificar si en efecto alguna encuestadora tiene o no un sesgo hacia alguna tendencia, ya que si el resultado mostrado por el CNE, está en el intervalo de confianza, no sería justo hablar de sesgo.

    saludos

    Rubén Molina

    ResponderEliminar
    Respuestas
    1. Si, estoy completamente de acuerdo contigo. El error muestral de la mayoria de las encuestadoras es de 2.5 puntos. Una vez que salgan los resultados veremos que paso!

      Saludos

      Eliminar
  10. Estimado Amigo, anticipo diciéndote que soy de la oposición, pero revisando detalladamente lo asertivo de las encuestadoras a lo largo de varios procesos electorales que muestra tú estudio, infiero que DATANALISIS ha sido las mas consecuente y por ende la mas creíble; por lo cual uno pudiese inferir (aunque me duela) que los resultados que muestra a la fecha la encuestadora sean o serán los mas certeros?.

    Saludos y muy bueno el trabajo.

    ResponderEliminar
  11. saludos excelente estudio y lo mas sorprendente el panel de comentaristas con mucho nivel politico y alto grado de madurez asi se puede avanzar en este gran pais saludos a todos.

    ResponderEliminar
  12. Personalmente, creo que uno debe considerar más acertada, la encuestadora que prediga lo que ocurra en la realidad, mostrando el menor sesgo posible, es la premisa básica del positivismo, una visión de la realidad despojada de prejuicios o preconceptos, si bien admito que es muy difícil para una encuestadora no tener un corazoncito político de vez en cuando, pero en pro de su prestigio, debe construir sus muestreos basados en los parámetros mas objetivos posibles, donde se garantice la representatividad de los encuestados en función de su estratificación social, distribución geográfica, entre otros aspectos, que a mi criterio, en un país como este, son variables decisivas...

    ResponderEliminar
  13. Hola buenos días, quería hacer aqui la salvedad de que la Varianzas del 2004 no es la misma Varianzas 2010.

    La varianzas que aparece en 2004, muy criticada por cierto en su epoca, es la que posteriormente fue denominada Consultores 30.11. Cambiando su nombre debido a que anteriormente el término Varianzas estaba asociado a una empresa internacional.

    La varianzas que aparece en 2010 de nuevo en tus análisis, fue fundada en 2008 teniendo para esa epoca una encuesta sobre las elecciones de alcalde de Chacao que falló en el resultado.

    Saludos. MOydavyd@hotmail.com

    ResponderEliminar
  14. Saludos, muy fundamentado analisis felicidades ,tambien he tenido la portunidad de discutir y leer sobre mediciones, y entre esas tambien es interesante e importante,calcular el porcentaje ganado y perdido por el PSUV y la oposicion, o en este caso la MUD y su coalicion, acorde a mis conocimientos de aficionado,y es bueno ver que alguna data que relacionara estos muestreos. Tambien se puede medir apartir de las primarias y la cantidad de participacion, que usualmente duplica o triplica su numero en la eleccion final. Sacando numeros en el que se multiplique la participacion hacia la oposicion desde las primarias hasta el 7o en esa medida. Los 3 millones que participaron multiplicandose en una media extrema favarable hacia la mud de 2,5. El resultado seria aproximado a 7.500.000 de votos para Capriles, multiplicandolo por 2, osea el doble de participacion respecto a las primarias serian 6 millones de votos, y de 1,5 que seria extraño en este caso serian 4.5 millones de votos. El actual gobierno hace 6 años saco un numero cercano a 7.5 m de votos "Polo Patriótico
    Votos: 7.309.080 " Porcentaje 62.84% - apartir de este resultado hasta las elecciones parlamentarias ,el gobierno viene perdiendo un porcentaje cercano al 15% ,PSUV 5.423.324 Porcentaje 48.13%. Tomando en cuenta estos datos como se han mantenido las tendencias, a pesar de la maquinaria electoral del gobierno y el tiempo transcurrido, podria perder un 2% o 5% mas llegando muy cerca de un 20%. Esto y los adeptos ganados a la causa opositora, da una amplia posibilidad de triunfo a Capriles en estas elecciones .

    ResponderEliminar