3 de noviembre de 2004

Hablando de encuestas

Cuando escribo esto (casi las siete de la mañana) aún no sabemos quién será elegido Presidente de los Estados Unidos (aunque las cosas pintan bastante bien para Bush). Es un buen momento para hacer una reflexión sobre las encuestas. Mi página favorita durante la campaña (quizá es tarde para hablar de ello, pero ha prometido un interesante "post-mortem" sobre el grado de acierto de las encuestas) es Electoral Vote Predictor, que día a día iba analizando los resultados de las encuestas estado por estado, y calculando, en base a ellas, la composición del "Colegio Electoral", que es, como todo el mundo sabe ya después de lo del 2000, lo que cuenta de verdad para elegir al POTUS.

El autor de la página, que sólo ayer hizo público su nombre y biografía (es, vaya por Dios, profesor de Universidad, estadounidense, pero residente en Amsterdam), ha compilado una excelente serie de artículos sobre las enormes dificultades a las que se enfrentan las encuestas electorales para atinar en sus estimaciones: gente sin teléfono fijo (la típica encuesta en USA se hace por teléfono, no en persona); gente que discrimina las llamadas según el número entrante; tasa abismalmente baja de personas que están dispuestas a contestar a las encuestas; el problema de estimar si la persona que responde votará o se quedará en casa; el problema de "ponderar" o no la muestra para reflejar la composición demográfica (o política) de los votantes habituales... Todo esto explica las enormes variaciones entre encuestas hechas con pocos días de diferencia (o a veces el mismo día) en algunos estados, los errores catastróficos de algunas encuestas políticas, y en gran parte, la mala prensa que las encuestas tienen entre la gente común, pues toman las encuestas electorales, las más visibles y comentadas, como prueba de que "uno no se puede fiar de las encuestas".

Sin embargo, las encuestas electorales son, si se me permite la broma, una "muestra poco representativa" del conjunto de las encuestas. En efecto, si queremos saber si, por ejemplo, la sociedad española está a favor o en contra de facilitar los trámites de divorcio, como ha propuesto el gobierno, no tenemos que distinguir entre españoles en general y "probables votantes". Nos interesa la opinión de la sociedad, sin más. Tampoco tenemos que afinar el resultado con mucha precisión. Si obtenemos, qué se yo, un 42% a favor, un 38% en contra y un 20% de indecisos, sabemos ya lo más importante: que la sociedad está dividida sobre el asunto, casi a partes iguales, con una parte importante que no se ha hecho no una idea. Nos es bastante indiferente que el resultado sea 42-38 ó 40-40. En cambio, en unas elecciones esa diferencia es crucial. Además, al menos en España, preguntar a la gente por sus votos es casi tan indiscreto como preguntarles por su vida sexual: una parte muy importante de la gente oculta deliberadamente su voto, aún cuando responda a otras preguntas de las encuestas.

Por todo ello, el público tiene una versión a mi juicio un tanto injusta de las encuestas, como algo fiable, manipulable y en definitiva prácticamente inútil como instrumento para conocer la realidad social. Es una pena, porque las encuestas bien hechas sí que nos dan información muy valiosa.

Tampoco contribuyen al buen nombre de las encuestas los cuestionarios administrados que aparecen en muchas páginas web, en los que se pide a la gente que exprese su opinión sobre un asunto, y se dan los resultados sin indicación ninguna de que no tienen validez como estudio representativo ni de la sociedad en su conjunto ni tan siquiera del público que usa Internet o visita la página en cuestión.

Por ejemplo, tal día como hoy 2 de noviembre, ABC incluye en su página web una encuesta sobre quién ganará las elecciones USA (se pide la predicción, no el deseo), que ofrece el siguiente resultado, cuando yo la veo:



Otro ejemplo, esta vez de El Mundo, sobre otro tema reciente, los distintivos autonómicos en las matrículas:



Ni uno ni otro mencionan que los estudios no son representativos, y el de El Mundo, para más guasa, dándose un aire de respetabilidad y seriedad, suelta eso de que es un resultado provisional "pendiente de revisión de votos fraudulentos". ¡¡¡Como si eliminarlos fuera a darnos un resultado de alguna manera representativa de algún grupo social!!! (Por cierto, que esa nota, por lo visto, nunca desaparece de los resultados, ni siquiera de las encuestas hechas hace años, como éstas de 2002).

En fin, hay que reconocer que El País lo hace un poco mejor, como se ve en la encuesta en vigor sobre quién querrían los lectores que ganara en los Estados Unidos:



La nota de advertencia es un tanto oscurilla, pero ya advierte al lector que no se deben tomar muy en serio los resultados. Lo cual por otra parte es obvio, porque nadie se creería que son más los lectores de El País que quieren que gane Bush frente a Kerry, con una diferencia de 61-37. Podría hacerse bastante mejor, pero en fin.

De todos modos, quien se lleva la palma a las peores encuestas online es Libertad Digital. No sólo la publicación de resultados carece de toda advertencia sobre la no representatividad, sino que las preguntas y respuestas están formuladas, en muchos casos, de forma absolutamente sesgada, con listas de respuestas que no son ni exhaustivas, ni excluyentes, y que no pierden oportunidad de dar estopa ya saben ustedes a quien. Esta es una de mis favoritas:



Hombre, se le ocurren a uno otras respuestas posibles. También es posible que todo ello sea una coña, pero en la página de LD desde luego no lo dicen por ningún lado. Las "encuestas", por llamarles algo, las hacen al alimón con la Cadena Cope, y tampoco he oído allí que digan que todo ello es puro cachondeo y que no sirven para nada. Quizá el público lector de Libertad Digital y oyente de la Cope ve el obvio disparate y no necesita que le digan que todo esto hay que tomárselo a cachondeo. Puede ser. Pero una notita por alguna parte no vendría mal. No vaya a ser que alguien se lo crea. Que inocentes y/o tontos hay en todas partes, y también, claro, entre los lectores de LD y oyentes de la Cope.

Actualización (9 de noviembre): sólo dos días después de colocar este artículo alguien de Libertad Digital me escribió indicando que habían introducido en su página con resultados de encuestas este texto:

Nota: La pregunta del día no admite más que una votación por cada IP cada media hora. Sus votos reiterados no influirán en el resultado final de la votación. Esta pregunta no tiene carácter científico; ni las posibilidades de respuesta son exhaustivas ni los resultados son representativos del conjunto de la población española.

Es mejorable, pero representa sin duda un paso adelante. Y una disposición de Libertad Digital para aceptar la crítica que resulta muy de agradecer.


Comentarios hasta el 27-12-09

Pues no se pierdan Vds. el artículo que publicó Jaime Capmany en ABC donde contrastaba los datos de pregunta de una encuesta del CIS con los resultados que le daba esa misma pregunta a sus amigos. ¡Hombre! uno puede tener muchos, muchísimos amigos pero de ahí a pensar que su libreta de direcciones es una muestra representativa de la población española. Es cuestión de ir a la hemeroteca y localizarlo, ahora no lo tengo a mano.

En efecto, las encuestas de Libertad Digital tienen delito. Y mucho. Es lo peor que he podido ver. Cuando ellos quieren que digas Si, todas las respuestas dicen Si. Cuando ellos quieren que digas No, todas las respuestas dicen No. Es difícil elegir así. Imposible.

Bueno, las encuestas de Libertad Digital son una mala copia de las de portales como slashdot o barrapunto... sólo que en estos queda bien clara la intención "no científica" del asunto (por ejemplo, con la simple inclusión de una última opción, jocosa y claramente reconocible como tal).

estoy de acuerdo. soy oyente habitual de la cope (solo la información, no soy creyente) y lector asíduo de LD y siempre he pensado que las encuestas no eran más que una broma. pero es algo que debe avisarse. más que nada porque estos dos medios critican a la competencia cuando publican encuestas sesgadas y no deberían hacer lo mismo.

¿Una broma? Las analizan muy seriamente...poca broma.

Cuando he escuchado algún comentario sobre encuestas en la COPE, puedo asegurar que los periodistas ofrecían los datos, no solamente como científicos, sino como VERDADES ABSOLUTAS. Por supuesto esos datos eran los que avalaban sus propias tesis. Una cosa es la objetividad, simplemente imposible, y otra el fanatismo y el proselitismo. Como siempre... demasiados "ismos".

¿qué es COPE? ¿qué es Libertad Digital?

Jaja...

leo LD con bastante asiduidad y escucho la COPE los fines de semana.

La verdad es que las encuentas siempre me han parecido claramente de cachondeo, y aunque coincido con un comentarista anterior en que no estaría de más avisarlo, he recordado este artículo que me hace preguntarme si de verdad merece la pena.
A lo mejor habría que añadir la opción "Yes" al final de las encuestas para que nadie poco lúcido tenga dudas.

Respecto al análisis de estas encuestas en COPE, no he oído muchos, pero me ha parecido que se dedican a ello con el mismo humor sarcástico que tantas ampollas levanta. Como la proporción de tontos entre los radiooyentes debe ser más alta, quizá aquí sí que deberían referirse más a la representatividad de la muestra y estas historias, para proteger a la gente de sí misma.

De todas formas, si te engaño una vez, la culpa es mía; si te engaño la siguiente...

No hay comentarios:

Publicar un comentario

Gracias por participar. Si quieres que otros lectores puedan debatir contigo, por favor, no firmes como "Anónimo" a secas. Usa la opción "Nombre/URL" e invéntate un nombre, aunque sea "Anónimo33", "ABC" o "123", para que podamos dirigirnos a ti, y tus comentarios no se confundan con los de otras personas.
Los comentarios de las entradas menos recientes son revisados por mí y no se publican inmediatamente.