Si los datos desafían al sentido común... prescindamos del sentido común

Hace unos días criticábamos que el Heraldo de Aragón se había hecho eco alegremente de una encuesta en Internet sobre gente que se dormía en el trabajo. Por si entonces no quedó claro, hay que recordar que las encuestas en Internet no son representativas de la población, normalmente, por una cadena de motivos:
a) La gente que usan Internet son un grupo especial, no representativo de la población;
b) Los que están viendo una página concreta son a su vez un subgrupo específico, no representativo ni siquiera de los usuarios de Internet;
c) Los que ven en una página que hay una encuesta sobre un tema y se molestan en contestar son de nuevo un subgrupo de un subgrupo: gente que tiene suficiente interés por el tema para pasar unos segundos respondiendo y curioseando sobre el resultado.
Por todas esas razones, las respuestas a encuestas colocadas en páginas web, a las que la gente responde voluntariamente no sirven para casi nada más que como puro entretenimiento. Como mucho, pueden dar una idea aproximada de lo que piensan los lectores de esa página web.
Pues bien, el domingo 16 de mayo El País nos deleitó con un reportaje de una página completa sobre "Parejas de la era Internet" (de pago), que tenía el subtítulo "Un 17% de los internautas españoles ha tenido relaciones con personas que conocieron en la Red". Ante lo ambiguo de la expresión "tener relaciones", si seguía uno leyendo, se encontraba con la siguiente frase, que en parte aclara, pero en parte contradice la anterior: "Casi un 17% de los internautas españoles tiene una pareja a la que conoció por Internet, según un estudio de ya.com."
No hace falta leer más para saber que algo (mucho) va mal.
Para empezar el subtítulo y la primera frase de la noticia dicen cosas muy distintas. No es lo mismo "haber tenido [en algún momento, quizá una vez] relaciones con" personas conocidas en Internet, que "tener [en presente] una pareja" a la que se conoció por Internet. O una cosa o la otra. La primera, según como se definan "relaciones" puede ser algo más creíble, pero la segunda suena simplemente imposible.
Sentido común: la capacidad de pensar uno por su cuenta, y a partir de la experiencia propia, combinada con un poco de imaginación razonable sobre las partes de la sociedad que uno no conoce directamente llegar a la conclusión de "esto puede ser verosímil", "esto no lo es". Algo que el público lector debería tener, pero sobre todo algo que deberían tener los periodistas.
Apliquémoslo al caso: haga una pequeña lista mental de todas las personas que conoce y que sean usuarios de Internet (piense en todas las personas de su agenda de direcciones). ¿Cuántas de esas personas tienen una pareja a la que hayan conocido por Internet? ¿Cuántas de esas personas han podido "tener relaciones" con personas conocidas a través de Internet? ¿Una de cada seis?
Naturalmente, forma parte del sentido común reconocer que el mundo no se reduce a nuestro entorno inmediato: los usuarios de Internet son más jóvenes, por tanto muchos de ellos sin relaciones estables, quizá menos conservadores que la media de la sociedad española, aficionados al chat... También habrá gente sóla que en cierto modo se convierte en Internauta precisamente como un medio adicional para conocer gente... Muy bien, pero, ¿hasta hacer llegar la estadística del total de los internautas a uno de cada seis?
En fin, que no puede ser.
¿Y de dónde vienen los datos? ¿Es posible que El País haya caído en la trampa tonta de reproducir datos de encuestas en páginas web? La referencia a un estudio proveniente de ya.como hacía temer lo peor. Pero no es del todo así. El estudio "Las relaciones personales a traves de Internet" es un intento "serio" de estudiar a los usuarios de Internet, para lo que se ha intentado crear una muestra representativa de todos los usuarios de Internet, y se ha enviado a esa muestra un email con el cuestionario, obteniéndose una tasa de respuesta relativamente alta del 66%. Y en el estudio se dice, efectivamente, que el 16,8% de los encuestados mantiene o ha mantenido una relación de pareja con alguien conocido en Internet. Vaya por Dios, ninguna de las dos frases utilizadas al comienzo del reportaje era correcta.
Con todo, los propios autores del estudio advierten: "esta encuesta no responde a los requisitos del muestro probabilístico, donde todos los individuos del colectivo bajo estudio tienen una probabilidad conocida de ser incluidos en la muestra". En lenguaje común: que no se puede garantizar que los que responden sean un grupo representativo del total de los usuarios de Internet.
Pero estas aclaraciones aparecen al final de la segunda página del texto donde se explica el método del estudio, antes de dar paso a las tablas. ¿Es demasiado pedir que el periodista se lea esas dos páginas?

Comentarios hasta el 26-12-09

El estudio de ya.com parece, a diferencia de la noticia del periódico, bastante serio, con sus limitaciones claro. La más importante es que la base de la que se obtiene la muestra tiene mucho de "autoseleccionada": parece captarse de dos maneras, enviando un e-mail a los que están dados de alta (no sé en qué condiciones) en ya.com pidiéndoles que participen en la encuesta y, por otra parte, poniendo publicidad en otros sitios de internet. Es decir, están respondiendo, en el fondo, quienes atienden a un reclamo publicitario, lo cual puede implicar un sesgo. Tampoco está del todo claro, en la información que presenta ya.com (investigacion.ya.com/archivos/metaScore.pdf) si se trata de un reclamo genérico o lo repiten ad hoc para cada encuesta. (sigue...) Wonka | Email | Homepage | 20.May.04 - 18:24 | #

Eso sí, intentan controlarlo estableciendo cuotas basadas en el Estudio General de Medios, pero quizá el sesgo sea inevitable: no todo el mundo se deja llevar por los reclamos publicitarios y este dejarse llevar no tiene por qué estar asociado a variables sociodemográficas fácilmente medibles. Hacen bien, por tanto, en advertir de los problemas de representatividad de la muestra. En todo caso, el sesgo hacia usuarios muy "aventajados" de internet es claro: nada menos que un 39% dice haber utilizado alguna vez un servicio de "videoconferencia" (¿chat con webcam?) para establecer relaciones personales a través de internet y un 44% usan "siempre" (¿qué quiere decir "siempre" aquí? el Messenger con ese fin. Y nada menos que un 50% ha quedado con alguien (en bastantes casos con más de una persona) que había conocido sólo por Internet y de ésos, nada menos que un 40% ha tenido relaciones amorosas con alguien a quien había conocido de este modo. (sigue...) Wonka | Email | Homepage | 20.May.04 - 18:25 | #

Lo cual representaría un 20% de los internautas, nada menos. Y nosotros, internautas avezados casi de primera generación, sin enterarnos. Bueno, al menos yo. Respecto a tu pregunta final, sí, es demasiado pedir al periodista que se lea la ficha técnica; está acostumbrado, con perdón, a regurgitar una nota de prensa, más o menos aderezada o adecentada, y le cuesta mucho leer más de dos páginas. Wonka | Email | Homepage | 20.May.04 - 18:25 | #

Las encuestas autoadministradas en la web nos van a traer por la calle de la amargura .... y cada vez va a haber más ... llegan cada vez más peticiones de acceder a responder con el estímulo de premios .... Y la mayor parte no están tan lejos de los periodistas con alcachofa que dicen frente a la cámara "hemos hecho una encuesta" y entrevistan a tres viadantes. Salvatierra de Barros Salvatierra de Barros | Email | Homepage | 20.May.04 - 20:03 | #