14 de diciembre de 2007

Drogas+videojuegos=noticia irresistible

Me ha escrito Juampa para quejarse de que una noticia de Elpais.com, que dice que "Los jugadores de videojuegos consumen menos drogas, tabaco y alcohol" incluya esta frase:
Los usuarios de videojuegos, pese a lo que se podría presuponer,
consumen por regla general menos drogas, alcohol y de tabaco que los no
jugadores. [Negritas mías]
¿Quién supone que los aficionados a los videojuegos consumen más tabaco, alcohol o drogas que los que no lo son? El periodista, desde luego, pero no se sabe si nadie más.

En Elmundo.es publican otra noticia similar y dicen esto (que me manda Eugeen):
A partir de los 35 años, el consumo declarado de éxtasis es nulo entre los videojugadores... [negrita original]
La muestra contó con más de 2.000 participantes entre los 18 y los 35 años, de los cuales el 40% eran mujeres.
Hombre, parece claro que si sólo entrevistas a gente hasta los 35 años, el consumo de éxtasis entre los mayores de 35 años sea nulo. Y el de agua (en realidad es la segunda frase la que es incorrecta: en la muestra sí había personas mayores de 35 años).

Pero no son estos dos pequeños errores los que me han llevado a escribir esta nota. Es que, a la búsqueda del origen del error sobre el límite de los 35 años he buscado el informe original (siguiendo el enlace facilitado por Elmundo.es a la Asociación de Videojugadores). Y ¿qué he encontrado? Un churro. Un churro que no debería haber salido en tantos medios.

El estudio no cumple las reglas mínimas para tener ningún valor. Se trata de una encuesta online, con muestra, probablemente, auto-seleccionada, aunque en realidad no se informa de ningún detalle sobre cómo se ha captado la muestra. Los autores, que al parecer no saben mucho de encuestas (ninguno de ellos es sociólogo o similar, por lo que parece, sino que son expertos en "tecnologías de la información"), no nos dan el margen de error de la encuesta, sino que dicen simplemente que es ±2sigma, y se quedan tan anchos (¿sabrán que sigma es un valor que deberían calcular, dado el tamaño de su muestra, suponiendo que fuera aleatoria, que seguramente no lo es (saldría 1,1%, y el margen de error ±2,2%)? ¿Y que si no es una muestra aleatoria, en realidad no pueden saber cuál es el margen de error?).

Luego el estudio compara sistemáticamente los resultados en la encuesta (sobre consumo de drogas, alcohol, tabaco) de "videojugadores" y "no videojugadores". Cuestiones cruciales que se omiten: ¿cómo se han definido esos conceptos? ¿cuántos de los 2.070 entrevistados entran en cada grupo? La segunda pregunta es esencial, porque, aún si tuviéramos una muestra aleatoria, tendríamos que calcular, para entendernos, el magen de error propio de la submuestra de videojugadores para ver si sus resultados son significativamente diferentes a los del resto (en realidad se hace lo que se llama un contraste de poblaciones, que es algo un poco más complicado).

¿Qué queremos decir cuando decimos que son "significativamente diferentes"? Que no se han producido por azar en la muestra, sino que responden a diferencias reales en la población: por puro azar, dos muestras sacadas de la misma población no son idénticas, sólo parecidas; por la misma razón, cuando extraemos dos muestras de dos poblaciones, no estamos seguros, a primera vista, de si los datos distintosreflejan diferencias reales entre las poblaciones, o si son producto del azar; pero matemáticamente se puede calcular si la diferencia entre dos muestras es lo suficientemente grande para estar seguros de que las poblaciones de las que las hemos extraído también son diferentes.

Si no sabemos si los videojugadores son 100 ó son 1.500 no tenemos ni idea, siquiera aproximada, del valor que pueden tener las diferencias encontradas entre los videojugadores y los demás. Pero los "investigadores" no parecen saber nada de esto y cuentan con la misma relevancia diferencias entre unos y otros del 1% (seguro que no significativa) y del 10% (tal vez significativa, si los videojugadores son una parte importante de la muestra). Les da lo mismo.

Y a los periodistas también, claro. Pero no debería ser así. Permítanme la autocita:
En primer lugar, siempre que fuera posible (cuando la fuente no es un distante instituto de otro país, sino una empresa o entidad cercana, que incluso convoca una rueda de prensa para contar los resultados), los periodistas podrían pedir a la fuente emisora información sobre la significación estadística de la información. A un investigador serio esta demanda no le puede resultar esotérica, ni habría de tener mayor problema en responder a ella. Si esta demanda fuera repetida y firme, por parte de los periodistas, se podría ir creando el uso, entre todos los productores habituales de información de encuestas (INE, CIS, institutos de opinión autonómicos, universidades, estudios de audiencia...), de ofrecer rutinariamente la significación estadística de las diferencias entre valores, así como los márgenes de error para las submuestras (De mi artículo en el número 7 de Cuadernos de Periodistas, pdf ).
Si hubieran seguido ese consejo, no se debería haber publicado ninguna noticia sobre las diferencias entre videojugadores y no videjugadores, porque simplemente no las sabemos.

No hay comentarios:

Publicar un comentario

Gracias por participar. Si quieres que otros lectores puedan debatir contigo, por favor, no firmes como "Anónimo" a secas. Usa la opción "Nombre/URL" e invéntate un nombre, aunque sea "Anónimo33", "ABC" o "123", para que podamos dirigirnos a ti, y tus comentarios no se confundan con los de otras personas.
Los comentarios de las entradas menos recientes son revisados por mí y no se publican inmediatamente.