6 de septiembre de 2008

El mapa de la felicidad en el Reino Unido

Unos académicos muy serios, usando una encuesta nacional de gran rigor, han hecho un mapa de la felicidad en el Reino Unido, clasificando 273 distritos, de más a menos felices. Eso contaba la BBC (y otros muchos medios) la semana pasada.

Sin embargo, a mitad de la noticia, el texto de la BBC reconocía que "los investigadores insisten en que las variaciones entre diferentes lugares no son estadísticamente significativas". Es decir, que como señala Ben Goldacre en Bad Science: "la noticia completa no tenía más base que la variabilidad por azar". Claro, con 5.000 encuestas en 273 distritos te salen menos de 20, como media, por distrito. Cuando usamos muestras tan pequeñas está garantizado que por puro azar obtendremos diferencias, incluso grandes, de las que no podemos saber si se deben al azar o si responden a diferencias reales.

Imaginen una gran bolsa con millones de canicas rojas y negras, al 50%, y que ustedes sacan de esa bolsa 273 puñados, de 20 canicas cada uno. El sentido común nos dice que muchos de esos puñados tendrán una distribución distinta a 10R-10N. Habrá muchísimos con 11-9, algunos menos con 12-8, y todavía bastantes con 13-7 y 14-6 (en las dos direcciones). El puro azar produce las diferencias.

Por esa misma razón, si sacamos los 273 puñados de 273 bolsas distintas, de las que no sabemos su contenido, y encontramos unos puñados 10R-10N, y otros 12R-8N y otros 13N-7R no podemos saber si la diferencia se debe a que los contenidos de las bolsas son diferentes, o al puro azar.

Algo parecido ha debibo suceder en este caso, ya que los investigadores dicen que las diferencias no son significativas.

Nuestra dificultad para aceptar la variabilidad natural de las cosas (y de las muestras) se interpone en muchos campos, no sólo en la sociología. En el artículo de Bad Science se enlaza a un video muy curioso de un guru del management que argumentaba que a menudo las empresas premian o castigan a trabajadores sin tener en cuenta que la variabilidad natural puede producir diferencias en resultados que no tienen nada que ver con el verdadero trabajo de los implicados.

Por otra parte, al final del artículo, se pregunta Ben Goldacre si los periodistas que han replicado la noticia alegremente tienen o no alguna culpa, o si son sólo culpables de ignorancia. La pregunta queda abierta, pero hay una pista interesante en las declaraciones de uno de los autores del estudio, Dimitris Ballas: "Traté de explicar la cuestión de la significación a los periodistas que me entrevistaron. La mayoría no quería saber."

Comentarios hasta el 31-12-2009

Quizá el investigador nunca debiera haber hecho públicos los resultados por distritos. No tiene ningún sentido ofrecerlos, con unas submuestras tan pequeñas.

En efecto, Wonka, habría que preguntar al investigador para qué sirve su estudio, si él mismo reconoce que los resultados no tienen significación estadística.

Puestos a repartir la culpa una buena parte se la lleva él también, salvo que esos números fueran una parte muy secundaria y marginal del estudio, y sean otros los responsables de haber creado titulares con ellos. Lo dudo.

Los científicos deberían aprender un poquito cómo funcionan los periodistas. Hay que decirles las cosas muy claritas, y si no quieres que cuenten algo, no se lo cuentes. Responsabilidad compartida, como suele ocurrir con los estudios de este tipo. Al menos parece que los lectores van sabiendo cómo funcionan unos y otros. ¿Y lo entretenido que es leer algo tan carente de utilidad? A mi me relaja horrores leer el As.

Muy buen artículo, Josu.
Una coseja: en el 5º párrafo se te ha colado un "debibo" donde debiera poner "debido".
Abrazos.

Pues sí: lo que hay que preguntarse es para qué puñetas sirve el estudio ese.

El titular correcto sería "Un grupo de científicos gasta x dinero en hacer un estudio que no sirve para nda".

[quote]En efecto, Wonka, habría que preguntar al investigador para qué sirve su estudio, si él mismo reconoce que los resultados no tienen significación estadística.[/quote]

antes de hacer el estudio no se sabia que los resultados no serian significativos. y una vez hecho el estudio se hace el informe, ya que el mero hecho de que los datos no sean significativos ya es significativo. claro, este tipo de resultados no se les suele dar ninguna importancia, hasta que llega algun periodicucho a meter la gamba...

PD. en esta misma web una vez se me criticó diciendo que "sin mas datos no podemos saber si la muestra es suficiente o no", pues ahora os lo trespondo: 20 encuestas por distrito, sin mas datos, no se puede decir que sean o no suficientes. no caigamos en la ignorancia que a mayor muestra mejor, por favot.

De hecho, sabemos que la muestra era insuficiente no sólo por el número de encuestas, sino además por la afirmación en ese sentido que hace el propio estudio. Con la coincidencia de ambas, sólo a un periodista le pueden quedar dudas.

La culpa, claro, es del científico, que aparentemente se dio por vencido cuando los periodistas no quisieron enterarse. ¡Malo, científico, malo!

Hay gente mas malaprensista que Malaprensa. En fin.

@bolosfura: como diría mi profesor de lógica, que la muestra tenga un tamaño no es una condición suficiente para ser representativa, pero sí necesaria. Una muestra de una persona nunca es suficientemente representativa de una población mayor de 1 (si exigimos una fiabilidad de, digamos, más del 50%, que tampoco es mucho pedir); mucho menos para una población infinita. Una muestra de 1000 personas no tiene por qué ser siempre representativa (depende de otras condiciones), pero al menos *puede* serlo.

No hay comentarios:

Publicar un comentario en la entrada

Si quieres que otros lectores puedan debatir contigo, por favor, no firmes como "Anónimo" a secas. Usa la opción "Nombre/URL" e invéntate un nombre, aunque sea "Anónimo33", "ABC" o "123", para que podamos dirigirnos a ti. Gracias.