Mostrando entradas con la etiqueta bbc. Mostrar todas las entradas
Mostrando entradas con la etiqueta bbc. Mostrar todas las entradas

30 de agosto de 2019

Sobre bulos, prejuicios y tentaciones de tuiteros y blogueros

La historia de hoy es muy ilustrativa de lo difícil que es resistirse a los propios prejuicios, y a las tentaciones de las conclusiones fáciles y la publicación en caliente. Creo que les va a divertir.

En ella aparecen varias instituciones que redifunden, con descuido, un dato mal citado; un tuitero "anti-feminista" (Bou, @elsacodelcoco), que descubre ese error (gracias a @yodsamuel por la pista), y lo denuncia en un hilo como un bulo (uno más) de esa ideología; y yo mismo, que, aunque no comparto las posturas del tuitero, creía que este había encontrado, en efecto, lo que parece un bulo, con un origen cómico, y me aprestaba a difundir su denuncia, que confirma mi propio prejuicio de que "todo el mundo miente", y de que la gente difunde con poco cuidado datos alarmantes que favorecen sus causas, aunque sean falsos o disparatados.

Inciso, antes de meterme en más harina: es sin duda cierto que, en promedio, las mujeres que participan en discusiones públicas online sufren más ataques personales que los hombres; y que muchos de esos ataques se dirigen precisamente a su condición de mujeres, con insultos, amenazas o insinuaciones relacionadas con cuestiones de género o sexuales ("mujer tenías que ser", "ponte a fregar", "puta", "ojalá te violen"). Los hombres, simplemente, no recibimos ese tipo de ataques (con la excepción, probablemente, de hombres abiertamente gays). Por lo tanto, la campaña de la Comisión Europea (#DigitalRespect4Her) sobre el respeto a las mujeres online, que se inició en abril de este año (luego veremos que las fechas son importantes), se refiere a un problema real y serio.

En el folleto divulgativo de esa campaña se dice que "la posibilidad de que las mujeres sufran acoso por internet es 27 veces mayor que la de los hombres". La afirmación ha sido repetida recientemente por muchas instituciones públicas españolas. En el hilo se mencionan: La Moncloa, la Delegación del Gobierno para la Violencia de Género, la Secretaría de Estado para el Avance Digital, la Secretaria de Estado de la España Global), la Generalitat de Catalunya.

Aquí entra en la historia el tuitero Bou. En el folleto se cita como fuente del dato de las "27 veces más" un informe de las Naciones Unidas en 2015 sobre violencia online contra las mujeres. Sin embargo, Bou busca la afirmación en el informe de las Naciones Unidas, y no la encuentra (ni yo lo hago cuando repito la búsqueda). Parece que en el texto no hay ningún intento de cuantificar esa diferencia entre hombres y mujeres. Sólo se dice lo siguiente:
Compared to men, women who are active on social media and in the blogosphere receive more threats or comments that directly attack their gender, their safety, and their very right to express opinion in male-dominated spaces. [En comparación con los hombres, las mujeres que están activas en las redes sociales y en la blogósfera reciben más amenazas o comentarios que atacan directamente su género, su seguridad y su derecho a expresar opiniones en espacios dominados por hombres.]
La fuente citada por Naciones Unidas, a su vez, de esa afirmación tan genérica, es un estudio titulado "Don't Let it Stand", de Anja Kovacs et al. Sin embargo, como Bou ha comprobado, ese texto no cuantifica, ni poco ni mucho, cuánto mayor es el riesgo de violencia online contra las mujeres. Es un estudio cualitativo de esa violencia, basado en entrevistas, y referido solo a la India. Así que el informe de la ONU no debería haberlo citado para justificar la afirmación de que las mujeres sufren "más violencia".

¿Entonces, lo de las 27 veces de donde viene? Pues Bou desarrolla una hipótesis cómica, que yo me he creído durante un buen rato: que alguien se había hecho un lío en la Comisión Europea, porque en el informe de la ONU el número de la nota que envía a la referencia del texto de Kovacs es precisamente el 27, como se ve en esta imagen del hilo (el texto de la nota 27, con la referencia a Kovcas está tomada de la lista de notas, al final del informe):


Parecería que la única conexión, en el texto citado de la ONU, entre el número 27 y la cuestión de que las mujeres sufren más violencia oline es ese punto del texto señalado. La hipótesis "lógica" (en realidad, no tanto) parece ser que alguien en la Comisión se ha hecho un lío morrocotudo, y de alguna manera, la nota 27, sobre que las mujeres sufren más violencia... se transformó en que las mujeres sufren "27 veces más violencia".

Y ahí, piensa Bou, habría empezado a rodar el bulo repetido luego por tantas instituciones españolas, y también por medios de comunicación de todo el mundo, y la propia ONU en otros documentos, como se muestran en el hilo.

Yo les iba a contar a ustedes todo esto muy divertido cuando me he dado cuenta de que varios de los ejemplos que cita Bou como difusores del error son anteriores a la campaña de la Comisión. Concretamente, la página del Consejo de Derechos Humanos de la ONU es de abril de 2018, la noticia de la BBC es de 2016,  y la de Time es de septiembre de 2015. Las dos últimas refieren como fuente, directa o indirectamente, el mismo informe de 2015 que cita la Comisión. Así que el hipotético salto de la nota 27 a "27 veces más" se produjo en 2015, y no fue en la Comisión Europea sino en algún otro lugar.

Así, mi segunda versión de esta entrada les contaba el hilo de Bou ligeramente corregido, manteniendo su hipótesis del error (nota 27 pasa a 27 veces más) pero pensando que este venía de otra fuente más antigua.

Para averiguar cuál podría ser, me he puesto a buscar en Google la combinación ["27 times" online violence women] acotándola solo a publicaciones de 2015 (el año del informe de la ONU) y he dado con un texto del Huffington Post que decía esto:
According to a University of Maryland study, women experience sexually explicit messages and online violence at a rate 27 times higher than men. [Según un estudio de la Universidad de Maryland, las mujeres experimentan mensajes sexualmente explícitos y violencia online a una tasa 27 veces mayor que los hombres.]
El prometedor enlace no lleva al propio estudio de la Universidad de Maryland, sino a un texto de la revista Pacific Standard donde aparece esto:
In 2006, researchers from the University of Maryland set up a bunch of fake online accounts and then dispatched them into chat rooms. Accounts with feminine usernames incurred an average of 100 sexually explicit or threatening messages a day. Masculine names received 3.7. [En 2006, investigadores de la Universidad de Maryland crearon un puñado de cuentas falsas online y luego las enviaron a las salas de chat. Las cuentas con nombres de usuario femeninos recibieron un promedio de 100 mensajes sexualmente explícitos o amenazantes por día. Los nombres masculinos recibieron 3,7.]
Precisamente 100 entre 3,7 da como resultado 27. Es decir, que sí, sí hay al menos un estudio que encontró que las mujeres reciben 27 veces más amenazas y mensajes sexualmente explícitos que los hombres. El trabajo, titulado "Assessing the Attack Threat due to IRC Channels" de los profesores Meyer y Cukier, está disponible online. No es un artículo en una revista académica, sino "sólo" una presentación en una conferencia, que tiene menos filtros. Por tanto, no es "la verdad" sobre el asunto (aparte de que Internet ha evolucionado mucho desde 2006, obviamente). Pero sí es una fuente razonablemente seria que encontró el dato de las "27 veces" (sería interesante ver lo que dicen estudios similares más recientes, pero eso va más allá de mi propósito aquí).

Además, resulta que accidentalmente he descubierto que el informe de Naciones Unidas de 2015, al que la Comisión atribuye lo de las "27 veces" SÍ LO DICE. Pero lo hace dentro de un gráfico, en la página 15, que ni Bou ni yo habíamos encontrado en nuestras búsquedas de texto:



Con estas últimas averiguaciones, parece claro que el bulo denunciado por Bou no es tal. La hipótesis de "la nota 27 se ha transformado por error en 27 veces" se viene abajo. Nadie en la Comisión ni en ningún otro sitio se ha hecho tal lío. El informe de 2015 de la ONU, citado por la comisión, sí contenía esa afirmación. Y la afirmación tiene su sustento en un estudio académico que parece razonablemente serio, aunque el informe de la ONU no lo cite adecuadamente (la fuente que cita la ONU es "Networked Intelligence for Development 2015", y resulta que en la web de esa entidad, la única publicación de 2015 que trata el tema es... el propio informe de la ONU que les cita. Un loop en toda regla).

Y aquí me tienen por tanto terminando esta tercera versión de esta entrada. No hay bulo ni error cómico, ni en la Comisión en antes en ningún otro sitio. Se puede criticar a la ONU, en 2015, por hacer una afirmación categórica demasiado rotunda para basarse en un estudio anticuado y con pocos casos, y citando de manera incompleta la fuente. Y a los que vienen detrás tal vez por repetir ese dato tan "jugoso" sin indagar un poco más sobre su fiabilidad.

Se puede criticar a Bou por lanzarse entusiasmado a divulgar un bulo que cree haber encontrado, coherente con sus ideas, sin fijarse en las inconsistencias temporales, y sin dar un paso más para averiguar de dónde pudo salir, en 2015, el error.  Y dando por hecho que la conexión nota 27-27 veces es "la explicación" del bulo.

Y yo mismo he estado a punto, en dos versiones distintas, de dar por buena la hipótesis locuela de Bou porque el número también me parecía muy alto (¡mis prejuicios!), porque la historia era divertida, casi tronchante, y me venía bien para mi blog, que ha estado parado todo el verano. Por suerte es agosto, no tengo tareas urgentísimas, y una combinación de suerte y tikismikismo me ha hecho darme cuenta en el último momento de que les iba a contar a ustedes una trola muy gorda. ¡Pa habernos matao!

Actualización (17:15): Bou ha leído mi comentario y ha seguido su hilo analizando por qué el estudio de 2006 le parece claramente insuficiente para afirmar lo que dice en 2015 el informe de la ONU sobre violencia online contra las mujeres. Y en efecto, encuentra algunos elementos de "teléfono estropeado" en la serie sucesiva de afirmaciones que van del estudio de 2006 a los textos de 2019. Pero tal vez él también juega al teléfono estropeado haciendo todo lo posible por minimizar el significado del estudio de 2006. Juzguen ustedes mismos.

6 de marzo de 2014

Vaticano: ¿curas borrachines o estadísticas mal calculadas?

Muchos medios internacionales se han hecho eco esta semana de la estadística del Instituto del Vino de California, según la cual el país del mundo con mayor consumo de vino per cápita, a gran distancia de los demás, es el Vaticano, con unos 74 litros por habitante y año, lejísimos de los 46 del segundo país, Andorra, que a su vez está ya muy cerca de los siguientes: Francia, con 44, St. Pierre et Miquelon, que es un territorio francés de ultramar (junto a Terranova), también con 44 litros, Eslovenia y Croacia con 43, Macedonia con 42, Portugal con 41...

Entre los medios que lo han tratado están Business Insider, The Guardian, La Stampa, BBC Mundo, y en España El Diario Montañés. También lo comentó en la Brújula de la Economía Alicia González, que es la que me dio la idea para tratar hoy el tema en el Purgatorio.

El tema da para muchas bromas, pero también es una oportunidad para recordar cómo ante una estadística llamativa hay que plantearse siempre la duda sobre el "¿usted cómo lo sabe?" En concreto, si nos paramos a pensar en cómo el Wine Institute puede calcular el vino "consumido" en cada país, nos daremos  cuenta de que en realidad seguramente lo que han utilizado es la cifra de vino vendido en cada país. En la mayoría de los casos la diferencia es poco relevante, pero en un estado tan pequeño como el Vaticano, como veremos enseguida, la diferencia puede ser importante.

Por otra parte, para hallar el consumo per cápita lo que hacemos lógicamente es dividir el consumo por la población residente en cada país. De nuevo, muy sensato, pero de nuevo, en casos especiales como el del Vaticano, a lo mejor no tanto.

La población de ciudades o países es un dato con el que operamos todos los días en las estadísticas sociales y económicas, y que damos por sentado que es un dato conocido, cierto y “no discutible”. Pero en puridad no es del todo así. La población se cuenta a través de procedimientos administrativos, como el censo o el padrón, que se basan en declaraciones voluntarias de la gente, y muchas veces no responden a la realidad. Por ejemplo, en España, hay muchas personas que viven en ciudades pero están censadas en pueblos, por razones variadas. Y también hay mucha gente que cambia de lugar de residencia por motivos de estudios o trabajo, pero como no sabe si será algo definitivo tarda bastante tiempo en registrar ese cambio. Y no digamos si la migración es al extranjero: muchísimos españoles que se han ido a diferentes países de Europa en busca de trabajo no se han inscrito en los registros consulares, lo que está en parte detrás de las polémicas recientes sobre la magnitud de ese movimiento (el artículo de Amparo González Ferrer en Eldiario.es incide en este problema de medición).

Todo esto nos recuerda que ni siquiera los datos más corrientes, que manejamos cotidianamente, como la población de un lugar, son necesariamente correctos ni exactos. Son aproximaciones. Y en algunos casos pueden estar bastante desviadas de la realidad. Y por lo tanto, al analizar estadísticas “per cápita” deberíamos tener este problema en la cabeza. Por ejemplo, los pueblos con muchos habitantes censados pero no realmente residentes nos darán estadísticas anormalmente bajas en gastos o consumos per cápita. En las ciudades, el peso relativo de los residentes no censados no será tan grande, comparativamente, como para desviar fuertemente las estadísticas, pero sí puede en algunos casos influir de manera no marginal.

Por otra parte, relacionado con lo anterior, está la cuestión de la población flotante. Porque claro, por ejemplo, en Benidorm hay censados unos 74.000 habitantes, a los que habría que sumar unos cuantos miles de residentes permanentes no censados, y otras decenas de miles que ocupan sus apartamentos y hoteles durante todo el año, y especialmente en verano, cuando se calcula que la población puede llegar a los 400.000 habitantes. ¡Si Benidorm fuera un país, su consumo per cápita de vino, y no digamos de cerveza, nos saldría exorbitante! (si lo calculamos sobre la población legalmente reconocida).

¿Y qué pasa con la población del Vaticano? Pues que oficialmente, los residentes son algo más de 800. Pero atención: hay una doble población flotante. Por un lado, personas que residen en Italia pero trabajan en el Vaticano, y que parece que son más entre dos y tres mil (entre tres y cinco veces la población residente). Tal vez muchos de ellos comen a diario en el Vaticano. Y todos ellos tienen acceso a comprar en el supermercado del Vaticano, donde productos como el alcohol y el tabaco son mucho más baratos que en Italia, porque los impuestos son mucho más bajos.

Y hay otra población flotante: los turistas. Muchos miles visitan cada día la Plaza y la Basílica de San Pedro, donde la venta de comida y bebida es poca o inexistente. Pero además, hay una media de 12.000 visitantes diarios (15 veces la población residente) a los Museos Vaticanos, donde sí hay varios establecimientos de comida y bebida.

En definitiva, si hay un lugar en el mundo donde cualquier estadística “per cápita” es poco fiable, ese es el Vaticano. Ni el consumo de vino, ni el de agua, ni el de electricidad, ni de casi ninguna otra cosa, tendrá una proporción normal con su población residente, ya que la población flotante, entre trabajadores y turistas, es casi veinte veces mayor. De hecho, por la misma razón, el Vaticano tiene otro récord divertido: el de criminalidad. Los carteristas suelen hacer de las suyas en la Plaza de San Pedro, provocando unos cientos de denuncias cada año...  Pocas, para los millones de visitantes. Pero muchísimas, para los 800 residentes, dando lugar, algunos años, a una tasa de criminalidad de 1,3 delitos por habitante. La más alta del mundo.

En fin, ni curas borrachines, ni ladrones. Simplemente malas interpretaciones de la estadística.

6 de septiembre de 2008

El mapa de la felicidad en el Reino Unido

Unos académicos muy serios, usando una encuesta nacional de gran rigor, han hecho un mapa de la felicidad en el Reino Unido, clasificando 273 distritos, de más a menos felices. Eso contaba la BBC (y otros muchos medios) la semana pasada.

Sin embargo, a mitad de la noticia, el texto de la BBC reconocía que "los investigadores insisten en que las variaciones entre diferentes lugares no son estadísticamente significativas". Es decir, que como señala Ben Goldacre en Bad Science: "la noticia completa no tenía más base que la variabilidad por azar". Claro, con 5.000 encuestas en 273 distritos te salen menos de 20, como media, por distrito. Cuando usamos muestras tan pequeñas está garantizado que por puro azar obtendremos diferencias, incluso grandes, de las que no podemos saber si se deben al azar o si responden a diferencias reales.

Imaginen una gran bolsa con millones de canicas rojas y negras, al 50%, y que ustedes sacan de esa bolsa 273 puñados, de 20 canicas cada uno. El sentido común nos dice que muchos de esos puñados tendrán una distribución distinta a 10R-10N. Habrá muchísimos con 11-9, algunos menos con 12-8, y todavía bastantes con 13-7 y 14-6 (en las dos direcciones). El puro azar produce las diferencias.

Por esa misma razón, si sacamos los 273 puñados de 273 bolsas distintas, de las que no sabemos su contenido, y encontramos unos puñados 10R-10N, y otros 12R-8N y otros 13N-7R no podemos saber si la diferencia se debe a que los contenidos de las bolsas son diferentes, o al puro azar.

Algo parecido ha debibo suceder en este caso, ya que los investigadores dicen que las diferencias no son significativas.

Nuestra dificultad para aceptar la variabilidad natural de las cosas (y de las muestras) se interpone en muchos campos, no sólo en la sociología. En el artículo de Bad Science se enlaza a un video muy curioso de un guru del management que argumentaba que a menudo las empresas premian o castigan a trabajadores sin tener en cuenta que la variabilidad natural puede producir diferencias en resultados que no tienen nada que ver con el verdadero trabajo de los implicados.

Por otra parte, al final del artículo, se pregunta Ben Goldacre si los periodistas que han replicado la noticia alegremente tienen o no alguna culpa, o si son sólo culpables de ignorancia. La pregunta queda abierta, pero hay una pista interesante en las declaraciones de uno de los autores del estudio, Dimitris Ballas: "Traté de explicar la cuestión de la significación a los periodistas que me entrevistaron. La mayoría no quería saber."

Comentarios hasta el 31-12-2009

Quizá el investigador nunca debiera haber hecho públicos los resultados por distritos. No tiene ningún sentido ofrecerlos, con unas submuestras tan pequeñas.

En efecto, Wonka, habría que preguntar al investigador para qué sirve su estudio, si él mismo reconoce que los resultados no tienen significación estadística.

Puestos a repartir la culpa una buena parte se la lleva él también, salvo que esos números fueran una parte muy secundaria y marginal del estudio, y sean otros los responsables de haber creado titulares con ellos. Lo dudo.

Los científicos deberían aprender un poquito cómo funcionan los periodistas. Hay que decirles las cosas muy claritas, y si no quieres que cuenten algo, no se lo cuentes. Responsabilidad compartida, como suele ocurrir con los estudios de este tipo. Al menos parece que los lectores van sabiendo cómo funcionan unos y otros. ¿Y lo entretenido que es leer algo tan carente de utilidad? A mi me relaja horrores leer el As.

Muy buen artículo, Josu.
Una coseja: en el 5º párrafo se te ha colado un "debibo" donde debiera poner "debido".
Abrazos.

Pues sí: lo que hay que preguntarse es para qué puñetas sirve el estudio ese.

El titular correcto sería "Un grupo de científicos gasta x dinero en hacer un estudio que no sirve para nda".

[quote]En efecto, Wonka, habría que preguntar al investigador para qué sirve su estudio, si él mismo reconoce que los resultados no tienen significación estadística.[/quote]

antes de hacer el estudio no se sabia que los resultados no serian significativos. y una vez hecho el estudio se hace el informe, ya que el mero hecho de que los datos no sean significativos ya es significativo. claro, este tipo de resultados no se les suele dar ninguna importancia, hasta que llega algun periodicucho a meter la gamba...

PD. en esta misma web una vez se me criticó diciendo que "sin mas datos no podemos saber si la muestra es suficiente o no", pues ahora os lo trespondo: 20 encuestas por distrito, sin mas datos, no se puede decir que sean o no suficientes. no caigamos en la ignorancia que a mayor muestra mejor, por favot.

De hecho, sabemos que la muestra era insuficiente no sólo por el número de encuestas, sino además por la afirmación en ese sentido que hace el propio estudio. Con la coincidencia de ambas, sólo a un periodista le pueden quedar dudas.

La culpa, claro, es del científico, que aparentemente se dio por vencido cuando los periodistas no quisieron enterarse. ¡Malo, científico, malo!

Hay gente mas malaprensista que Malaprensa. En fin.

@bolosfura: como diría mi profesor de lógica, que la muestra tenga un tamaño no es una condición suficiente para ser representativa, pero sí necesaria. Una muestra de una persona nunca es suficientemente representativa de una población mayor de 1 (si exigimos una fiabilidad de, digamos, más del 50%, que tampoco es mucho pedir); mucho menos para una población infinita. Una muestra de 1000 personas no tiene por qué ser siempre representativa (depende de otras condiciones), pero al menos *puede* serlo.