El número (erróneo) por el número

(Gracias a Salvatierra de Barros por la pista, otra vez)
Según La Vanguardia del lunes 7, "Cuatro mil personas deciden la audiencia de las televisiones". El titular (y la noticia) tienen su miga, porque ese "decidir" se refiere a que las personas que tienen en su casa instalado un aparato que controla lo que están viendo (un audímetro), y que por tanto, con sus comportamientos, crean la base de datos de la que se extraen los porcentajes de audiencia de las diferentes cadenas y programas, así como los perfiles (por sexo, edad, clase social, estudios...) de la audiencia de unos y otros.

Un problema adicional es que no se sabe de dónde ha salido la cifra de 4.000. Vean lo que dice el primer párrafo de la noticia:

Cada mañana miles de personas se desayunan con el control de audiencias que realiza Sofres. Son aquellas que trabajan en los medios audiovisuales y que quieren constatar los efectos de su trabajo y, acaso, su futuro laboral. Estos datos condicionarán su estado de humor en las próximas horas. En 3.305 hogares españoles (440 en Catalunya) una serie de familias han aceptado conectar un audímetro que controla la actividad de su televisor. En total, 9.019 personas anónimas configuran este universo que dirá cuál es el programa más visto y aquel otro al que las cosas no le van tan bien.

3.305 hogares, 9.019 personas (más o menos 3 por hogar, de media). En Cataluña son 440 hogares, lo que deben ser, con la misma media, unas 1.320 personas. ¿Dónde están las 4.000? No se sabe.

Más importante aún: el lector lego no sabe formarse un juicio sobre si 9.019 personas, o 1.320 para Cataluña, son pocas o muchas, sobre qué margen de error cabe esperar... Y el periodista seguramente tampoco, porque no lo aclara. Con lo cual las cifras son totalmente irrelevantes. El número por el número, sin contexto ni explicación, no informa de gran cosa.

Lo cierto es que una muestra de 9.000 personas es bastante grande. Si todas ellas estuvieran elegidas de manera separada, y al azar, el margen de error sería muy pequeño, de aproximadamente más/menos 1%. Esto no es exactamente así, porque las personas se han seleccionado de manera agrupada, por familias, lo que haría el error algo más grande, pero también se recogen buscando cuotas representativas por sectores sociales, lo que volvería a reducir el error. Para estimar el error exacto harían falta cálculos complicados, pero supongamos que el resultado neto de las dos desviaciones respecto a la muestra al azar es neutro. Estaríamos ante un margen de error bastante pequeño.

Pero ojo: ese margen sólo se aplica a la muestra nacional. El error para la muestra de Cataluña, en cambio, sería de aproximadamente más/menos 2,7%. Y para regiones de España con menos audímetros el error va creciendo. Por poner un ejemplo, en el País Vasco la muestra la deben componer unos 150 hogares, ó 450 personas, con un margen de error de más/menos 4,7%.

Todo esto hace pensar que las 9.000 personas que "deciden" las audiencias son suficientes para hacer estimaciones bastante precisas de carácter nacional, pero que cuando se analizan las audiencias por comunidades autónomas, o por otras subdivisiones de la población (por estudios, clase social...), hay que tener cuidado, porque los márgenes de error crecen cuanto más pequeños sean los subgrupos. Esta sí sería una información interesante que podría haber aportado el artículo, para que las cifras que da cobraran algún sentido para los lectores.

En su lugar, lo que recoge la noticia son las opiniones de varios usuarios de esos datos, que dicen que son fiables. Y también los resultados de encuestas de validación que se hacen con regularidad, que muestran que hay una coincidencia del 85% entre lo que ven las personas con audímetro, en un momento dado, y lo que están viendo en ese momento unas 10.000 que no tienen audímetro. Es un dato interesante, pero es también de carácter nacional, y no se aclara que ese grado de coincidencia disminuiría al referirla a grupos de población más pequeños.

En conjunto, una oportunidad desaprovechada para dar explicar algo mejor el significado y el grado de precisión de las cifras de audiencia.

Comentarios hasta el 27-12-09

Coincido con el autor de este comentario en la idea de que los periodistas escriben sus artículos con poco rigor. Sin embargo, entiendo que no es fácil encontrar el compromiso entre escribir un artículo completamente riguroso con el que el que un lector que no sea experto en el tema podría verse abrumado y escribir el mismo artículo sin tanto rigor, pero que consigue enganchar al lector para transmitirle una idea concreta. Así, por ejemplo, el análisis hecho por el autor de "El número (erróneo) por el número", al igual que el del artículo de la Vanguardia, también dista de ser riguroso puesto que se omite información que es imprescindible para poder saber si los resultados de las estimaciones son correctos (ej: ¿Qué método estadístico se ha aplicado? ¿Bajo qué condiciones se puede aplicar dicho método estadístico? ¿Cumplen los datos obtenidos con dichas condiciones? etc.). Sin embargo, considero que toda esta información probablemente haría que muchos lectores perdieran el interés por la lectura de dicho comentario antes de haber logrado comunicar la idea fundamental del mismo: la falta de rigor de los artículos periodísticos. Juan Muñoz | Email | Homepage | 09.Feb.05 - 13:05 | #

En efecto no se debe escribir sobre lo que no se sabe. Y ai el tema exige una profundidad técnica a la que en general no se llegue, la simplificación no debe ir en contra de la realidad o convertirse en un mero juicio de valor. Desgraciadamente ya estamos acostumbrados a que los profesionales de la información emitan sus iletradas opiniones sobre los sistemas de medición de audiencias o de las encuestas políticas,... Por cierto, y solo por dar una pincelada más al tema técnico: la muestra es de hogares (3.300 y pico de los 12 millones más o menos que deben existir) y es representativa . Además, se tienen datos del consumo de TV de todos los miembros de esos hogares (las 10.000 personas aprox. de que se habla) minuto a minuto de todos los días. Y una cosa fundamental: cada hogar y/o individuo no es "representativo" de nada. Lo que es representativo es el consumo de TV en un minuto determinado de 10.000 personas. Luis Ruiz | Email | Homepage | 09.Feb.05 - 15:22 | #

Decía Alain Welhoff, maestro del merchandising,"cuidado con lo que decís que luego llega un periodista que no sabe y tegiversa las cosas y dice lo que quiere". Al "periodista" que ha escrito eso, seguramente Licenciado en Ciencias de la Información y adscrito a alguna Asociación Profesional, le recomiendo que se lea algún tratado del Profesor Tagliacarne y luego escriba con fundamento. También el Dr. Pulido puede decir mucho fercambu | Email | Homepage | 09.Feb.05 - 20:55 | #

Fe de erratas: donde dice tegiversar debe decir "tergiversar". fercambu | Email | Homepage | 09.Feb.05 - 20:57 | #

Te has inyectado libros de gramática a saco,eh! Ya quisiera tener tanto tiempo como tú y reflexionar más sobre lo que escribo. Imagino que muchos periodistas de este país - yo me incluyo - nos encontramos con el problema del tiempo y por eso salen esos disparates. No le hecho la culpa sólo al "contrarreloj", también a que pienso que hay que ser honesto, asumir y aprender de los errores. Me gusta tu web porque me ayuda a reflexionar y a pensar en las cosas que escribo. Trabajo en un gabinete de prensa, nunca me han echado la bronca por alguna frase ambigua o tal y ......... puedes creer que yo desconfío mucho de la PERFECCIÓN de mis textos? Un blog al que le doy la bienvenida. Enhorabuena Malaprensa! Kyo | Email | Homepage | 09.Feb.05 - 23:54 | #

Hola, ya que tienes un apartado dedicado a los gazapos estadísticos, te envio uno de la Vanguardia de hoy: una encuesta de Noxa realizada a 1000 personas de toda España sirve, además de saber lo que piensan los españoles sobre los temas en cuestión, para hacer afirmaciones sobre lo que piensan catalanes, gallegos, vascos, extremeños, ... etc, sobre dichos temas, cuando cada comunidad no debe tener más de 100 personas encuestadas. En estos casos, el margen de error se dispara respecto al margen global de 3,1%, cosa que no se dice; en algunos casos creo que debe sobrepasar el 10%, cosa que invalida sus conclusiones por comunidades. te felicito por la web, RMF RMF | Email | Homepage | 14.Feb.05 - 21:11 | #