Ayer martes 21 El País publicó una pieza digna de un cuadro de honor de malaprensa, con el título La administración electrónica española, por detrás de las de Armenia, Bolivia o Togo. Supongo que su reacción al leer ese titular es la misma que la mía: incredulidad. Y el paso siguiente es adentrarse en el texto para ver cómo puede ser esto posible. ¿De dónde han salido estos datos? ¿Cómo se han elaborado? ¿Quién lo ha hecho? Puesto que sus datos desafían de manera tan obvia al sentido común, ¿es posible que los datos no sean buenos?
El estudio, según dice la noticia, ha sido elaborado por la Universidad de Brown (eso está en Estados Unidos), "sobre 1.935 webs de administraciones públicas de 198 países".
Para realizar el estudio, firmado por Darle M. West del ‘Center for Public Policy’ de la Universidad de Brown (EE UU), se han visitado las páginas del ejecutivo (presidencia, primeros ministros, líderes de partidos, ministerios y agencias gubernamentales y, en algunos casos, instituciones como la familia real), legislativo (congresos, parlamentos y en general las asambleas representativas), oficinas judiciales, etc.
En cada una de ellas se realizó un análisis de diferentes aspectos: información de contacto, enlaces a otros sitios, publicaciones, bases de datos, audio, video, accesibilidad, idiomas, seguridad, búsquedas, precios, servicios ‘online’, etc., para los que se adjudicaba una puntuación. Recopilada toda esta información, el país mejor puntuado ha sido este año Taiwán, con una nota de 44,3 sobre 100, seguido de cerca por Singapur (43,8). Por detrás, en tercer y cuarto lugar, están EE UU (41,9) y Canadá (40,3).
Vaya, todo parece indicar que se trata de un estudio "serio". Lo firma un profesor de una universidad norteamericana, que en principio se supone que son de fiar. Se han consultado miles de páginas webs, parece haber un método sistemático de evaluación sobre los contenidos de las páginas... ¿Es posible que esté bien?
He aquí el momento crucial para el periodista: "cortar y pegar" o investigar. El de El País (que, por cierto, no firma, así que la responsabilidad es colectiva) ha optado por lo primero, y no le tiembla el pulso al escribir el titular que han visto ustedes más arriba, o al escribir en el texto que "España ocupa el puesto 77, tras otros países en teoría menos desarrollados como Armenia, Bolivia o Corea del Norte". ¿Corea del Norte? Vamos, hombre.
Sólo en el quinto párrafo se atreve a mostrar un atisbo de duda: "Sorprende la presencia entre los primeros puestos de países como Togo (36 puntos, en octava posición), Dominica (17ª posición) o Líbano (29 puntos), así como la presencia de la administración electrónica española en el puesto 77."
En mi humilde opinión, esas reservas deberían ser mucho más explícitas y contundentes, deberían aparecer desde el primer párrafo, y deberían haberse trasladado de algún modo al titular, que no puede recoger como "hecho", lo que es el resultado de un sólo estudio que produce resultados tan absurdos.
Eso, por lo menos. Mejor áun: haber indagado un poco más sobre el estudio y haberse preguntado ¿qué puede estar fallando aquí? La nota de prensa del estudio muestra que no son sólo Togo, o Dominica o España los que están en posiciones extrañas, es que toda la lista es un disparate. Finlandia, la patria de Nokia y país supertecnificado ocupa el puesto 41, por detrás de Jordania, Indonesia, Irak o Moldavia (entre otros). Estonia, que es famosa por haber suprimido los papeles en los Consejos de Ministros, que a veces hacen sus reuniones por video-conferencia e Internet, figura en el puesto 47, por debajo de los anteriores y de Líbano e Irán. En fin, Suiza está en el puesto 62, y Noruega en el 71, ambas, como España, superadas por Uzbekistán, Egipto o Myanmar (antes Birmania, si la memoria no me falla).
¿De verdad alguien se cree esto? El periodista debería haberse atrevido a pensar y decir lo que es obvio: este estudio es una chapuza, y tiene que estar mal hecho. Punto. Lo firme quien lo firme.
¿Qué puede estar fallando? Una crítica seria requeriría saber mucho más de lo que se cuenta en la nota de prensa, o incluso en el informe "completo". Pero algunas cosas sí se pueden deducir de una lectura más o menos cuidadosa:
1. El número de web visitadas es bajo. Sale una media de 9,77 por país, que se dice que se cubren las ramas ejecutiva, judicial y legislativa.
2. Además, la proporción de páginas por zonas geográficas no se corresponde con la proporción por países. Por ejemplo, Europa Occidental, con algo más de 20 países, tiene el 20% de las páginas visitadas; en cambio, África, con casi 50 países, tiene el 24% de las páginas visitadas. Esto quiere decir que en algunos países se han visitado muchas más páginas que en otros. Algunos países africanos han debido ser catalogados con 4 ó 5 páginas.
3. Lo que lleva al tema de la selección de las páginas visitadas. No se explicita en absoluto el proceso de elección. Se dicen generalidades como:
We analyze a range of sites within each country to get a full sense of what is available in particular nations. Among the sites analyzed are those of executive offices (such as a president, prime minister, ruler, party leader, or royalty), legislative offices (such as Congress, Parliament, or People's Assemblies), judicial offices (such as major national courts), Cabinet offices, and major agencies serving crucial functions of government, such as health, human services, taxation, education, interior, economic development, administration, natural resources, foreign affairs, foreign investment, transportation, military, tourism, and business regulation. Websites for subnational units, obscure boards and commissions, local government, regional units, and municipal offices are not included in this study.Si eso fuera cierto, el número de páginas web visitado sería mucho mayor. Con una media de 9,8 por país no da para tanto. Y menos en los países donde se hayan visitado 4 ó 5 páginas.
Por otra parte, quizá para el ciudadano de a pie sea mucho más importante la página web de su ayuntamiento que la del presidente del gobierno, y no digamos que la de su casa real, donde las haya.
4. Una "smoking gun" de que el estudio no hay por donde cogerlo: en la nota de prensa se pone entre paréntesis el puesto ocupado el año pasado, y se muestra que hay bandazos espectaculares. Mónaco ha saltado del puesto 166 al 5 (luego vuelvo con Mónaco, que es muy ilustrativo); Togo del 44 al 8; Irak del 185 al 10; Dominica del 149 al 14; Indonesia del 184 al 20... y al revés, Finlandia del 13 al 41, Austria del 10 al 51, Turquía del 6 al 62, Malasia del 8 al 83, el Vaticano del 9 al 86...
Todo esto es absurdo. Simplemente no puede ser que un año se produzcan semejantes alteraciones, y refuerza la idea de que el estudio simplemente está mal hecho. Lo más probable es que, dado que las páginas visitadas son pocas, el ranking de un país se pueda ver muy alterado porque las páginas escogidas un año u otro sean más o menos avanzadas o estén mejor o peor diseñadas.
5. Volviendo a Mónaco, dado su espectacular quinto puesto, este país recibe un comentario específico al final del informe, donde se habla de los cinco mejores países. Y ahí se nos ofrece otra pista de lo que está mal en este estudio: entre las páginas ejemplares que se mencionan está la página de la oficina nacional de turismo (www.visitmonaco.com). No sabemos cuántas páginas se habrán visitado en Mónaco pero parece dudoso que esa página sea muy relevante como ejemplo de la relación entre el gobierno de Mónaco y sus ciudadanos.
¿Y si el estudio estuviera sesgado hacia países que tienen muchas páginas (en inglés) orientadas hacia el exterior, que son fácilmente legibles para los investigadores de Brown? Por ejemplo, páginas para turistas, o para inversores internacionales.
Llama muchísimo la atención que en el "Executive Summary" de cuatro párrafos, el único dedicado a poner ejemplos de los avances de los gobiernos sea éste:
Governments around the world have created websites that facilitate tourism, citizen complaints, and business investment. Tourists can book hotels through the government websites of many Caribbean and Pacific island countries. In Australia, citizens can register government complaints through agency websites. Nations such as Bulgaria, the Netherlands, and the Czech Republic are attracting overseas investors through their websites.Tres de cuatro ejemplos relacionados con turistas e inversores extranjeros.
6. En efecto, lo del idioma es un problema muy serio. ¿Cuántas lenguas pueden leer los siete investigadores que en dos meses han codificado las 1.935 páginas (a unas seis páginas al día)? No lo sabemos, aunque la sección sobre método nos dice que se han usado traductores (humanos), en otros casos traducción por software, y que en algunos casos la evaluación se ha hecho a partir de traducciones al inglés de fragmentos (portions) de las páginas web.
El sesgo favorable al inglés es palmario en el ranking: entre los 25 primeros están Singapur, Estados Unidos, Canadá, Australia, Hong Kong, Nueva Zelanda, Reino Unido, las Islas Marshall, San Vicente y Granadinas, y Malta, diez países con muy diferentes niveles de desarrollo, pero que tienen en común el idioma inglés como lengua oficial. A los que cabría añadir países como Taiwan, e Israel, donde el inglés, sin ser idioma oficial, está extendidísimo. Y me apostaría algo a que las páginas oficiales del gobierno de Irak, en el puesto 10, deben tener bastantes cositas en inglés.
Es más, en la sección dedicada al final a alabar las mejores páginas, el párrafo dedicado a Taiwan, en el número 1, recibe este comentario: "All sites had English translation links which consistently directed the user to an English page identical to the Chinese." Puede que ese sea un gran mérito, para los investigadores de Brown, o los visitantes extranjeros de las páginas, pero no desde luego para los nacionales.
En fin, ya me he extendido mucho. Este estudio es un bodrio, y cualquiera que lo mire con un poco de atención lo puede ver. El periodista también pudo verlo, o quizá lo vio, pero no se atrevió a decirlo. En todo caso, sea por pereza, ignorancia, por respeto reverencial a un estudio con marchamo universitario, o por no perder un titular espectacular, no ha cumpido con su trabajo, que es contarnos la verdad, y ahorrarnos el leer mamarrachadas.
Comentarios hasta el 26-12-09
No hay comentarios:
Publicar un comentario
Gracias por participar. Si quieres que otros lectores puedan debatir contigo, por favor, no firmes como "Anónimo" a secas. Usa la opción "Nombre/URL" e invéntate un nombre, aunque sea "Anónimo33", "ABC" o "123", para que podamos dirigirnos a ti, y tus comentarios no se confundan con los de otras personas.
Los comentarios de las entradas menos recientes son revisados por mí y no se publican inmediatamente.