27 de mayo de 2020

¿Tampoco del MoMo nos podemos fiar?

Una nota de urgencia para comentar algo que me tiene francamente sorprendido y triste. Ante la incertidumbre sobre los datos de fallecidos, teniendo en cuenta que solo se contaban casos con test PCR positivo, y que era de suponer que habría, por tanto, un infraestimación de las cifras, hace ya muchas semanas que los medios nos alertaron de que una contabilidad complementaria, y seguramente mucho más fiable para conocer el impacto real de la epidemia es la del sistema de vigilancia de mortalidad diaria por todas las causas (MoMo).

Este sistema, implantado hace unos años para detectar de manera temprana posibles episodios anómalos de mortalidad (por olas de calor o frío, o precisamente por epidemias), recoge de manera sistemática datos de los registros civiles informatizados y los compila de manera rápida, para obtener una especie de foto en tiempo real de lo que está pasando con la mortalidad en España (aquí tienen más explicaciones). Tras comparar los datos diarios de mortalidad con los datos esperables, según la estadística media de años anteriores, se estima el exceso de mortalidad, que permite alertar de situaciones anómalas, y de su magnitud.

Es importante señalar que entre la defunción, el registro y la notificación a MoMo pueden pasar varios días. Por eso los gestores del MoMo aplican unos modelos matemáticos para corregir los datos que les llegan de los registros en los últimos días. Lo explican en su web:
MoMo... no muestra las defunciones observadas sino una estimación de las defunciones observadas corregidas por el retraso en la notificación. Para la correcta interpretación de los datos hay que tener en cuenta que:

- La corrección está basada en el histórico de retrasos en las notificaciones en periodos de actividad normal de los registros civiles. En periodos de alteración significativa de la actividad de los registros civiles (p.ej., durante la pandemia del COVID-19), pueden producirse patrones inesperados.
- El modelo que corrige las defunciones observadas es conservador por construcción y tiende a completar a la baja las defunciones no observadas para evitar la generación de alertas artificiales.

Es decir, los datos "observados" son en realidad una estimación, que en circunstancias normales será buena, pero que en circunstancias especiales, como las actuales, puede que no lo sea tanto. Es una estimación conservadora, además, para evitar generar alertas artificiales.

Durante la pandemia el sistema MoMo ha ido publicando una serie de informes diarios, o cada dos o tres días (aquí), y también ha puesto en marcha un panel de datos y gráficos con la información actualizada, y con una base de datos descargable, con los datos de fallecidos observados y esperados de cada día, por sexos y tramos de edad, en cada comunidad autónoma y en el conjunto del país.

Los medios han utilizado los datos de MoMo estas semanas para complementar la información del Ministerio de Sanidad, y hacerse una idea de cuál podría ser el umbral máximo de la mortalidad causada por la epidemia, directa o indirectamente (hay que recordar que la situación sanitaria actual probablemente cause también muertes de manera indirecta, por las renuencia de muchas personas a acudir a centros de salud y hospitales, y por la incapacidad de estos en ocasiones para atender de manera ordinaria a los que sí acuden).

Pues bien, ayer mismo a última hora eché un vistazo a la base de datos descargable y ví que, para el nivel nacional, los datos eran los siguientes:



Defunciones (estimación central)

ObservadasEsperadasExceso
Marzo48.75336.45412.299
Abril50.05332.73017.323
Mayo (hasta el día 25)27.25826.1901.068
Total126.06495.37430.690
Fuente: Elaboración propia según base de datos MoMo descargada el 26 de mayo a las 20:48


De ese cuadro llama la atención la gran bajada del mes de mayo, con solo 1.000 defunciones en exceso, frente  a las 17.000 de abril. De hecho, los informes MoMo ya hablaban al menos desde el 29 de abril de 30.600 fallecidos en exceso, casi los mismos que hay ahora. A pesar de que en mayo la epidemia, sin duda, ha remitido muchísimo, parece un cambio demasiado brusco. De hecho, la propia estadística de fallecidos del ministerio, que suponemos que infraestima los datos, calculaba casi 4.000 fallecidos en mayo (antes de que "desaparecieran" 2000 fallecidos y volvieran a aparecer algunos de ellos los últimos días).

Pues bien, esta mañana me ha alertado un mensaje en Twitter de @velardedaoiz2 de que súbitamente, según el MoMo, el cálculo de exceso de fallecidos ha pasado a ser de 46.000. No daba crédito. Me he bajado de nuevo la base de datos y he encontrado lo siguiente:



Defunciones (estimación central)
Defunciones incorporadas 27-may

ObservadasEsperadasExceso
Marzo54.41736.48517.9325.664
Abril56.26132.76023.5016.208
Mayo (hasta el día 25)27.49026.2161.275232
Total138.16895.46142.70812.104
Fuente: Elaboración propia según base de datos MoMo descargada el 27 de mayo a las 8:57


No me salen 46.000 muertes en exceso, sino 42.700, dato parecido al que publica el panel de MoMo solo para el periodo del 13 de marzo al 22 de mayo, que es 43.034 (luego he visto que lo de los 46.000 es una estimación propia de @velardedaoiz2, a partir de los datos de MoMo).

Se ha dado, efectivamente, un gran salto, con más de 12.000 muertes nuevas, afloradas en un solo día (para mantener la comparación con la tabla anterior, no he incluido los datos del 26 de mayo, que aparecen en la segunda base de datos). Esto ya de por sí parecería sorprendente. Pero lo más extraño es que casi la mitad de esas muertes extras son del mes de marzo, y la otra mitad de abril.

Es decir, aunque la nota metodológica del MoMo ya advertía de que su estimación de los fallecimientos observados, corregida por el retraso normal en las notificaciones, podría verse alterada en situaciones excepcionales, lo cierto es que yo ingenuamente pensaba que aunque los registros civiles tuvieran una sobrecarga, nos podíamos fiar de los datos de con unos 10 o 15 días de retraso. Evidentemente, no es así.

Por lo que cuenta @velardedaoiz, los nuevos fallecimientos en exceso proceden de manera particularmente desproporcionada de Cataluña (unos 7.300), y también por encima de los esperable por su población de Madrid (2.200) y Castilla-La Mancha (751). Son tres de las comunidades más afectadas, y en las que es más esperable que los registros civiles hayan estado desbordados.

Incluso así, algo no parece estar bien cuando esos registros han acumulado un retraso durante meses, sin alertar, al parecer a nadie, o sin que el MoMo se diera cuenta y añadiera alguna cautela a sus informes. Y tampoco parece muy lógico que la corrección de esos retrasos se haya producido de una sola vez, teniendo en cuenta que la fuente de datos de MoMo es un sistema informatizado de los registros donde cada fallecimiento se supone que sí aparece en el momento en que se inscribe.

¿Han inscrito en un solo día todos esos registros civiles 12.000 fallecidos de los dos meses anteriores? ¿Ha vuelto a fallar el informático que escribe el código para leer los datos? Creo que debería darse alguna explicación, porque esto añade una muesca más a la confianza de los ciudadanos en las autoridades.

Disgusto que se añade, claro, al mucho más importante de saber que el número real de fallecidos causados, directa o indirectamente, por la pandemia, es bastante superior al que creíamos hasta ayer.

Actualización: en la propia web del MoMo se puede encontrar este gráfico de la cuenta de la anomalía ante la que estamos.

8 comentarios:

  1. A mi me sorprende más alguno de los párrafos. No sé si son tuyos o sacados de su información. Pero básicamente, dices:

    -"[...]para detectar de manera temprana posibles episodios anómalos[...]"
    -"La corrección está basada en el histórico de retrasos [...]. En periodos de alteración significativa de la actividad [...], pueden producirse patrones inesperados."

    O sea, traduzco: sirve para alertar situaciones anómalas, pero en situaciones anómalas no debes fiarte de lo que te digo. Si eso no es la definición de "inutilidad"...

    ResponderEliminar
    Respuestas
    1. La primera frase es mía, aunque creo que resume correctamente la razón de ser de MoMo. La segunda es literal de su web.

      Tu "traducción" tiene un punto de exageración. MoMo se ve desbordada, por lo que parece, por una anomalía gigantesca (única en el último siglo). Pero incluso con ese desbordamiento, y consiguiente imprecisión, viene detectando que hay una anomalía importante desde marzo.

      Eliminar
  2. Los informes del momo ya advertían desde hace tiempo que faltaban datos de Barcelona desde el mes de marzo (creo recordar). Y en otras muchas habría retraso por colapso, por no estar informatizado etc.

    Lo que falla no es el Momo, lo que falla es la idea de que el Momo puede ser una fuente de información a corto plazo.

    Puede descubrir un cambio en la tendencia, como en este caso, pero no usarse como fuente de datos hasta que no estén consolidados.

    Y eso puede llevar tiempo.

    ResponderEliminar
  3. Josu. Llevo muchos años leyendo las noticias desde meneame y es la primera vez que me animo a escribir.
    En mi opinión resultamos incómodos los que somos capaces de leer periódicos de uno y otro bando, formarnos una opinión y no creer lo que nos digan a pies juntillas.
    Van a ser muchos los anónimos que te van a escribir... Esto ya no hay quien se lo crea.
    Están resucitando a demasiados.

    ResponderEliminar
  4. Ante todo gracias, se nota que haces un intento por presentar los datos de la manera más objetiva posible.
    Yo tengo sospechas de lo que sucede, pero son sospechas. Por un lado estamos en una fase de recuperación y esperanza. Y la derecha/ultraderecha se afanan por hacer caja, para lo que necesitan remover la mierda todo lo que puedan.
    Por otro lado, las cifras en Cataluña no me cuadran. Llevan una contabilidad paralela basada en los datos suministrados por las funerarias. Son cifras que podrían ser aceptables en el peor de los escenarios ,pero por otro lado, son 11800 y teniendo en cuenta su población dan unos 1580 muertos por millón. Si comparamos estos datos con el resto del mundo, ni siquiera en el estado de Nueva York, donde se han producido 1520 muertos por millón. Y hay que tener presente que Nueva York tiene una densidad de población de 10000 hab/km2, mientras que Cataluña se queda en 250, unas 40 veces menor.
    Nos van a marear con muchas informaciones, pero ¿de quién fiarnos? es el Momo tan manipulable como la Guardia Civil o la adjudicatura. Pueden generar polémica de la nada para sacar rédito político. Que cada uno saque conclusiones en base a sus filiación política.

    ResponderEliminar
    Respuestas
    1. Habría que ajustar lo de las densidades de población, estás comparando la ciudad de Nueva York con la CCAA entera. La de Barcelona es de 16.000 y la de Hospitalet de 21.500 habitantes por km2. El Estado de Nueva York es muy grande y tiene mucho campo por otra parte.

      Eliminar
    2. Cierto el dato lo asocié al estado y es de la ciudad, la densidad en nueva york es similar a cualquier urbe catalana, sobretodo si quitas Staten Island. El razonamiento sigue siendo válido, aunque la diferencia de la densidad poblacional sea menor de un factor 40, la hay (si comparas la ciudad de Nueva york con las cifras de toda Cataluña). En Nueva York ha sido la ciudad peor afectada a nivel mundial.
      Pero me siguen pareciendo demasiado altas las cifras en Cataluña, 65.402 contagiados, 12.154 muertos. Una mortalidad del 18%. Llevo tiempo observando las cifras de todos los países, y ningún país tiene esas cifras, significaría que son demasiado ineficaces con las detecciones.

      Eliminar
  5. Piensa que MoMo (en periodos "normales") genera una serie de alarmas que activan una serie de protocolos cuando detecta incrementos sustanciales de la mortalidad. Lo que no puede suceder es que genere "falsos positivos". Por eso el sistema trata de ser conservador.

    La corrección se hace teniendo en cuenta el retraso habitual (de nuevo, en tiempos "normales") en la notificación de las defunciones de los registros civiles de cada provincia.

    Incluso en épocas sin pandemia, el modelo "falla" (aunque no gravemente) en periodos "especiales", como navidad, agosto, etc.en que el rendimiento de los algunos registros civiles decae.

    El problema de los datos de MoMo "ahora" es que la actividad de los registros civiles está muy por debajo de la media histórica. Como consecuencia, MoMo infraestima seriamente la cifra de muertos. P.e., en un día determinado espera contar con el ~90% de las defunciones definitivas pero, en realidad, solo han llegado el 20%.

    De todos modos, las cifras corregidas son más próximas a la realidad que las cifras sin corregir. La corrección en tiempos normales es muy buena (las cifras definitivas coinciden aproximadamente con las estimadas por el modelo). Ahora quedan muy por debajo.

    La documentación pública de MoMo es concisa. Existe una documentación más extensa que no está disponible al público en general (¿por qué?) donde todo queda mucho más claro.

    Puedes ver detalles sobre el modelo de corrección de los retrasos en

    https://datanalytics.com/2019/07/03/modelizacion-de-retrasos-una-aplicacion-del-analisis-de-supervivencia/

    y de MoMo en general en
    https://www.datanalytics.com/2020/04/08/momo-una-documentacion-oficiosa/

    ResponderEliminar

Gracias por participar. Si quieres que otros lectores puedan debatir contigo, por favor, no firmes como "Anónimo" a secas. Usa la opción "Nombre/URL" e invéntate un nombre, aunque sea "Anónimo33", "ABC" o "123", para que podamos dirigirnos a ti, y tus comentarios no se confundan con los de otras personas.
Los comentarios de las entradas menos recientes son revisados por mí y no se publican inmediatamente.