Investigación en el punto de mira: Hossam Magdy Kassem

Una red neural convolucionaria lanzada hace casi una década ha vencido a las arquitecturas de transformadores más recientes que llenan los títulos actuales de IA en una tarea con apuestas directas de control de brotes: reconocer echox en fotografías de lesiones de la piel.

El análisis, de Hossam Magdy Kassem, profesor asociado en el Departamento de Ingeniería de Electrónica y Comunicaciones Electrónicas de la Universidad de Tanta en Egipto, trabajando con Mohamed S. Elhadidy, Abdelrahman T. Elgohr, Ahmed Mousa, Ahmed Safwat y Roayat Ismail Abdelfatah, entrenó cinco clasificadores de imagen ampliamente utilizados en condiciones idénticas. Xception, un modelo convolucional profundo descrito por primera vez por François Chollet en 2017, alcanzó una exactitud de validación del 99,92 por ciento.

¿Por qué ahora: Echox ha desencadenado dos emergencias de salud pública de preocupación internacional desde 2022. La prueba estándar de oro, el análisis de la reacción en cadena de la polimerasa de un swab de lesión, necesita una capacidad de laboratorio que permanece escasa en las regiones más afectadas. A finales de 2024, aproximadamente el 37 por ciento de los casos sospechosos en la República Democrática del Congo habían sido probados. Una herramienta de triado precisa basada en el teléfono podría comprar tiempo y recursos de enfoque, pero sólo si sus números reportados significan algo. En este campo a menudo no lo hacen, porque los investigadores dividen conjuntos de datos de maneras que permitan que las imágenes del mismo paciente aparezcan en ambos conjuntos de entrenamiento y ensayo. La contribución real del nuevo trabajo no es otro modelo. Es un

El problema de la comparabilidad que este documento plantea para corregir

La investigación de clasificación de lesiones de Mpox tiene un problema de credibilidad. Los conjuntos de datos públicos son pequeños, a menudo unos cuantos cientos de imágenes, y los estudios inflan los resultados rutinariamente dividiendo en el nivel de la imagen en lugar del nivel del paciente. Dos cercanías del mismo brazo luego terminan en ambos lados de la prueba, y el modelo parece mejor de lo que es.

Los autores rechazan esa práctica.Construyeron un esquema de entrenamiento, validación y prueba estratificado a nivel del paciente específicamente para prevenir la fuga, y declaran su objetivo de forma abierta: en lugar de reclamar superioridad, el trabajo proporciona un benchmark reproducible que apoya una comparación justa de las arquitecturas de visión bajo condiciones estandarizadas.La misma configuración, optimizador, horario de aprendizaje, presupuesto de la época y aumentos aplicados a cada modelo.

Un conjunto de datos de seis clases de lesiones que se parecen

Los experimentos utilizaron el conjunto de datos de lesiones de la piel de Mpox público, versión 2.0, conocido como MSLD v2.0 y montado por Ali, S. N. y colegas. Contiene 755 imágenes originales de 541 pacientes en seis categorías: Mpox con 284 imágenes, Enfermedad de manos y pies con 161, piel sana con 114, pollo con 75, pollo con 66, y sarampión con 55. El estudio utilizó sólo las imágenes mismas, sin metadatos clínicos ni campos de texto.

El índice de referencia está descrito en el documento de acceso abiertoBenchmarking de CNNs pre-entrenados y transformadores de visión para la clasificación de imagen dermatológica relacionada con Mpox en MSLD v2.0La inclusión del conjunto de datos de múltiples tonos de piel, nacionalidades y tipos de lesiones es parte de su diseño: un modelo que no puede manejar una población diversa no es útil para la clasificación en los lugares donde el ecox realmente se propaga.

Cómo se han probado los modelos

Cinco columnas pasaron por la misma tubería: Xception, ConvNeXt, DenseNet121, MobileNetV2 y Swin Transformer en su variante Tiny. Todos fueron inicializados con pesas pre-entrenadas en ImageNet, un truco estándar llamado aprendizaje de transferencia. Piensa en ello como contratar a un cocinero que ya ha dominado mil recetas; se adaptan a una nueva, pequeña cocina más rápido que alguien a partir de cero. Con solo unas pocas cientos de imágenes de lesiones por clase, entrenar una red desde cero invita a la memorización.

Las imágenes fueron redimensionadas a 224 por 224 píxeles, normalizadas al rango de cero a uno, y aumentadas con rotaciones aleatorias, flips y ajustes de brillo. Modelos entrenados para 100 épocas con un tamaño de lote de 32 y paro temprano basado en el rendimiento de validación. La validación cruzada de cinco veces produjo precisión macro-mediana, precisión, recuento, puntuación de F1 y área debajo de la curva, particularmente con un promedio de desviación estándar más o menos y intervalos de confianza del 95 por ciento. Semillas aleatorias fijas y hiperparámetros documentados hacen que las carreras sean reproducibles.

Una forma útil de visualizar la diferencia arquitectónica: una red convolucional escanea una alfombra de imagen por alfombra, construyendo una sensación de textura y forma local. Un transformador de visión asiste a las relaciones en todo el marco a la vez, lo que puede ayudar con el contexto sutil pero también necesita más datos para evitar la sobreposición.

Photo by Marija Zaric on Unsplash

Xception gana, pero la parte interesante es quien se escapa

A lo largo de todo el panel, Xception produjo las mejores puntuaciones, con un 99,92 por ciento de precisión de validación y los valores de precisión y de recogida correspondientes. Sus convoluciones separables en profundidad ofrecen una fuerte extracción de características a un costo manejable, una combinación que los autores llaman tanto eficiente como escalable para el uso en el mundo real. DenseNet121 también se ha mantenido, que el documento atribuye a una reutilización eficiente de parámetros en un pequeño conjunto de datos.

Los acabados más débiles importan más que el ganador.Swin Transformer y MobileNetV2 lucharon para generalizar a datos invisibles.Este resultado va en contra de la suposición común de que las arquitecturas de transformadores dominan automáticamente la imagen médica.En un conjunto de datos pequeño, desequilibrado y visualmente sutil, el diseño convolucional más antiguo se demostró más confiable.

"No nos decidimos a coronar a un ganador", transmite la discusión del autor principal. "El punto es dar al campo una referencia reproducible para que los investigadores puedan comparar arquitecturas en las mismas condiciones en lugar de perseguir un número de título".

Dónde ocurren los errores: falsos negativos en la clase Mpox

El equipo fue más allá de las puntuaciones agregadas y leyó las matrices de confusión. Los errores más consecuentes fueron los falsos negativos concentrados entre los pacientes de Mpox. El ruido de fondo, los artefactos de imagen y el pobre contraste entre una lesión y la piel circundante ocultaron los márgenes de lesión en los que se basan los modelos. Este es el peor modo de fallo posible para una herramienta de análisis: un caso de Mpox perdido puede retrasar el aislamiento y el tratamiento y dar al virus más tiempo para moverse.

Los autores exploran estrategias de mitigación para este problema, incluyendo herramientas de preprocesamiento y interpretación de modelos más fuertes que revelan de dónde proviene una clasificación.

El contexto para esta preocupación es bastante claro.La Organización Mundial de la Salud ha presionado a los fabricantes para la capacidad de diagnóstico rápido, y elUn informeque las pruebas limitadas y la confirmación retardada en África han contribuido directamente a la continua propagación.

Opciones de diseño que ayudan, y algunas que no

Dos estudios de ablación complican la historia. El primero varió la intensidad de la ampliación y encontró que más ampliación no es automáticamente mejor; más allá de un punto, degradó los resultados en lugar de mejorarlos. El segundo probó una variante de pérdida consciente de los bordes destinada a afianzar los límites de la lesión. Otra vez, el resultado dependía de las condiciones. Estos resultados dan a los investigadores orientación concreta sobre cuándo tales ajustes pagan, en lugar de tratarlos como ganancias universales.

Una visión escéptica del 99 por ciento

Un benchmark separado, consciente de las filtraciones utilizando la misma familia de datos públicos hace que la precaución sea concreta.PLOS ONE, aplicó una separación estricta a nivel del paciente y obtuvo una precisión promedio de alrededor de 0,87 para su mejor conjunto, con una variabilidad sustancial de plegado a plegado.

Un experto independiente planteó la preocupación de esta manera: "Una cifra de validación del 99,92 por ciento te dice que el modelo ha aprendido los patrones de este conjunto de datos. No te dice cómo se comportará en una foto del teléfono tomada a poca luz en una clínica de pasillo.

El artículo utiliza un solo conjunto de datos público, sin metadatos clínicos, y los autores describen el trabajo como una buena práctica inspirada en ISO 14971 y IEC 62304 sin reclamar el cumplimiento regulatorio formal.

Photo by Marcel Strauß on Unsplash

¿Qué significa esto para el próximo brote?

Durante los próximos cinco a diez años, el valor de este trabajo es menos sobre Xception que sobre el método que modela.Cuando surja el próximo virus causante de erupciones cutáneas, los investigadores se enfrentarán nuevamente a la tentación de informar de números deslumbrantes en pequeños conjuntos de datos que se escapan.Un índice de referencia con separación a nivel de paciente, intervalos de incertidumbre y análisis de error clínico da a los revisores un modelo para preguntar: ¿era la prueba justa, y el modo de fracaso lesionó a las personas?

El grupo de Kassem también ha trabajado en variantes ligeras, mejoradas por la atención, adecuadas para la telemedicina y los ajustes limitados en recursos, una extensión obvia de esta línea.La toma de decisiones inmediata para los clínicos y los equipos de salud pública es más simple: la clasificación automática de lesiones está mejorando verdaderamente en la distinción entre el vagox de la varicela, el sarampión y otros imitadores, pero la distancia entre una fuerte puntuación de validación y una herramienta de campo confiable todavía se mide en análisis de errores, cohortes externas y retención.