El Avance de 2015 que Hizo que las Redes Neuronales Profundas se Pudieran Entrenar a Gran Escala

Batch Normalization, introducido en el artículo seminal de 2015 por Sergey Ioffe y Christian Szegedy, transformó cómo se entrenan las redes neuronales profundas.La técnica aborda el cambio covariado interno, un fenómeno donde la distribución de las activaciones de la red cambia durante el entrenamiento, ralentizando la convergencia y requiriendo una inicialización cuidadosa y tasas de aprendizaje más bajas.

La innovación detrás de una formación más rápida

El cambio de covariante interno se produce porque las entradas de cada capa cambian a medida que los parámetros de las capas anteriores se actualizan. Esto obliga a las capas posteriores a adaptarse continuamente, lo que conduce a gradientes inestables y aprendizaje más lento. Normalización de lotes normaliza las entradas a cada capa subrayando la media de lotes y dividiendo por la desviación estándar de los lotes, luego escala y cambia el resultado utilizando parámetros aprendibles. Este paso sencillo estabiliza dramáticamente el proceso de entrenamiento.

Explicación paso a paso del algoritmo

El proceso comienza con un mini batch de activaciones. Calcula la media y la varianza en todo el batch para cada característica. Normaliza cada activación centrándola alrededor de cero y escalando a la varianza de unidad. Aplica transformaciones afines con parámetros gamma y beta que la red aprende durante el entrenamiento. En el tiempo de inferencia, utiliza medias corrientes de media y varianza recogidas durante el entrenamiento en lugar de estadísticas de batch.

Photo by Synth Mind on Unsplash

Impacto en los flujos de trabajo de aprendizaje profundo

Antes de la Normalización de lotes, la capacitación de redes muy profundas a menudo requería días o semanas en hardware potente. Después de su adopción, los investigadores podían utilizar tasas de aprendizaje mucho más altas, reduciendo el tiempo de capacitación por factores de 10 o más al tiempo que se consiguió una mejor precisión final.

Adopción del mundo real a través de las industrias

Los equipos de visión informática de las principales compañías de tecnología integraron el método en las arquitecturas de ResNet, permitiendo redes de 152 capas que ganaron las competiciones de ImageNet.Los modelos de procesamiento de lenguaje natural también se beneficiaron, con transformadores que incorporaban estrategias de normalización similares.

Técnicas de Pre-Normalización

• Las estrategias de inicialización de peso por sí solas no podrían compensar plenamente las distribuciones cambiantes.
• Dropout y otros métodos de regularización abordaron la sobrealimentación pero no la velocidad de entrenamiento.
• Batch Normalization proporcionó estabilización y aceleración en un paquete elegante.

Limitaciones y mejoras posteriores

La normalización de lotes requiere tamaños de lotes suficientemente grandes para obtener estadísticas fiables, lo que puede ser problemático en entornos con restricciones de memoria. La normalización de capas y la normalización de grupos surgieron como alternativas para las redes recurrentes y los escenarios de lotes pequeños. A pesar de estas evoluciones, la técnica original sigue siendo fundamental en la mayoría de los marcos modernos.

Futuras perspectivas para los métodos de normalización

Los investigadores continúan explorando la normalización adaptativa que se ajusta dinámicamente durante el entrenamiento.La integración con la cuantización y las técnicas de inferencia eficientes prometen una aplicabilidad aún más amplia.El avance de 2015 puso las bases para los modelos de billones de parámetros actuales al hacer que el entrenamiento profundo sea tractible a escala.