Quien inventó relu

La función de activación de la unidad lineal rectificada (RELU) fue propuesta por Nair y Hinton 2010, y desde entonces, ha sido la función de activación más utilizada para aplicaciones de aprendizaje profundo con resultados de última generación hasta la fecha [57].

1. Quien introdujo la activación de Relu?
2. ¿Por qué se introdujo Relu??
3. ¿Por qué es famoso Relu??
4. Por qué Relu se llama Relu?

Quien introdujo la activación de Relu?

Fukushima publicó el artículo de cognitron original en 1975. Esa fue la primera instancia de Relu. Se define en la ecuación 2 aquí: Fukushima, K.

¿Por qué se introdujo Relu??

Actualmente, RELU se utiliza como la activación predeterminada en el desarrollo de redes de multicapa neuronal y de perceptrones convolucionales. La función de activación de Relu resuelve este problema que permite que los modelos funcionen mejor y aprendan más rápido. No hay formas correctas o incorrectas de aprender tecnologías de IA y ML: cuanto más, mejor!

¿Por qué es famoso Relu??

Los relus son populares porque es simple y rápido. Por otro lado, si el único problema que encuentra con Relu es que la optimización es lenta, el entrenamiento de la red es una solución razonable es. Sin embargo, es más común que los documentos de vanguardia utilicen activaciones más complejas.

Por qué Relu se llama Relu?

Relu se ha convertido en la función de activación querida del mundo de la red neuronal. Corto para la unidad lineal rectificada, es una función lineal por partes que se define como 0 para todos los valores negativos de x y igual a un × X de lo contrario, donde A es un parámetro aprendible.