Algo de diversión con deep learning y R+keras: Neuro Style Transfer

Qué es eso de “Deep Learning”

“As Richard Feynman once said about the universe: it’s not complicated, it’s just a lot of”

Enlaces externos

Coursera Deep Learning (Andrew Ng y equipo)

Keras

Keras para R, thx Rstudio

Françoise Chollet

Más enlaces sobre Chollet-1

Más enlaces sobre Chollet-2

Françoise Chollet es el autor de los dos libros esenciales sobre Deep Learning / Keras:Deep Learning with R

También versión para python

Repositorio github de ejemplos keras - R

Paper esencial de Leon Gatys, Alexander Ecker y Matthias Bethge, 2015

Instalar keras

Instalación en windows (CPU normal)

# caveat it requires installing Rtools
devtools::install_github("rstudio/keras")

# Load in the keras package
library(keras)

# it also installs TensorFlow, no need for additional installation 

Instalar keras en ubuntu (con o sin GPU)

Apéndice A de libro Chollet keras - R

Redes Neuronales Convolucionales (CNN)

Hay muchos videos explicativos en youtube

Pero a mi el que más me gusta es este (tomado del coursera)

Transfer Learning

En un (descaradísimo y simplificadísimo) resumen: se trata de utilizar los pesos (modelo) entrenados para una tarea en otra tarea.

En este caso usaremos el modelo VGG19.

VGG es un modelo entrenado para el ImageNet Challenge 2014 -el paper es de 2015-, y es una red con arquitectura de 16 o 19 capas (usaremos la de 19).

Para que nos hagamos una idea, VGG19 tiene 14.714 millones de parámetros entrenados.

Neuro Style Transfer

Código R / keras (Rmarkdown)

Código python (notebook jupyter)

Muy muy en resumen:

• Partimos de una imagen de contenido y otra de estilo.
• Calculamos las capas de activación de VGG19 para las tres imágenes: estilo, contenido y generada, a la vez.
• Definimos una función de pérdida (loss) conjunta de la diferencia entre imagen generada (en cada iteración) y el contenido por un lado y del estilo por otra.
• La función loss de estilo está definida por la “correlación entre filtros” de la imagen estilo (Gram Matrix). Técnicamente esto es la “unnormalized cross-covariance”, siempre entre los filtros de la imagen. De este modo capturamos la “textura” de la imagen estilo.

• Se realiza un proceso de optimización (minimización) de esa función loss usando un proceso de descenso de gradiente (gradient descent).

En cada iteración del entrenamiento generamos una imagen que contendrá las características de alto nivel de la imagen de contenido (formas que definen la imagen), mezcladas con la textura de la imagen de estilo.