Introducción al deep learning contemporáneo

En este módulo especializado se exploran técnicas de aprendizaje profundo utilizadas en el procesamiento de datos secuenciales y en el análisis de imágenes. Durante este módulo, se espera que los participantes adquirieran los conocimientos necesarios para comprender y aplicar las redes neuronales convolucionales (CNNs) y las redes neuronales recurrentes (RNNs) en diversas tareas. Comenzaremos comparando las redes neuronales tradicionales (ANNs) con las redes neuronales convolucionales (CNNs), destacando la operación de convolución en las CNNs. Analizaremos la estructura de AlexNet, una arquitectura famosa en la comunidad de Deep Learning. Además, abordaremos la metodología de entrenamiento y definición de tareas para estas redes. A medida que avanzamos, exploraremos los desafíos que surgen al trabajar con datos secuenciales y la información dependiente del tiempo. Introduciremos el concepto de procesamiento de lenguaje natural y nos sumergiremos en las redes neuronales recurrentes (RNNs) y sus diferentes variantes. Discutiremos los tipos de RNNs y los retos que enfrentan, como la dependencia a largo plazo y el desvanecimiento o explosión del gradiente.

En este modulo se exploran los fundamentos y aplicaciones de los Transformers en el campo del aprendizaje profundo. A lo largo de este módulo, se espera que los participantes adquirieran conocimiento de las estructuras de los Transformers. Se explorarán aspectos claves como el embedding del texto, la codificación posicional y el mecanismo de atención, que permiten a los Transformers capturar relaciones complejas entre los elementos de una secuencia. Además, se abordarán particularidades como el pre-entrenamiento y el aprendizaje de transferencia, y se analizarán las aplicaciones de los Transformers tanto en el procesamiento del lenguaje natural como en el procesamiento de imágenes mediante la arquitectura Transformer Visual.

Este módulo explora las técnicas de generación de datos mediante modelos generativos. A lo largo de este módulo, se espera que los participantes adquieran los conocimientos necesarios para comprender y aplicar distintos enfoques en la generación de datos mediante Deep Learning. Comenzaremos analizando la diferencia entre modelos discriminativos y modelos generativos, y cómo estos últimos nos permiten crear contenido original. Exploraremos el concepto de espacio latente, donde la información se codifica para generar nuevas muestras. Además, estudiaremos la arquitectura de los generadores y discriminadores en el contexto de redes generativas adversariales (GANs). Aprenderemos sobre la metodología de entrenamiento y las funciones de pérdida utilizadas para optimizar estos modelos. Finalmente, exploraremos la intuición detrás de los modelos probabilísticos de difusión y su entrenamiento.