Procesamiento de Lenguaje Natural

Curso online
Horario: miércoles de 18.30 a 21.30
Horas: 15 en cinco clases de tres horas
Comienzo: miércoles 18 de noviembre

Para hacer este curso debes sentirte cómodo programando en Python y tener conocimientos básicos de machine learning, álgebra lineal y probabilidad condicional.

Arancel: $5000

El Procesamiento de Lenguaje Natural (NLP) usa algoritmos para entender y manipular el lenguaje humano.
Esta tecnología es una de las más ampliamente aplicadas en machine learning. La IA se sigue expandiendo, por lo que demandará profesionales con habilidades en construir modelos que analicen discurso y lenguaje, descubran patrones conceptuales y extraigan conceptos de textos y audios.

Conceptos sobre modelos secuenciales

Los modelos secuenciales permiten construir modelos para lenguaje natural, audio y otros tipos de datos secuenciales. Gracias a Deep Learning, los algoritmos para datos secuenciales están trabajando mucho mejor que hace unos pocos años y están abriendo el camino para un rango de numerosas y desafiantes aplicaciones como speech recognition, music synthesis, chatbots, machine translation, natural language understanding y muchas otras.

Con los modelos secuenciales se puede....

- Entender como construir y entrenar Redes Neuronales Recurrentes (RNNs), y sus variantes como GRUs y
  LSTMs.
- Resolver problemas de lenguaje natural, incluyendo sintetización de textos.
- Construir aplicaciones de audio, incluyendo speech recognition y music synthesis.

En este curso veremos en detalle....

Natural Language Processing with Classification and Vector Spaces

a) Análisis de sentimientos en tweets usando logistic regression y naïve Bayes.

b) Usar vector space models para descubrir relaciones entre palabras y usar PCA para reducir la
     dimensionalidad y visualizar esas relaciones.

c) Escribir un algoritmo simple para traducir del inglés al francés usando word embeddings y locality sensitive
    hashing para relacionar palabras con k-nearest neighbour.


Veremos también conceptos sobre Redes Neuronales Recurrentes

- Porqué modelos secuenciales
- Notación
- El modelo de RNN
- Backpropagation a lo largo del tiempo
- Diferentes tipos de RNNs
- Language model and sequence generation
- Sampling novel sequences
- Vanishing gradients with RNNs
- Gated Recurrent Unit (GRU)
- Long Short Term Memory (LSTM)
- Bidirectional RNN
- Deep RNNs


Introducción a Word Embeddings

- Word Representation
- Using word embeddings
- Properties of word embeddings
- Embedding matrix

Aprendiendo Word Embeddings: Word2vec & GloVe

- Learning word embeddings
- Word2Vec
- Negative Sampling
- GloVe word vectors

Aplicaciones usando Word Embeddings

- Sentiment Classification
- Debiasing word embeddings


Arquitecturas varias sequence to sequence

- Basic Models
- Picking the most likely sentence
- Beam Search
- Refinements to Beam Search
- Error analysis in beam search
- Bleu Score (optional)
- Attention Model Intuition
- Attention Model

Speech recognition - Audio data

- Speech recognition
- Trigger Word Detection