NPL

NLP

Frecuencias y diccionarios

Embeddings

Transformers

One hot encoding: Representación por vectores de tamaño n (tamaño del texto)

N-grams: Representación por vectores con frecuencia de palabras en los textos.

Representación por medio de vectores con menor dimensión, mediante la agrupación de atributos realizadas por redes neuronales recurentes:

Word2Vec

Doc2Vec

GloVe

FastText

Mecanismos de atención que permiten la relación entre palabras lejanas. Tiene un sistema de encoding y decoding por capas. Puede funcionar con redes neuronales recurrentes cuya capa de recurrencia se remplaza por un modelo de "self attention":

ElMo

BERT

GPT-2

GPT-3

Retro