Word embedding

Word embedding

1. vector de valor real que representa una sola palabra en función del contexto en el que aparece

   • Aprendizaje no supervisado
   • Datos y preprocesamiento
     • Textos
       • Descubrieron que las incrustaciones generadas a partir de notas clínicas están más fuertemente correlacionadas con los juicios humanos sobre la similitud de palabras.
     • tokenización, la eliminación de palabras vacías (p. Ej., The, is, a) y la matización de lemas (es decir, reducir las diferentes formas morfológicas de una palabra a una forma raíz, p
   • Entrenamiento
     • ajustar un modelo a un corpus preprocesado y ajustar los hiperparámetros del modelo, que son configuraciones cuyos valores se especifican empíricamente antes del entrenamiento.
   • Pueden representar más qua palabras, conceptos médicos
     • Integrando varias metodologias
       • Conocimiento clínico
       • Wordembeddings entrenados anteriormente
       • Funciones UMLS para contextos arbitrarios
       • Directamente de conceptos clínicos

2. Una alternativa a word embedding es creación de funciones numéricas específicas para representar aspectos destacados del texto, como la proporción de sustantivos y pronombres.

   • Requiere más esfuerzo, mientras que el word embedding aprende directamente del texto

3. Problemas

   • Tendencia
     • Aprender sesgos
   • Interpretabilidad
   • Privacidad
   • Evaluando
     • Diferentes BD

4. Tipos Representación de texto

   • a menudo comienza con una codificación one-hot, que asigna cada palabra en un vocabulario, que consta de V elementos únicos, a un índice único en un vector. Por lo tanto, una palabra está representada por un vector de todos los ceros excepto por un 1 en la posición apropiada.
     • Word2Vec
       • Pequeñas redes neuronales para aprender el mapeo de palabras a un punto en un espacio vectorial.
         • CBOW
           • Predicción de palabra dado un contexto
         • SG
           • Predicción de contexto dado una palabra
         • Doc2vec y paragraph2vec son similares, pero trabajan con frases no con palabras
       • Parametros clave
         • # Dimensiones embedding
           • 50-500
         • Tamaño de la ventana
           • 10-50
     • GloVe
       • matriz de co-currencia de términos
         • Estadísticas en ventanas de contexto más grandes que word2vec, captura dependencias a más largo plazo
     • ELMo
       • RNN (red de concurrencia bidireccional)
       • En lugar de utilizar una incrustación fija para cada palabra, ELMo examina la oración completa a medida que asigna una incrustación a cada palabra.
         • Enfoque semántico
     • BERT
       • utiliza capas de atención paralelas en lugar de recurrencia secuencial
         • Modelo de lenguaje enmascarado
         • NSPT (next sentence prediction task)
         • BioBert, ClinicalBert, SciBert
     • Otros
       • Poincaré embeddings
         • Espacio hiperbólico
         • capturar información jerárquica en muchas menos dimensiones que los métodos típicos de incrustación de palabras
           • Word2vec, GloVe y FastText aprenden modelos de lenguaje a través de ventanas de contexto, pero esto no permite aprender dependencias a largo plazo. Ai un plan de tratamiento al final de un párrafo largo está relacionado con los síntomas mencionados al principio
           • ELMo la información se retiene de una palabra a la siguiente dentro del espacio latente del embedding
   • Usar uno u otro depende de la data y el contexto
   • La mayoría se representan en un espacio Euclidiano
     • a veces las hace incapaces de capturar la estructura jerárquica observada en ciertos cuerpos.

5. Visualización

   • s t-distributed stochastic neighbor embedding (t-SNE)
     • Ilustran validez

6. Evaluación

   • La evaluación intrínseca típica consiste en calcular puntuaciones de similitud o parentesco con los juicios humanos, utilizando conjuntos de datos como SimLex-999 [63], WordSim353 [64] y MEN [65].
     • Pudeden fallar los conjuntos de evaluación
   • aprender una alineación entre los incrustaciones de palabras y vectores de características construidos manualmente con propiedades lingüísticas
   • Tipos
     • Intrínseca
     • Extrínseca

Images and files in the map