Cómo la tarea de completar analogías cambió la representación de las palabras
Este ensayo tiene como objetivo discutir el desarrollo de los algoritmos word2vec y GloVe en relación con un objetivo secundario para el cual se aplicaron estos algoritmos: el análisis de conceptos contenidos en corpus de texto. Primero, se analiza el algoritmo word2vec a la luz de su contexto histórico. A continuación, se describe la tarea de finalización de analogías que destacó el potencial de la aritmética semántica posible con las incrustaciones de word2vec. Finalmente, se compara el desarrollo del algoritmo GloVe con el algoritmo word2vec.
El algoritmo word2vec (Mikolov et al., 2013a) combina dos conocimientos técnicos principales: (1) los vectores continuos se pueden utilizar para representar información semántica (2) y las representaciones internas aprendidas por las redes neuronales son conceptualmente significativas. Sin embargo, cuando se introdujo el algoritmo en 2013, ni la representación continua de la información semántica ni el valor conceptual de las representaciones internas eran ideas nuevas. Más específicamente, en el campo de la recuperación de información, el análisis semántico latente (LSA; Deerwester et al., 1990) y la asignación latente de Dirichlet (Blei et al., 2003) se han propuesto como métodos estadísticos que explotan la información semántica latente en los textos para mejorar. métodos que trataban las palabras como características indexadas (que existen…
