Modelado de secuencias de acciones del usuario: desde la atención hasta los transformadores y más allá | de Samuel Flender | julio de 2024

Modelado de secuencias de acciones del usuario: desde la atención hasta los transformadores y más allá |  de Samuel Flender |  julio de 2024

La búsqueda de los sistemas de recomendación LLM-ify

Imagen generada usando ChatGPT

Las secuencias de acciones del usuario son algunas de las entradas más poderosas para los sistemas de recomendación: su próximo clic, lectura, visualización, reproducción o compra probablemente esté al menos algo relacionado con lo que hizo clic, leyó, vio, jugó o compró minutos, horas, días. , meses o incluso años.

Históricamente, el status quo para modelar dichas secuencias de participación de los usuarios ha sido la agrupación: por ejemplo, un YouTube clásico de 2016. papel describe un sistema que toma los últimos 50 videos vistos, recopila sus incrustaciones de una tabla de incrustaciones y los agrega en un único vector de características con agrupación de sumas. Para ahorrar memoria, la tabla de incrustación de estos videos de secuencia se comparte con la tabla de incrustación de los propios videos candidatos.

El sistema de recomendaciones de YouTube agrupa la secuencia de vídeos vistos por un usuario. Covinton et al. 2016

Este enfoque simplista corresponde aproximadamente a un enfoque de bolsa de palabras para el procesamiento del lenguaje natural: funciona, pero está lejos de ser ideal. La agrupación no tiene en cuenta la naturaleza secuencial de las entradas, ni la relevancia del elemento en el historial del usuario con respecto al elemento candidato que necesitamos clasificar, ni ninguna información temporal: un…