Attention Mechanism
IA & ML · Abismo
Un componente de red neuronal que permite a los modelos ponderar la relevancia de diferentes partes de la entrada al producir la salida. La autoatencion calcula productos punto consulta-clave-valor en todas las posiciones, permitiendo que cada token 'atienda' a todos los demas tokens. La atencion multi-cabeza ejecuta multiples funciones de atencion en paralelo. La atencion es O(n^2) en la longitud de la secuencia, impulsando la investigacion sobre ventanas de contexto.