Attention Mechanism
IA & ML · Abismo
Um componente de rede neural que permite aos modelos ponderar a relevancia de diferentes partes da entrada ao produzir a saida. A auto-atencao calcula produtos escalares query-key-value em todas as posições, permitindo que cada token 'atenda' a todos os outros tokens. A atencao multi-cabeca executa multiplas funções de atencao em paralelo. A atencao tem complexidade O(n^2) no comprimento da sequência, impulsionando pesquisas sobre janela de contexto.