Token (AI/NLP)
IA & ML · Superficial
La unidad básica de texto procesada por los modelos de lenguaje, tipicamente una palabra, subpalabra o caracter. Los tokenizadores (BPE, SentencePiece) dividen el texto en tokens para la entrada del modelo. 'Solana blockchain' podria tokenizarse como ['Sol', 'ana', ' block', 'chain']. El conteo de tokens determina el uso de la ventana de contexto y la facturacion de la API. No confundir con tokens blockchain (activos de criptomonedas).