Token (AI/NLP)
IA & ML · Superficial
A unidade básica de texto processada por modelos de linguagem — tipicamente uma palavra, subpalavra ou caractere. Tokenizadores (BPE, SentencePiece) dividem o texto em tokens para entrada no modelo. 'Solana blockchain' pode ser tokenizado como ['Sol', 'ana', ' block', 'chain']. A contagem de tokens determina o uso da janela de contexto e a cobranca da API. Não confundir com tokens de blockchain (ativos de criptomoeda).