Token
Um token, no contexto de grandes modelos de linguagem (LLMs), é uma sequência de caracteres que o modelo converte em representações numéricas para processamento eficiente. Os tokens são as unidades básicas de texto usadas por LLMs como GPT-3 e ChatGPT para entender e gerar linguagem.
•
3 min read