Token
Un token, nel contesto dei grandi modelli linguistici (LLM), è una sequenza di caratteri che il modello converte in rappresentazioni numeriche per un'elaborazione efficiente. I token sono le unità di base del testo utilizzate dagli LLM come GPT-3 e ChatGPT per comprendere e generare il linguaggio.
•
3 min read