Tokens are fundamental elements to understand how large language models (LLMs) work. If you have ever used a tool based on an LLM, such as a chatbot or a voice assistant, it is likely that these tools process your requests by breaking them down into "tokens." But what exactly is a token, and why is it essential?

Wat is een LLM (large language model)?

Stel je een veld voor vol wilde bloemen dat zich uitstrekt zover het oog reikt, waar een enorme zwerm bijen druk aan het zoemen is. Ze fladderen, verzamelen pollen van elke bloei en veranderen dit in ongelooflijk complexe honing. Die honing is taal. En deze bijen zijn de LLMs (Large Language Models), die enorme taalmodellen die onvermoeibaar werken om enorme hoeveelheden tekstuele data om te zetten in iets gestructureerd, samenhangend en soms zelfs zeer creatief.