Przejdź do głównej zawartości

Jeden post z tagiem "sztuczna inteligencja"

Wyświetl wszystkie tagi

Czym jest token w LLM?

· 3 min aby przeczytać

Tokeny są podstawowymi elementami, które pozwalają zrozumieć, jak działają duże modele językowe (LLM). Jeśli kiedykolwiek korzystałeś z narzędzia opartego na LLM, takiego jak chatbot lub asystent głosowy, prawdopodobnie te narzędzia przetwarzają Twoje zapytania, dzieląc je na "tokeny". Ale czym dokładnie jest token i dlaczego jest to istotne?