Spel

Tokenjakten

Klipp orden i bitar som en tokeniserare gör. Färre bitar är bättre.

Laddar spelet …

Du lär dig: Att en språkmodell läser tokens, inte ord, och varför långa svenska ord, tal och stavfel blir många bitar.
Mer i modulen: Språkmodellen →