modul nr 3
Ord som tal
Hur text delas upp i bitar och hur varje bit blir en lista med tal.
Fördjupning
Laddar modulen …
- Efteråt vet du
- Tokens och inbäddningar, och varför ord som används på liknande sätt hamnar nära varandra.
- Du provar själv
- Dela upp långa ord i tokens och räkna med ord på en karta: kung − man + kvinna.
En dator kan bara räkna med tal. Därför delas texten först upp i bitar, så kallade tokens. Sedan får varje bit en lista med tal, en inbäddning. Ord som brukar förekomma i liknande sammanhang får liknande tal.
Det gör att man kan räkna med betydelser. Tar man kung, drar bort man och lägger till kvinna hamnar man nära drottning.