modul nr 5
Språkmodellen
En språkmodell gissar nästa ord, och sedan nästa, och nästa.
Grunderna
Laddar modulen …
- Efteråt vet du
- Att en språkmodell förutsäger nästa token, och vad temperaturen gör med svaren.
- Du provar själv
- Låt en liten modell skriva ord för ord. Se sannolikheterna och ändra temperaturen.
Spela Slå maskinen →Spela Tokenjakten →
En språkmodell är ett stort neuralt nätverk som har tränats på väldigt mycket text för att gissa nästa token. Det låter enkelt, men för att gissa bra måste modellen fånga grammatik, fakta och sammanhang. Därför kan den också sammanfatta, översätta och svara på frågor.
Filmen visar
- En mening som växer fram en token i taget.
- Vilka ord modellen tror kan komma härnäst, och hur troliga de är.
- Varför samma början kan ge olika fortsättningar.
Du provar själv
Modulen kör en liten modell som tränats på en kort svensk text. Välj början, antal ord och temperatur, och byt slumpfrö för att få en ny text.