Lärväg · ca 25 minuter · inget konto behövs
Hur skriver en chattbot?
Från text till tal, via uppmärksamhet, till ett svar som växer fram en token i taget. För dig som vill veta vad som händer inuti.
Efteråt kan du förklara
- Texten delas i tokens, och varje token blir en lista med tal där liknande ord hamnar nära varandra.
- Uppmärksamheten låter varje ord väga in de andra orden. I en språkmodell får orden bara titta bakåt.
- Svaret skrivs en token i taget, och träningen på samtal gör en textgissare till en assistent.
Steg 1 av 7 · ca 5 min · ur modulen Ord som tal
Text blir tal
En dator räknar bara. Se hur text delas i bitar och hur varje bit får en plats på en karta över betydelser.
Steg 2 av 7 · ca 3 min
Spela: Tokenjakten
Klipp orden i tokens själv. Spela en bana, sedan går du vidare.
Steg 3 av 7 · ca 5 min · ur modulen Transformern och uppmärksamhet
Orden tittar på varandra
Transformern är byggstenen i alla stora språkmodeller. Se hur ”den” hittar vad det syftar på.
Steg 4 av 7 · ca 3 min
Spela: Vem är ”den”?
Hitta själv vad pronomenet syftar på och jämför med uppmärksamheten.
Steg 5 av 7 · ca 4 min · ur modulen Språkmodellen
Nästa token, och nästa
Se hur svaret växer fram och vad temperaturen gör.
Steg 6 av 7 · ca 3 min · ur modulen Från förträning till assistent
Från textgissare till assistent
Varför svarar chattboten på frågor i stället för att bara fortsätta texten?
Steg 7 av 7 · ca 2 min
Testa dig själv
Sex frågor om det du sett. Fel svar förklaras.
Testa dig själv
6 frågor. Två om grunderna, en där du använder det du lärt dig och en där du förutsäger vad som händer.
Rätt svar: . ”Hund” och ”katt” förekommer i liknande meningar och hamnar därför nära varandra.
Rätt svar: . Steget från man till kvinna är en riktning. Lägger man den till kung hamnar man vid drottning.
Rätt svar: . Ord som inte skrivits än döljs. Det kallas kausal uppmärksamhet.
Rätt svar: . ”Den” kan inte se ”trött” än, så båda passar lika bra. Det reds ut när ”trött” kommer.
Rätt svar: . Låg temperatur väljer nästan alltid det troligaste, så svaren blir förutsägbara.
Rätt svar: . Ställer man en fråga kan den lika gärna svara med fler frågor, som i ett forum.
Klart! Nu vet du vad som händer när en chattbot svarar.
Det här är de tre sakerna att komma ihåg:
- Texten delas i tokens, och varje token blir en lista med tal där liknande ord hamnar nära varandra.
- Uppmärksamheten låter varje ord väga in de andra orden. I en språkmodell får orden bara titta bakåt.
- Svaret skrivs en token i taget, och träningen på samtal gör en textgissare till en assistent.
Ditt diplom
Skriv ut diplomet eller spara det som PDF. Namnet sparas bara på diplomet, ingen annanstans.