Från text till tal

Varför görs text om till tal?

Rätt svar: Ett neuralt nätverk kan bara räkna med tal. Varje token får ett nummer och sedan en lista med tal som nätverket räknar med.

Vanliga missförstånd: ”För att dölja texten för modellen” – Inget döljs. Talen bär information om orden. ”För att texten ska ta mindre plats” – Det handlar inte om plats. Tal är det enda nätverket kan arbeta med.

Vilka ord får liknande inbäddningar?

Rätt svar: Ord som används i liknande sammanhang. ”Hund” och ”katt” förekommer i liknande meningar och hamnar därför nära varandra.

Vanliga missförstånd: ”Ord som är lika långa” – Längden spelar ingen roll. Det är sammanhangen orden förekommer i som avgör. ”Ord som stavas nästan likadant” – ”Hund” och ”hundra” stavas nästan likadant men används helt olika. Det är användningen som räknas.

En modell har läst mycket text om husdjur. Var på kartan hamnar troligen ordet ”valp”?

Rätt svar: Nära ”hund”. ”Valp” används i ungefär samma meningar som ”hund”.

Vanliga missförstånd: ”Nära ”vagn”, eftersom båda börjar på v” – Bokstäverna spelar ingen roll för var ordet hamnar. Sammanhanget gör det. ”Långt från alla andra ord, eftersom det är ovanligt” – Även ovanliga ord hamnar nära ord som används på liknande sätt.

Du räknar kung − man + kvinna. Var hamnar pilen?

Rätt svar: Nära drottning. Steget från man till kvinna är en riktning. Lägger man den till kung hamnar man vid drottning.

Vanliga missförstånd: ”Tillbaka vid kung” – Steget från man till kvinna flyttar pilen, så den hamnar inte på samma ställe. ”Nära kvinna” – Man drar bara bort det som skiljer man från kvinna. Det kungliga finns kvar.

Vad gör uppmärksamheten i en transformer?

Rätt svar: Låter varje ord väga in de andra orden som verkar viktiga för det. Så kan ”den” koppla ihop sig med det ord det syftar på.

Vanliga missförstånd: ”Tar bort ord som inte behövs” – Inga ord tas bort. Mindre viktiga ord får bara lägre vikt. ”Markerar de viktigaste orden för läsaren” – Uppmärksamheten är inget som visas för läsaren. Den är en del av hur modellen räknar.

Vad skiljer en språkmodell som skriver text från en modell som läser en färdig text?

Rätt svar: Språkmodellen får bara titta bakåt, på ord som redan finns. Ord som inte skrivits än döljs. Det kallas kausal uppmärksamhet.

Vanliga missförstånd: ”Språkmodellen läser texten baklänges” – Den läser från början, men får inte titta framåt. ”Ingen skillnad, båda ser hela texten” – En modell som läser färdig text ser hela meningen. En språkmodell som skriver ser bara bakåt.

”Barnet läste boken och det skrattade högt.” Vilket ord bör ”det” titta mest på?

Rätt svar: barnet. En bok kan inte skratta, men ett barn kan.

Vanliga missförstånd: ”boken” – ”Boken” står närmast, men det är barn som skrattar. Närhet räcker inte. ”läste” – ”Det” syftar på något som kan skratta, alltså ett substantiv, inte ett verb.

Slå på ”bara bakåt” och välj ordet ”den” i meningen om katten som var trött. Var hamnar uppmärksamheten?

Rätt svar: Ungefär lika mycket på katten och mattan. ”Den” kan inte se ”trött” än, så båda passar lika bra. Det reds ut när ”trött” kommer.

Vanliga missförstånd: ”Nästan bara på katten” – Det händer bara när ”den” får se ”trött”. Med bara bakåt saknas ledtråden. ”Mest på ”trött”” – ”Trött” kommer efter ”den” och är dolt när bara bakåt gäller.