Kontext

En språkmodell ser bara en begränsad mängd text åt gången. Det kallas kontextfönstret och mäts i tokens, ungefär ordbitar. Allt som ska påverka svaret måste rymmas där: dina meddelanden, modellens egna svar, instruktioner och dokument du klistrat in.

När ett samtal blir längre än fönstret faller det äldsta bort. Modellen glömmer inte på samma sätt som en människa. Texten finns helt enkelt inte i det den ser. Dagens största modeller rymmer hela böcker, men fönstret tar alltid slut någon gång, och även inom fönstret kan detaljer långt bak få mindre uppmärksamhet.

Modellen lär sig inget av samtalet. När en chattjänst ”minns” dig har den sparat korta anteckningar som läggs in i fönstret i nästa samtal. Det är bra att veta vad som sparas, och att du ofta kan se och ta bort det.

Filmen visar

• Vad ett kontextfönster är och hur det mäts i tokens.
• Hur början av ett långt samtal faller utanför.
• Hur ett större fönster och en minnesanteckning hjälper.

Du provar själv

Ändra fönstrets storlek, hur långt samtalet är och om minnet är på. När glömmer modellen hunden?

Vad vi förenklar här

• Vi räknar en token per tre tecken. Riktiga tokens är ordbitar som en tokeniserare väljer, se modulen Ord som tal.
• Fönstret här är 40 till 300 tokens. Riktiga fönster rymmer tusentals till miljontals tokens.
• Svaret tar också plats i fönstret, och tjänster lägger till egna instruktioner. Det räknar vi inte med.
• När modellen inte ser något kan den lika gärna gissa som säga att den inte vet.
• Tjänster gör olika när samtalet blir för långt: en del klipper bort början, andra sammanfattar den.