modul nr 4
Transformern och uppmärksamhet
Byggstenen från 2017 som dagens språkmodeller vilar på.
Fördjupning
Laddar modulen …
- Efteråt vet du
- Hur modellen avgör vilka ord i en mening som hör ihop.
- Du provar själv
- Välj en mening och ett ord och se vilka andra ord det ”tittar på”.
Äldre modeller läste text ett ord i taget, från vänster till höger. En transformer låter i stället varje ord jämföra sig med alla andra ord i texten och väga in de som verkar viktiga. Det kallas uppmärksamhet.
I meningen “katten låg på mattan, för den var trött” behöver modellen lista ut att “den” syftar på katten. Uppmärksamheten är hur den gör det.