22 begrepp
Ordlista
- Agent
- En AI som får ett mål och verktyg och sedan själv tar ett steg i taget tills målet är nått.Agenten →
- AGI
- Artificiell generell intelligens: en tänkt AI som är minst lika bra som människor på i stort sett allt.
- Finjustering
- Extra träning på utvalda exempel, så att en förtränad modell beter sig på ett visst sätt, till exempel som en assistent.Från förträning till assistent →
- Förträning
- Den första och största träningen, på väldigt mycket text. Där lär sig modellen språk och fakta.Från förträning till assistent →
- Gradient
- Den riktning där felet ökar snabbast. Vid träning flyttas parametrarna åt motsatt håll.Träning →
- Hallucination
- När en modell säger något som låter rimligt men är påhittat eller fel.Risker och säkerhet →
- Inbäddning
- En lista med tal som står för en token. Ord med liknande betydelse får liknande tal.Ord som tal →
- Kontextfönster
- Hur mycket text modellen kan ta hänsyn till på en gång, mätt i tokens.Språkmodellen →
- Lager
- En rad neuroner som tar emot samma indata. Ett djupt nätverk har många lager efter varandra.Neuralt nätverk →
- Mänsklig återkoppling
- När människor jämför modellens svar och väljer det bästa, så att modellen kan tränas mot svar som folk föredrar.Från förträning till assistent →
- Neuron
- Den minsta räknedelen i ett neuralt nätverk. Den tar emot tal, väger dem, summerar och skickar vidare ett nytt tal.Neuralt nätverk →
- Parameter
- Ett tal i modellen som lärs in under träningen, oftast en vikt. GPT-3 har 175 miljarder parametrar.Neuralt nätverk →
- Språkmodell
- En modell som tränats att förutsäga nästa token i en text.Språkmodellen →
- Steglängd
- Hur stort steg träningen tar varje gång vikterna ändras. För litet går långsamt, för stort missar målet.Träning →
- Tankekedja
- Mellansteg som modellen skriver ner innan den svarar, för att klara svårare uppgifter.Resonerande modeller →
- Temperatur
- En inställning som styr hur slumpmässigt modellen väljer nästa token. Låg temperatur ger förutsägbara svar.Språkmodellen →
- Token
- En bit text som modellen arbetar med, till exempel ett ord, en del av ett ord eller ett skiljetecken.Ord som tal →
- Transformer
- Den typ av nätverk som de flesta språkmodeller bygger på sedan 2017. Kärnan i den är uppmärksamhet.Transformern och uppmärksamhet →
- Träning
- Att låta modellen gissa, mäta hur fel den har och justera sina parametrar lite i taget. Det upprepas väldigt många gånger.Träning →
- Uppmärksamhet
- Det sätt som en transformer låter varje token väga in de andra tokens i texten för att förstå sammanhanget.Transformern och uppmärksamhet →
- Verktygsanrop
- När en modell ber om att få köra ett verktyg, till exempel en sökning eller ett program, och får tillbaka resultatet.Agenten →
- Vikt
- Ett tal som avgör hur mycket en signal mellan två neuroner ska räknas. Det är vikterna som ändras när ett nätverk tränas.Neuralt nätverk →