Kan man lita på AI?

Vad betyder det att en AI hallucinerar?

Rätt svar: Den hittar på något som låter trovärdigt. Modellen väljer det som låter rimligast, även när den inte vet.

Vanliga missförstånd: ”Den vägrar svara” – Det är snarare tvärtom. Den svarar, men med något som inte stämmer. ”Den har blivit hackad” – Hallucinationer kommer från hur modellen gissar text, inte från intrång.

Varför låter ett påhittat svar lika säkert som ett rätt?

Rätt svar: Modellen skriver det troligaste svaret i samma ton, hur osäker den än är. Osäkerheten finns i sannolikheterna, men syns inte i texten.

Vanliga missförstånd: ”Påhittade svar är alltid längre” – Längden säger inget. Rätt och fel kan se exakt likadana ut. ”Den ljuger med flit” – Den har ingen avsikt. Den väljer det som låter rimligast.

En chattbot ger dig en källa till ett skolarbete. Vad gör du?

Rätt svar: Kontrollerar att källan finns och säger det som påstås. Påhittade källor är en vanlig sorts hallucination.

Vanliga missförstånd: ”Använder den, den lät säker” – En säker ton säger ingenting om sanningen. ”Frågar chattboten om källan stämmer” – Den kan bekräfta sitt eget fel lika säkert. Kontrollera i källan själv.

Du sänker gränsen för spärren mycket. Vad händer?

Rätt svar: Mer skadligt stoppas, men också fler vanliga frågor. Riskvärdena överlappar, så en låg gräns träffar även ofarliga frågor.

Vanliga missförstånd: ”Bara skadliga frågor stoppas” – Riskvärdena överlappar. En låg gräns stoppar även vanliga frågor. ”Ingenting stoppas längre” – Det är tvärtom. En lägre gräns stoppar mer.

Varför lärde sig modellen att snö betyder varg?

Rätt svar: I träningsbilderna stod nästan alla vargar i snö, så snön var en enkel genväg. Modellen lär sig det som skiljer grupperna i datan, inte det vi menade att den skulle lära sig.

Vanliga missförstånd: ”Någon programmerade in att vargar lever i snö” – Ingen skrev någon regel. Modellen hittade sambandet själv i bilderna. ”Vargar är alltid i snö i verkligheten” – Det är de inte. Det var bara så i just de här bilderna.

Vad kan ett bra snitt dölja?

Rätt svar: Att modellen fungerar sämre för en grupp som är liten i datan. Snittet domineras av den stora gruppen. Delar man upp syns skillnaden.

Vanliga missförstånd: ”Att modellen är för långsam” – Snittet handlar om hur ofta den gör rätt, inte om fart. ”Ingenting, ett bra snitt betyder att den fungerar för alla” – Med 95 % stockholmska blir snittet högt även om skånska förstås mycket sämre.

En app ska känna igen hudåkommor från foton, men nästan alla träningsbilder kommer från personer med ljus hud. Vad är klokast?

Rätt svar: Samla fler bilder från personer med mörkare hud och testa per grupp. Bättre data och test per grupp visar och minskar skillnaden.

Vanliga missförstånd: ”Använda appen ändå, snittet är högt” – Ett högt snitt kan dölja att appen fungerar sämre för dem som var få i datan. ”Träna längre på samma bilder” – Mer träning på samma snedvridna data lär modellen samma sak, bara säkrare.

Vargarna står i snö i 95 % av träningsbilderna. Vad händer när modellen ser en hund i snö?

Rätt svar: Den gissar oftast varg. Snön väger tyngre än formen, så snöbilder blir ”varg”.

Vanliga missförstånd: ”Den gissar rätt, den har ju sett många hundar” – Hundarna den sett stod nästan aldrig i snö. Snön tar över. ”Den vägrar svara” – En sådan modell svarar alltid. Den kan inte säga att den är osäker av sig själv.