AI och bilder

Vad är en bild för en dator?

Rätt svar: Ett rutnät av tal, ett eller tre per pixel. Varje pixel är ett tal för hur ljus den är, eller tre tal för rött, grönt och blått.

Vanliga missförstånd: ”En liten kopia av det den föreställer” – Datorn har ingen bild i huvudet. Den har bara talen. ”En lista med ord som beskriver bilden” – Orden kommer i så fall från en modell som tolkat talen. Själva bilden är bara tal.

Vad gör ett filter i en bildmodell?

Rätt svar: Det glider över bilden och svarar starkt där ett visst mönster finns, till exempel en kant. Filtret jämför sina vikter med varje liten bit av bilden. Där de passar blir svaret stort.

Vanliga missförstånd: ”Det tar bort det som inte är viktigt i bilden” – Filtret tar inte bort något. Det ger en ny karta över var mönstret finns. ”Det gör bilden snyggare, som i en fotoapp” – Samma ord, men här letar filtret efter mönster. Det ändrar inte bilden.

En kamera på en fabrik ska hitta trasiga delar. På natten blir bilderna brusiga, och modellen säger ofta ”hel” med 95 % säkerhet. Vad är klokast?

Rätt svar: Testa modellen på brusiga nattbilder och träna den på sådana, och lita inte blint på säkerheten. Säkerheten säger hur lika bilden är det modellen sett, inte om den har rätt.

Vanliga missförstånd: ”Lita på svaret, 95 % är väldigt säkert” – En modell kan vara säker och ändå ha fel, särskilt på bilder som skiljer sig från träningen. ”Sänka gränsen så att den säger trasig oftare” – Det kan hjälpa lite, men det löser inte att modellen aldrig sett brusiga bilder.

Filtret för lodräta kanter glider över en kvadrat. Var blir svaret störst?

Rätt svar: Längs kvadratens vänstra och högra sida. Där går det från mörkt till ljust i sidled, och det är just det filtret letar efter.

Vanliga missförstånd: ”Mitt i kvadraten, där den är ljusast” – Mitt i är allt lika ljust. Filtret svarar på skillnad, inte på ljus. ”Längs över- och underkanten” – De kanterna är vågräta. Där svarar det vågräta filtret.

Vad börjar en bildmodell som Stable Diffusion med?

Rätt svar: Brus, alltså slumpade prickar, och texten du skrivit. Bilden växer fram ur bruset. Texten styr vad modellen letar efter.

Vanliga missförstånd: ”En tom vit duk som den målar på med penseldrag” – Den målar inte. Den tar bort brus, steg för steg. ”En färdig bild från internet som den ändrar lite” – Den hämtar ingen bild. Den har lärt sig mönster från många bilder och skapar en ny.

Hur har modellen lärt sig att ta bort brus?

Rätt svar: Den har sett riktiga bilder få brus tillagt och övat på att gissa vilket brus det var. Träningen går baklänges: lägg till brus, gissa bruset, rätta gissningen.

Vanliga missförstånd: ”Någon har skrivit regler för hur himmel och berg ser ut” – Ingen skriver sådana regler. Modellen lär sig mönstren ur bilderna. ”Den sparar alla bilder den sett och klipper ihop dem” – Den sparar mönster i sina vikter, inte bilderna. Ibland kan den ändå återskapa en bild den sett många gånger.

Du har fått en bild du gillar och vill göra en nästan likadan med en liten ändring i texten. Vad hjälper?

Rätt svar: Behåll samma startbrus (frö) och ändra bara texten lite. Samma startbrus ger samma grund, så bara det texten ändrar blir annorlunda.

Vanliga missförstånd: ”Skriv samma text igen och hoppas” – Med nytt startbrus blir det en ny bild, inte samma med en ändring. ”Ta färre steg” – Färre steg ger en suddigare eller brusigare bild, inte en kontrollerad ändring.

Du stoppar modellen halvvägs, efter 10 av 20 steg. Hur ser bilden ut?

Rätt svar: Man ser de stora formerna och färgerna, men den är suddig och brusig. Det grova kommer först. Detaljer och skarpa kanter kommer i de sista stegen.

Vanliga missförstånd: ”Halva bilden är klar och halva är brus” – Hela bilden växer fram samtidigt, inte en bit i taget. ”Den ser färdig ut, men med lite fel i detaljerna” – Halvvägs finns fortfarande mycket brus kvar, och kanterna är suddiga.