modul nr 12
Data och bias
En modell lär sig det som finns i datan, även det du inte menade. Och den fungerar bäst för dem som syns mest i den.
Agenter och säkerhet
Laddar modulen …
- Efteråt vet du
- Varför en modell kan hitta genvägar i datan, varför ett bra snitt kan dölja att den fungerar sämre för vissa, och vad som hjälper.
- Du provar själv
- Ändra hur ofta vargarna står i snö och se vad modellen lär sig. Ändra hur mycket skånska som finns i träningen.
En modell lär sig av exempel, och den lär sig allt som skiljer exemplen åt, även saker vi inte tänkt på. Om vargarna i bilderna nästan alltid står i snö kan modellen lära sig att snö betyder varg. Det kallas att modellen tar en genväg.
Samma sak händer med människor. En taligenkänning som mest har hört stockholmska förstår skånska sämre. En ansiktsigenkänning som mest har sett vissa ansikten gör fler fel på andra. Snittet kan ändå se bra ut, eftersom den stora gruppen väger tyngst. Det kallas bias, eller snedvridning.
Det som hjälper är bättre data, att testa på det svåra och att alltid dela upp resultatet per grupp.
Filmen visar
- Hur en modell lär sig en genväg i datan, och hur den avslöjas av ett bra test.
- Hur ett högt snitt kan dölja att modellen fungerar sämre för en mindre grupp.
Du provar själv
Ändra hur ofta vargarna står i snö och växla mellan träningsbilder och svåra testbilder. Ändra hur mycket skånska som finns i träningen.
Vad vi förenklar här
- Bilderna i del 1 är punkter med två egenskaper, och modellen är en enda neuron. Riktiga bildmodeller ser miljontals pixlar, men kan ta precis samma sorts genvägar.
- Kurvan i del 2 är påhittad för att visa idén. Hur mycket data som behövs beror på uppgiften.
- Bias kommer inte bara från datan, utan också från vad man väljer att mäta och hur modellen används.
Testa dig själv
4 frågor. Två om grunderna, en där du använder det du lärt dig och en där du förutsäger vad som händer.
Rätt svar: . Modellen lär sig det som skiljer grupperna i datan, inte det vi menade att den skulle lära sig.
Rätt svar: . Snittet domineras av den stora gruppen. Delar man upp syns skillnaden.
Rätt svar: . Bättre data och test per grupp visar och minskar skillnaden.
Rätt svar: . Snön väger tyngre än formen, så snöbilder blir ”varg”.