Hur lär sig en maskin?

Vad gör en artificiell neuron med talen den får in?

Rätt svar: Multiplicerar varje tal med en vikt, lägger ihop och lägger till biasen. Sedan avgör summan hur starkt neuronen tänds.

Vanliga missförstånd: ”Jämför talen med exempel den har sparat” – En neuron sparar inga exempel. Det den har lärt sig finns bara i vikterna. ”Väljer det största talet och skickar det vidare” – Alla tal räknas, vart och ett gånger sin vikt. Ett litet tal med stor vikt kan väga tyngst.

Vad ändras i ett nätverk när det tränas?

Rätt svar: Vikterna, lite i taget. Formen på nätverket är densamma. Vikterna flyttas tills svaren blir bättre.

Vanliga missförstånd: ”Antalet neuroner växer efter hand” – Antalet neuroner bestäms innan träningen och ändras inte av den. ”Träningsexemplen sparas i nätverket” – Exemplen används för att justera vikterna, men sparas inte i nätverket.

En neuron ska avgöra om ett mejl är skräppost. Ordet ”gratis” ska göra skräppost mer troligt. Vilken vikt ska ”gratis” ha?

Rätt svar: En positiv vikt. En positiv vikt drar summan uppåt, mot ”ja, skräppost”, precis som solen i del 1.

Vanliga missförstånd: ”Vikten noll” – Med vikten noll spelar ordet ingen roll alls för beslutet. ”En negativ vikt” – En negativ vikt drar summan nedåt, bort från ”skräppost”, som läxorna i del 1.

I del 1: solen skiner (1), inga läxor (0), vikten för sol är 2 och biasen −1. Lampan lyser. Du sänker biasen till −3. Vad händer?

Rätt svar: Lampan släcks. Summan blir 2 − 3 = −1, alltså under noll.

Vanliga missförstånd: ”Ingenting, biasen påverkar bara läxorna” – Biasen läggs till hela summan, oavsett vad som kommer in. ”Lampan lyser starkare” – En lägre bias drar summan nedåt, inte uppåt.

Vad är felet under träningen?

Rätt svar: Ett mått på hur långt nätverkets svar ligger från de rätta. Träningen går ut på att göra det måttet så litet som möjligt.

Vanliga missförstånd: ”Antalet buggar i programmet” – Felet handlar om svaren, inte om koden. Ett felfritt program kan ge fel svar. ”Hur länge träningen har pågått” – Tiden säger inget om hur bra svaren är. Det är felet som mäter det.

Vad visar gradienten?

Rätt svar: Åt vilket håll felet ökar mest. Därför tar man ett steg åt motsatt håll, nedför.

Vanliga missförstånd: ”Hur många steg som är kvar” – Den säger vilket håll som lutar, inte hur långt det är kvar. ”Var det lägsta felet finns” – Gradienten känner bara lutningen där man står. Den vet inte var dalens botten är.

Felet hoppar upp och ner och blir aldrig mindre. Vad är klokast att ändra?

Rätt svar: Minska steglängden. Ett fel som hoppar är det typiska tecknet på för långa steg som studsar över dalen.

Vanliga missförstånd: ”Öka steglängden” – Längre steg gör studsandet värre. ”Träna längre utan att ändra något” – Studsar bollen över dalen hjälper det inte att fortsätta på samma sätt.

Bollen ligger i en liten grop och steglängden är kort. Vad händer om träningen får fortsätta?

Rätt svar: Bollen blir kvar i gropen. I gropen lutar allt inåt, och korta steg tar sig aldrig över kanten.

Vanliga missförstånd: ”Den rullar till slut till det lägsta stället” – Gradientnedstigning känner bara den närmaste lutningen. Den vet inte att det finns lägre mark längre bort. ”Den hoppar ur gropen av sig själv” – Med korta steg finns inget som får den att hoppa. Det kräver längre steg eller slump.