Vad är den matematiska formeln för faltningsoperationen på en 2D-bild?
Konvolutionsoperationen är en grundläggande process inom området för faltningsneurala nätverk (CNN), särskilt inom området bildigenkänning. Denna operation är avgörande för att extrahera funktioner från bilder, vilket gör att modeller för djupinlärning kan förstå och tolka visuella data. Den matematiska formuleringen av faltningsoperationen på en 2D-bild är väsentlig för att förstå hur CNN:er bearbetar och analyserar bilder.
Matematiskt kan faltningsoperationen för en 2D-bild uttryckas på följande sätt:
[ (I * K)(x, y) = summa_{i=-m}^{m} summa_{j=-n}^{n} I(x+i, y+j) cdot K(i, j ) ]Var:
– ( I ) representerar ingångsbilden.
– ( K ) anger kärnan eller filtret.
– ( (x, y) ) är koordinaterna för utdatapixeln.
– ( m ) och ( n ) är kärnans halva bredd respektive halva höjd.
I denna ekvation glider kärnan (K) över ingångsbilden (I), utför elementvis multiplikation och summerar resultaten för att producera ett enda utdatapixelvärde. Denna process upprepas för varje pixel i utdatakartan, vilket resulterar i en transformerad bild som framhäver specifika funktioner baserat på kärnans värden.
Faltningsoperationen kan bättre förstås genom ett steg-för-steg-exempel. Tänk på en enkel 3×3 kärna (K) och en 5×5 ingångsbild (I):
[ K = börja{bmatrix}1 & 0 & -1 \
1 & 0 & -1 \
1 & 0 & -1
slut{bmatrix} ] [ I = börja{bmatrix}
1 & 2 & 3 & 4 & 5 \
6 & 7 & 8 & 9 & 10 \
11 & 12 & 13 & 14 & 15 \
16 & 17 & 18 & 19 & 20 \
21 & 22 & 23 & 24 & 25
slut{bmatrix} ]
För att beräkna faltningen placerar vi centrum av kärnan vid varje pixel i inmatningsbilden och utför följande steg:
1. Placera kärnan: Placera mitten av kärnan i det övre vänstra hörnet av bilden.
2. Elementvis multiplikation: Multiplicera varje element i kärnan med motsvarande element i bilden.
3. Summering: Summa resultatet av den elementvisa multiplikationen.
4. Flytta kärnan: Flytta kärnan till nästa position och upprepa steg 2-3.
För den första positionen (översta vänstra hörnet) är beräkningen som följer:
[ börja{aligned}(I * K)(1, 1) &= (1 cdot 1) + (2 cdot 0) + (3 cdot -1) \
&quad + (6 cdot 1) + (7 cdot 0) + (8 cdot -1) \
&quad + (11 cdot 1) + (12 cdot 0) + (13 cdot -1) \
&= 1 + 0 – 3 + 6 + 0 – 8 + 11 + 0 – 13 \
&= -6
slut{aligned} ]
Detta resultat, -6, är värdet på utdatakartan vid position (1, 1). Genom att upprepa denna process för varje position av kärnan över inmatningsbilden genereras hela utdatakartan.
Faltningsoperationen åtföljs vanligtvis av ytterligare begrepp som stoppning och steg:
- Padding: Lägga till extra pixlar runt kanten på inmatningsbilden, ofta med nollor (nollutfyllnad), för att kontrollera de rumsliga dimensionerna för utdatakartan. Utfyllnad säkerställer att utdatakartan har samma dimensioner som ingångsbilden, vilket bevarar rumslig information.
- Kliva: Stegstorleken med vilken kärnan rör sig över inmatningsbilden. Ett steg på 1 betyder att kärnan rör sig en pixel i taget, medan ett steg på 2 betyder att kärnan rör sig två pixlar åt gången. Steg påverkar de rumsliga dimensionerna för utdatakartan, med större steg som resulterar i mindre utdatadimensioner.
Faltningsoperationens utmatningsdimensioner kan beräknas med följande formel:
[ text{Output Width} = leftlfloor frac{text{Input Width} – text{Kernel Width} + 2 cdot text{Padding}}{text{Stride}} högergolv + 1 ] [ text{Utdatahöjd} = leftlfloor frac{text {Input Height} – text{Kernel Height} + 2 cdot text{Padding}}{text{Stride}} högergolv + 1 ]Dessa formler säkerställer att de rumsliga dimensionerna för utdatakartan bestäms korrekt baserat på indatabildens dimensioner, kärnstorlek, utfyllnad och steg.
I samband med faltningsneurala nätverk staplas flera faltningsskikt ihop, var och en med sin egen uppsättning av lärbara kärnor. Dessa lager extraherar successivt funktioner på högre nivå från inmatningsbilden, vilket gör att nätverket kan känna igen komplexa mönster och objekt. Kärnorna i varje lager lärs in under träningsprocessen genom backpropagation, vilket optimerar nätverkets prestanda på den givna uppgiften.
Konvolutionella lager följs ofta av aktiveringsfunktioner, såsom ReLU (Rectified Linear Unit), som introducerar icke-linjäritet i modellen. Denna icke-linjäritet tillåter nätverket att lära sig mer komplexa representationer. Dessutom används poollager, såsom max pooling eller genomsnittlig pooling, för att reducera de rumsliga dimensionerna av funktionskartorna, vilket gör modellen mer beräkningseffektiv och mindre benägen att överanpassa.
Ett praktiskt exempel på ett konvolutionellt neuralt nätverk för bildigenkänning är den berömda LeNet-5-arkitekturen, designad för handskriven sifferigenkänning. LeNet-5 består av flera faltnings- och poollager, följt av helt anslutna lager. De faltande lagren extraherar funktioner från ingångsbilderna, medan de helt anslutna lagren utför den slutliga klassificeringen.
För att illustrera faltningsoperationen i samband med LeNet-5, överväg det första faltningsskiktet, som tar en 32×32 ingångsbild och applicerar sex 5×5 kärnor med ett steg på 1 och ingen utfyllnad. Utgångskartorna har dimensionerna 28×28, beräknade enligt följande:
[ text{Output Width} = leftlfloor frac{32 – 5 + 2 cdot 0}{1} rightrfloor + 1 = 28 ] [ text{Output Height} = leftlfloor frac{32 – 5 + 2 cdot 0}{1} rightrfloor + 1 = 28 ]Var och en av de sex kärnorna producerar en separat 28×28 funktionskarta, som fångar olika aspekter av inmatningsbilden. Dessa funktionskartor passeras sedan genom en ReLU-aktiveringsfunktion och ett 2×2 max poollager med en steg på 2, vilket resulterar i 14×14 funktionskartor.
De efterföljande lagren i LeNet-5 fortsätter att tillämpa faltnings- och poolningsoperationer, vilket successivt minskar de rumsliga dimensionerna samtidigt som djupet på funktionskartorna ökar. De slutliga fullt anslutna lagren utför klassificeringen baserat på de extraherade funktionerna och matar ut den förutsagda sifferklassen.
Konvolutionsoperationen är en hörnsten i faltningsneurala nätverk, vilket möjliggör extrahering av meningsfulla egenskaper från bilder. Den matematiska formuleringen av faltningsoperationen innebär att man för en kärna över inmatningsbilden, utför elementvis multiplikation och summering av resultaten. Ytterligare begrepp som stoppning och steglängd spelar viktiga roller för att kontrollera de rumsliga dimensionerna av utdatakartan. Konvolutionella lager, i kombination med aktiveringsfunktioner och poolande lager, utgör byggstenarna i kraftfulla bildigenkänningsmodeller som LeNet-5, som kan känna igen komplexa mönster och objekt i visuell data.
Andra senaste frågor och svar ang Avancerad datorsyn:
- Vad är formeln för en aktiveringsfunktion som Rectified Linear Unit för att införa icke-linjäritet i modellen?
- Vad är den matematiska formeln för förlustfunktionen i faltningsneurala nätverk?
- Vad är ekvationen för max pooling?
- Vilka är fördelarna och utmaningarna med att använda 3D-falsningar för handlingsigenkänning i videor, och hur bidrar Kinetics dataset till detta forskningsfält?
- I samband med optisk flödesuppskattning, hur använder FlowNet en kodar-avkodararkitektur för att bearbeta bildpar, och vilken roll spelar Flying Chairs-dataset för att träna denna modell?
- Hur utnyttjar U-NET-arkitekturen överhoppningsanslutningar för att förbättra precisionen och detaljerna i semantiska segmenteringsutgångar, och varför är dessa anslutningar viktiga för backpropagation?
- Vilka är de viktigaste skillnaderna mellan tvåstegsdetektorer som Faster R-CNN och enstegsdetektorer som RetinaNet när det gäller träningseffektivitet och hantering av icke-särskiljbara komponenter?
- Hur förbättrar konceptet Intersection over Union (IoU) utvärderingen av objektdetekteringsmodeller jämfört med att använda kvadratisk förlust?
- Hur underlättar restanslutningar i ResNet-arkitekturer träningen av mycket djupa neurala nätverk, och vilken inverkan hade detta på prestandan hos bildigenkänningsmodeller?
- Vilka var de stora innovationerna som introducerades av AlexNet 2012 som avsevärt avancerade området för konvolutionella neurala nätverk och bildigenkänning?
Se fler frågor och svar i Avancerad datorseende