EITC/AI/DLPP Deep Learning med Python och PyTorch

Konstgjorda neurala nätverk (ANN) inspirerades av informationsbehandling och distribuerade kommunikationsnoder i biologiska system. Adjektivet "djup" i djupinlärning hänvisar till användningen av flera lager i nätverket. Tidigt arbete visade att en linjär perceptron inte kan vara en universell klassificering, och sedan kan ett nätverk med en icke-polynomiell aktiveringsfunktion med ett dolt lager av obegränsad bredd å andra sidan vara så. Djupinlärning är en modern variant som handlar om ett obegränsat antal lager av begränsad storlek, vilket möjliggör praktisk tillämpning och optimerad implementering, samtidigt som den teoretiska universaliteten bibehålls under milda förhållanden. Vid djupinlärning tillåts skikten också att vara heterogena och att avvika mycket från biologiskt informerade sambandsmodeller, för effektivitet, träningsförmåga och förståelse, varifrån den "strukturerade" delen.

Python är dynamiskt typad (körs under körning många vanliga programmeringsbeteenden som statiska programmeringsspråk utför under kompilering) och samlar upp skräp (med automatisk minneshantering). Den stöder flera programmeringsparadigmer, inklusive strukturerad (särskilt procedurell), objektorienterad och funktionell programmering. Det skapades i slutet av 1980-talet och släpptes först 1991 av Guido van Rossum som en efterföljare till ABC-programmeringsspråket. Python 2.0, som släpptes 2000, introducerade nya funktioner, såsom listförståelse och ett skräpsamlingssystem med referensräkning, och avbröts med version 2.7 2020. Python 3.0, släppt 2008, var en större översyn av det språk som är inte helt bakåtkompatibel och mycket Python 2-kod körs inte omodifierad på Python 3. Med Python 2s livslängd (och pip har tappat stöd 2021) stöds bara Python 3.6.x och senare, med äldre versioner fortfarande stödjer t.ex. Windows 7 (och gamla installatörer som inte är begränsade till 64-bitars Windows).

Python-tolkar stöds för vanliga operativsystem och finns tillgängliga för några fler (och tidigare stöds många fler). En global grupp av programmerare utvecklar och underhåller CPython, en gratis och öppen källkodsreferensimplementering. En ideell organisation, Python Software Foundation, hanterar och styr resurser för utveckling av Python och CPython.

Från och med januari 2021 rankas Python på tredje plats i TIOBE: s index över mest populära programmeringsspråk, efter C och Java, efter att ha vunnit andra plats och deras utmärkelse för den mest populära vinsten för 2020. Det valdes till Årets programmeringsspråk 2007, 2010 och 2018.

En empirisk studie visade att skriptspråk, som Python, är mer produktiva än konventionella språk, som C och Java, för programmeringsproblem som involverar strängmanipulation och sökning i en ordbok, och bestämde att minnesförbrukningen ofta var "bättre än Java och inte mycket värre än C eller C ++ ”. Stora organisationer som använder Python inkluderar bl.a. Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Utöver sina artificiella intelligensapplikationer används Python, som ett skriptspråk med modulär arkitektur, enkel syntax och bearbetningsverktyg med rik text, ofta för bearbetning av naturligt språk.

PyTorch har två funktioner på hög nivå:

• Tensorberäkning (som NumPy) med stark acceleration via grafikbehandlingsenheter (GPU)
• Djupa neurala nätverk byggda på ett bandbaserat automatiskt (beräknings-) differentieringssystem

Facebook driver både PyTorch och Convolutional Architecture for Fast Feature Embedding (Caffe2), men modeller som definierats av de två ramarna var ömsesidigt oförenliga. Open Neural Network Exchange (ONNX) -projektet skapades av Facebook och Microsoft i september 2017 för att konvertera modeller mellan ramar. Caffe2 slogs samman till PyTorch i slutet av mars 2018.

PyTorch definierar en klass som heter Tensor (fackla. Tensor) för att lagra och arbeta på homogena flerdimensionella rektangulära siffror. PyTorch Tensors liknar NumPy Arrays, men kan också drivas på en CUDA-kompatibel Nvidia GPU. PyTorch stöder olika undertyper av Tensorer.

Det finns få viktiga moduler för Pytorch. Dessa inkluderar:

• Autograd-modul: PyTorch använder en metod som kallas automatisk differentiering. En inspelare registrerar vilka operationer som har utförts och sedan spelar den upp bakåt för att beräkna lutningarna. Denna metod är särskilt kraftfull när man bygger neurala nätverk för att spara tid på en epok genom att beräkna differentiering av parametrarna vid framåtpasset.
• Optim-modul: torch.optim är en modul som implementerar olika optimeringsalgoritmer som används för att bygga neurala nätverk. De flesta vanliga metoder stöds redan, så det finns inget behov av att bygga dem från grunden.
• nn-modul: PyTorch autograd gör det enkelt att definiera beräkningsdiagram och ta lutningar, men rå autograd kan vara lite för låg för att definiera komplexa neurala nätverk. Det är här nn-modulen kan hjälpa till.