Proces trenowania sieci neuronowej polega na wyszukiwaniu wag i odchyleń, dzięki którym jej przewidywania będą dokładniejsze. Porównujemy te przewidywania z oczekiwanymi odpowiedziami, korzystając z funkcji straty — formuły, która zamienia niedopasowanie na liczbę, przy czym niższa wartość wskazuje lepsze dopasowanie. Aby wybrać aktualizację, musimy wiedzieć, jak zmiana każdego parametru wpłynie na tę stratę. Moglibyśmy losowo zmienić parametr, ponownie obliczyć stratę i porównać wyniki. Jednak sprawdzenie w ten sposób milionów parametrów pojedynczo wymagałoby milionów dodatkowych ocen.

Aby poprowadzić to wyszukiwanie, używamy gradientu, który zbiera pochodne cząstkowe straty w odniesieniu do parametrów. Te pochodne pozwalają oszacować, jak małe zmiany parametrów wpłyną na stratę, bez jej ponownego przeliczania. Dla każdego parametru pochodna opisuje, jak wrażliwa jest strata na ten parametr, podczas gdy pozostałe pozostają stałe.

Matematycznie jest to problem optymalizacji, a konkretnie minimalizacji: szukamy wartości parametrów modelu, które sprawią, że strata będzie jak najmniejsza. Chociaż techniki zerowego rzędu, takie jak MeZO, mogą kierować aktualizacjami poprzez losowe zakłócanie wielu parametrów jednocześnie i ocenę strat, standardowe podejście polega na wykorzystaniu informacji pochodnych do kierowania wyszukiwaniem. Dzisiejsze sieci neuronowe są głównie trenowane przy użyciu gradientów obliczonych przez algorytm znany jako propagacja wsteczna — podejście, które tutaj rozwiniemy.

Aby zrozumieć propagację wsteczną, oprzemy się na kilku koncepcjach: pochodnych lokalnych, regule łańcuchowej i grafach obliczeniowych. Po drodze przyjrzymy się trzem metodom obliczania pochodnych: różniczkowaniu numerycznemu, różniczkowaniu symbolicznemu i różniczkowaniu automatycznemu. Zaczniemy od funkcji na tyle małych, że można je różniczkować ręcznie i porównać ich dokładne pochodne z szacunkami na podstawie różnic skończonych, a następnie przejdziemy do funkcji z kilkoma danymi wejściowymi. Użyjemy pochodnych cząstkowych, aby wyizolować efekt każdego sygnału wejściowego, utrzymując pozostałe na stałym poziomie i zbierając te współczynniki w postaci gradientu.

Następnie prześledzimy zmiany przez połączone operacje: reguła łańcuchowa mnoży pochodne wzdłuż ścieżki i sumuje wkłady, gdy jedno wejście wpływa na wynik kilkoma ścieżkami. Kluczowa idea brzmi: znając pochodne niewielkiego zestawu operacji podstawowych, możemy różniczkować zbudowane z nich funkcje. Nawet pochodną kwadratu można otrzymać z samego mnożenia. Powiążemy tę ideę z różniczkowaniem symbolicznym, a następnie prześledzimy przebieg w przód i wstecz, aby zobaczyć, jak automatyczne różniczkowanie w trybie odwrotnym wykorzystuje wyniki pośrednie do obliczania gradientów dla wielu wejść. Na tym opiera się propagacja wsteczna.

W tym artykule przedstawiono teoretyczne podstawy zrozumienia Micrograd Andreja Karpathy’ego, małego silnika autogradowego z interfejsem API podobnym do PyTorch. W swoim filmie instruktażowym buduje silnik i używa go do uczenia sieci neuronowej. Te same zasady leżą u podstaw torch.autograd.backward firmy PyTorch, który oblicza gradienty przy użyciu reguły łańcuchowej.

Od tempa zmian do pochodnych

Zacznijmy od prostej zależności liniowej $z=3x$ i znajdź jej pochodną, badając nachylenie jej wykresu. Pochodna mówi nam, jak szybko zmienia się wynik funkcji, gdy zmieniamy jej dane wejściowe, przy określonej wartości wejściowej. W tym przypadku każdy wzrost $x$ powoduje trzykrotny wzrost $z$. Używając $\Delta$ do reprezentowania zmiany, możemy napisać:

$$\Delta z=3\,\Delta x.$$

Kiedy wykreślamy $x$ poziomo i $z$ pionowo, to stałe tempo zmian daje linię prostą. W przypadku linii prostej pochodna jest równa jej nachyleniu, więc możemy ją znaleźć, obliczając stosunek zmiany sygnału wyjściowego do zmiany sygnału wejściowego, często nazywany „wzrostem po przebiegu”:

$$\text{slope}=\frac{\Delta z}{\Delta x}=\frac{\text{rise}}{\text{run}}$$

Na poniższym wykresie możemy zobaczyć, jak niebieska linia $z=3x$ wznosi się o $3$ dla przebiegu $1$, dając nachylenie $3/1=3$.

Szara przerywana linia $z=0.5x$ i przerywana fioletowa linia $z=x$ rosną tylko o $0.5$ i $1$ dla tego samego przebiegu $1$. Przy tych samych skalach osi większe nachylenie bezwzględne oznacza bardziej stromą linię. Wszystkie trzy nachylenia są dodatnie, więc linie rosną, gdy poruszamy się w prawo; nachylenie ujemne spowodowałoby spadek linii.

Odkryliśmy, że niebieska linia ma nachylenie $3$, więc pochodna $z=3x$ to $3$. Zapisujemy to jako $\frac{dz}{dx}$ i czytamy jako „pochodną $z$ względem $x$”. Wyrażenie „w odniesieniu do $x$” identyfikuje dane wejściowe, które zmieniamy: pochodna mierzy, jak szybko zmienia się sygnał wyjściowy $z$ wraz ze zmianami $x$. Nasza funkcja ma tylko jedno wejście, $x$, więc nie ma innych wejść, które można by ustawić na stałe. Dla naszej niebieskiej linii otrzymujemy:

$$\frac{dz}{dx}=3$$

Symbole $d$ oznaczają pochodną, natomiast $\Delta z/\Delta x$ opisuje średnią szybkość zmian w skończonym przedziale czasu. Dla $z=3x$ tempo zmian jest stałe i niezależne od $x$, więc pochodną jest $3$, gdziekolwiek ją obliczymy.

Wykorzystaliśmy nachylenie linii do znalezienia pochodnej. Możemy to również obliczyć, korzystając z reguł różniczkowania. Od $z=3x$ możemy zastąpić $z$ jego wyrażeniem i napisać:

$$\frac{dz}{dx}=\frac{d}{dx}(3x)$$

W tym przypadku operator różniczkowy $\frac{d}{dx}$ oznacza „różniczkowanie następującego wyrażenia w odniesieniu do $x$”. W $\frac{d}{dx}(3x)$ wyrażenie to to $3x$, traktowane jako funkcja $x$. Notacja ta jest szczególnie przydatna, gdy poszczególne terminy w większym wyrażeniu traktujemy jako funkcje i różniczkujemy je osobno.

Stosując regułę stałego mnożnika, zachowujemy mnożnik $3$ i różniczkujemy $x$. Pochodną $x$ względem $x$ jest $1$, ponieważ zwiększenie wartości wejściowej o dowolną wielkość powoduje zwiększenie wartości wyjściowej $x$ o dokładnie tę samą wielkość:

$$\frac{d}{dx}(3x)=3\frac{d}{dx}(x)=3\times1=3.$$

Reguły różniczkowania umożliwiają nam systematyczne obliczanie współczynników, które trudniej dostrzec w bardziej skomplikowanych wyrażeniach. Więcej tych reguł wprowadzimy, gdy połączymy kilka operacji.

Pochodna zależna od wartości wejścia

Przyjrzyjmy się teraz funkcji, której szybkość zmian zależy od jej wartości wejściowych. Dzięki temu lokalny charakter pochodnej jest jaśniejszy: opisuje, jak zmienia się wynik w pobliżu określonej wartości wejściowej, gdzie ją oceniamy. Aby to zademonstrować, użyjemy funkcji z jednym wejściem $x$ o nazwie $L$:

$$L(x)=x^2+3.$$

Możemy zapisać tę pochodną jako $dL/dx$, używając tej samej notacji, którą wprowadziliśmy powyżej, zwanej notacją Leibniza. Innym sposobem zapisania tego jest $L'(x)$, odczytywane jako „L liczba pierwsza x”, co nazywa się Lagrange notation lub notacją pierwszą. Obydwa oznaczają pochodną $L$ względem $x$.

Aby znaleźć pochodną $L(x)=x^2+3$, zróżniczkujemy jej dwa wyrazy oddzielnie, a następnie dodamy wyniki. Wykorzystuje trzy reguły:

Zasada	Jak go używamy
Reguła potęgowa	Zróżniczkuj $x^2$
Stała zasada	Zróżniczkuj człon stały $3$
Reguła sumy	Dodaj pochodne obu terminów

Zastosujmy najpierw regułę potęgową do $x^2$: pomnóż przez wykładnik, a następnie zmniejsz wykładnik o jeden. Ogólnie rzecz biorąc,

$$\frac{d}{dx}(x^n)=nx^{n-1}$$

W przypadku $x^2$ daje to $2x$. Następnie stosujemy regułę stałej do $3$. Jej pochodna względem $x$ wynosi zero, ponieważ nie zmienia się wraz ze zmianami $x$. Na koniec używamy reguły sumy, aby dodać te pochodne. Zatem dla naszej funkcji pochodna wynosi:

$$L'(x)=2x+0=2x$$

Aby zobaczyć, co nam mówi ten wzór, obliczmy wynik funkcji i jej pochodną przy trzech wartościach $x$:

Wejście $x$	Wyjście $L(x)=x^2+3$	Pochodna $L'(x)=2x$
$-5$	$(-5)^2+3=28$	$2\times(-5)=-10$
$0$	$0^2+3=3$	$2\times0=0$
$5$	$5^2+3=28$	$2\times5=10$

W przeciwieństwie do stałego tempa zmian $3$ w $z=3x$, to tempo zależy od bieżącej wartości $x$. Wynik funkcji jest taki sam w $x=-5$ i $x=5$, ale pochodne mają przeciwne znaki. W przypadku $x=5$ dodatnia pochodna oznacza, że ​​wartość wyjściowa wzrasta wraz z nieznacznym wzrostem $x$. W przypadku $x=-5$ ujemna pochodna oznacza, że ​​wartość wyjściowa spada, gdy $x$ nieznacznie wzrasta.

Poniższy wykres skupia się na kierunku: dwa punkty mają tę samą wysokość, ale zielone strzałki pokazują różne sposoby poruszania się wzdłuż krzywej, aby zmniejszyć wartość wyjściową.

Ten wykres pokazuje nam, że jeśli naszym celem jest zmniejszenie wyniku funkcji, znak pochodnej mówi nam, w którą stronę mamy się poruszać z każdego punktu początkowego. Zielone strzałki pokazują te kierunki, które możemy określić bez prób zwiększania i zmniejszania $x$ i ponownego obliczania wyniku funkcji. Obie strzałki prowadzą w stronę $x=0$, gdzie funkcja ta osiąga minimum, a pochodna wynosi zero, chociaż pochodna zerowa nie zawsze oznacza minimum.

Powszechnym sposobem wizualizacji pochodnej jest nachylenie stycznej do wykresu w wybranym punkcie. W $x=5$ pochodna to $10$, więc styczna ma nachylenie $10$. Zmień Parametr x poniżej, aby zobaczyć, jak nachylenie fioletowej stycznej zmienia się wzdłuż niebieskiej krzywej.

Parameter x

5

Exact derivative10L′(x) = 2x

Tangens pomaga nam również oszacować, jak bardzo zmienia się wynik funkcji w pobliżu. W $x=5$, gdzie wynik to $28$, a pochodna to $10$, a mała zmiana w $x$ powoduje zmianę wyniku w przybliżeniu $10$ razy większą:

$$\Delta L\approx10\,\Delta x.$$

W powyższym wyrażeniu używamy $\approx$, ponieważ szacujemy zmianę wartości wyjściowej w małym kroku. W $x=5$ pochodna wynosi dokładnie $10$, ale nachylenie zmienia się w miarę przesuwania się wzdłuż krzywej. Ustawienie Parametr x na $4.9$ w widżecie daje nachylenie $9.8$; mniejszy ruch do $4.99$ dałby $9.98$. Im mniejszy krok, tym mniej zmienia się nachylenie, więc traktowanie go jako stałego w $10$ daje bliższe oszacowanie zmiany wartości wyjściowej.

Szacowanie pochodnej za pomocą różnic skończonych

Szacowanie pochodnych z wartości funkcji na pobliskich wejściach nazywa się różniczkowaniem numerycznym. Jednym ze sposobów osiągnięcia tego są różnice skończone. Pozostaje nam jedynie ocenić funkcję, nie znając jej wewnętrznych operacji ani nie wyprowadzając wzoru na jej pochodną.

Oszacowanie różnicy w przód dzieli zmianę sygnału wyjściowego przez małą, niezerową zmianę sygnału wejściowego $h$:

$$\frac{L(x+h)-L(x)}{h}$$

Obliczmy oszacowanie różnicy skończonej za pomocą $L(x)=x^2+3$. Zaczynając od $x=5$, krok $h=0.001$ prowadzi nas do $5.001$:

$$\frac{L(5.001)-L(5)}{0.001} =\frac{28.010001-28}{0.001} =10.001$$

Jest to średnia szybkość zmian pomiędzy dwoma wejściami. Geometrycznie jest to nachylenie linii prostej łączącej ich punkty na krzywej, zwane secant. Pochodna podaje nachylenie stycznej w punkcie początkowym.

W poniższym widgecie ustaw Parametr x na $5$, gdzie fioletowa styczna ma nachylenie $10$. Przy Mała zmiana h w $0.001$, pomarańczowa sieczna ma nachylenie $10.001$. Jest to oszacowanie metodą skończonej różnicy. Gdy zmniejszamy $h$, pomarańczowe nachylenie zbliża się do $10$, dokładnej pochodnej.

Tangent: exact derivativeSecant: finite difference

Parameter x

2

Small change h

0.8

Exact derivative4L′(x) = 2x

Finite difference4.8(L(x + h) − L(x)) / h

Nazywamy to średnią, ponieważ dzielimy całkowitą zmianę sygnału wyjściowego przez całkowitą zmianę sygnału wejściowego w danym przedziale. Przybliżenie różnic skończonych wykorzystuje tylko dwie wartości punktów końcowych, więc nie mówi nam, jak funkcja zachowuje się między nimi. Jego wartość wyjściowa może zmieniać się wolniej w jednej części interwału i szybciej w innej.

Ponieważ znamy wzór, możemy wykreślić krzywą pomiędzy punktami końcowymi i zobaczyć to rozróżnienie. Poniższy wykres wykorzystuje szerszy przedział, od $x=1$ do $x=5$, aby różnica była widoczna. Linia przerywana łącząca punkty końcowe ma średnie nachylenie; zielona krzywa pokazuje, jak faktycznie zmienia się wartość wyjściowa. Zacieniony trójkąt pokazuje całkowitą zmianę sygnału wejściowego $\Delta x=4$ i zmianę sygnału wyjściowego $\Delta L=24$, zatem średnie nachylenie wynosi $24/4=6$.

The average slope uses only the endpoints

Whole intervalFirst halfSecond halfFunction curve

Możemy porównać średnią stopę w całym przedziale ze stopami w jego dwóch połówkach. Podział w $x=3$, gdzie wyjście to $12$, daje:

Interwał	Zmiana wejścia	Zmiana wyjścia	Średnia stawka
Cały interwał	$1 \to 5$	$4 \to 28$	$(28-4)/(5-1)=6$
Pierwsza połowa	$1 \to 3$	$4 \to 12$	$(12-4)/(3-1)=4$
Druga połowa	$3 \to 5$	$12 \to 28$	$(28-12)/(5-3)=8$

Definicja granicy precyzuje ideę tempa zmian w jednym punkcie: jest to wartość, do której zbliża się średnia szybkość zmian, gdy przedział zmniejsza się do zera:

$$L'(x)=\lim_{h\to0}\frac{L(x+h)-L(x)}{h}$$

Pozwoliliśmy $h$ zbliżyć się do zera, zamiast zastępować $h=0$, co dałoby $0/0$. Biorąc tę granicę, możemy wyprowadzić regułę $L'(x)=2x$. Dla naszej funkcji najpierw uprośćmy stosunek, zachowując $h$ niezerowy:

$$\begin{aligned} \frac{L(x+h)-L(x)}{h} &=\frac{(x+h)^2+3-(x^2+3)}{h}\\ &=\frac{2xh+h^2}{h}\\ &=2x+h \end{aligned}$$

To sprawia, że rozróżnienie jest wyraźne: obliczenie różnicy skończonej w wybranym kroku daje $2x+h$. Przyjęcie granicy, gdy $h$ zbliża się do zera, usuwa dodatkowe $h$, dając nam regułę pochodną:

$$L'(x)=2x,\qquad L'(5)=10$$

To wyjaśnia regułę, którą zastosowaliśmy wcześniej symbolicznie. Kiedy już mamy formułę $2x$, możemy ją obliczyć bezpośrednio na dowolnym wejściu bez oceniania funkcji na pobliskim wejściu.

Różnica w przód porównuje $x$ z $x+h$. Próbkowanie za $x$ daje oszacowanie różnicy wstecznej, podczas gdy próbkowanie jednakowe po obu stronach daje oszacowanie różnicy centralnej. Są to inne typy aproksymacja różnic skończonych. Dla tej samej funkcji $L(x)=x^2+3$ użyjemy teraz większego kroku $h=0.1$:

W arytmetyce dokładnej, gdy zmniejszamy krok $h$, oszacowania różnicy w przód, w tył i centralne zbiegają się do dokładnej pochodnej — dla naszej funkcji w $x=5$ wartość ta wynosi $10$. Różnica środkowa jest dokładna dla tej funkcji kwadratowej w dokładnej arytmetyce, ale generalnie pozostaje przybliżeniem.

Oprogramowanie może oszacować pochodną przy użyciu różnic skończonych: ocenić funkcję na dwóch pobliskich wejściach, odjąć wyniki i podzielić przez różnicę wejściową. Wybór tej różnicy wymaga ostrożności. Skończony krok zazwyczaj wprowadza błąd obcięcia, ponieważ używamy przedziału do oszacowania szybkości w punkcie. Zmniejszenie kroku zmniejsza ten błąd, ale niezwykle mały krok stwarza kolejny problem: komputery przechowują liczby z ograniczoną precyzją. Odejmowanie prawie równych wartości funkcji może pozostawić różnicę zdominowaną przez błąd zaokrąglenia, który potęguje dzielenie przez maleńki $h$.

Metody te są przydatne do sprawdzania pochodnych, ale ich dodatkowe oceny funkcji czynią je kosztownymi, gdy są stosowane oddzielnie do milionów parametrów.

Wiele wejść i pochodne cząstkowe

Do tej pory używaliśmy funkcji $z=3x$ i $L(x)=x^2+3$ z tylko jednym parametrem $x$. Przyjrzyjmy się teraz $z=x+y$ i $z=xy$, z dwoma parametrami $x$ i $y$, które możemy zmieniać oddzielnie. Aby zrozumieć wpływ każdego parametru na $z$, zmieniamy jeden, utrzymując drugi na stałym poziomie. Zmiana obu na raz spowodowałaby zmieszanie ich efektów.

Wcześniej napisaliśmy $dz/dx$, aby opisać, jak zmienia się wyjście $z$ przy pojedynczym wejściu $x$. W przypadku naszych funkcji z dwoma wejściami musimy określić, które dane wejściowe będziemy zmieniać. Aby zmierzyć, jak zmienia się $z$, gdy zmieniamy $x$, trzymając $y$ na stałe, używamy pochodnej cząstkowej, zapisanej jako $\partial z/\partial x$. Czytamy to jako 'pochodną cząstkową $z$ względem $x$'. Kolejność oznacza to samo co poprzednio; symbol $\partial$ wskazuje, że zmieniamy jedno wejście, utrzymując pozostałe na stałym poziomie.

Geometrycznie oba wejścia wyznaczają punkt na powierzchni $z=f(x,y)$. Pochodna cząstkowa mierzy nachylenie w tym punkcie w kierunku jednego sygnału wejściowego, podczas gdy drugie wejście pozostaje stałe. Dlatego potrzebujemy obu wartości wejściowych, aby określić, gdzie mierzymy nachylenie, nawet jeśli badamy zmiany tylko w jednym kierunku.

Przy obliczaniu pochodnej cząstkowej stosujemy zasady różniczkowania, a pozostałe dane wejściowe traktujemy jako stałe.

Zacznijmy od dodatku $z=x+y$. Trzymanie $y$ naprawiono, zwiększanie $x$ o $1$ zwiększa $z$ o $1$, więc $\partial z/\partial x=1$. Odwrócenie ról daje $\partial z/\partial y=1$.

W przypadku mnożenia $z=xy$ współczynnik zależy od wartości wejściowych, które utrzymujemy na stałym poziomie. Poniższa tabela pokazuje jak zmienia się $z$ w miarę zwiększania $x$ przy jednoczesnym utrzymaniu $y$ na stałej wartości $5$:

$\boldsymbol{x}$	$\boldsymbol{y}$	$\boldsymbol{z=xy}$
$3$	$5$	$15$
$4$	$5$	$20$
$5$	$5$	$25$
$6$	$5$	$30$

Widzimy, że za każdym razem, gdy $x$ wzrasta o $1$, $z$ wzrasta o $5$. W przypadku $y$ utrzymywanego na poziomie $5$, tempo zmian w odniesieniu do $x$ wynosi zatem $5$:

$$\frac{\partial z}{\partial x}=y=5$$

Jak widać, tempo zmian jest równe stałej wartości $y$. Wykorzystuje tę samą regułę stałej-wielokrotności, którą zastosowaliśmy w przypadku $z=3x$. Mnożnik w $z=3x$ wynosił $3$. W $z=xy$ mnożnikiem jest $y$, który utrzymujemy na stałym poziomie podczas różniczkowania $x$. Zatem jeśli utrzymujemy jedną zmienną na stałym poziomie, nadal uczestniczy ona w obliczeniach i wpływa na to, jak dane wyjściowe reagują na zmiany drugiej zmiennej.

Różniczkowanie względem $y$ działa w ten sam sposób: utrzymujemy $x$ jako stałą i stosujemy regułę stałej-wielokrotności, dając $\partial z/\partial y=x$. Obydwa wejścia pełnią role symetryczne, ale ich działanie zależy od bieżących wartości $x$ i $y$. W przypadku $x=3$ i $y=5$ wynikiem jest $15$, a pochodne cząstkowe to odpowiednio $5$ i $3$.

Możemy teraz podsumować lokalne zasady dotyczące pochodnych dla obu operacji:

Operacja	$\partial z/\partial x$	$\partial z/\partial y$
$z=x+y$	$1$	$1$
$z=xy$	$y$	$x$

Ponadto zmiana dowolnego wejścia powoduje zmianę sygnału wyjściowego o tę samą wielkość. W przypadku mnożenia każda pochodna cząstkowa jest równa drugiej wartości wejściowej. Reguły te nazywane są lokalnymi, ponieważ opisują, w jaki sposób dane wyjściowe pojedynczej operacji odpowiadają na dane wejściowe. Później połączymy je, aby śledzić zmiany poprzez kilka operacji.

Pochodne cząstkowe $5$ i $3$ opisują czułość, a nie części wyniku $15$. W przypadku równie małych zmian zmiana samego $x$ daje $5/3$ razy większy efekt zmiany samego $y$. Aby oszacować efekt zmiany obu danych wejściowych, potrzebujemy zarówno pochodnych, jak i proponowanych zmian wejściowych.

Aby to zrobić, zbieramy pochodne cząstkowe w wektor zwany gradientem. Oznaczamy go symbolem $\nabla$, więc dla funkcji $z=xy$ przy $x=3$ i $y=5$ piszemy $\nabla z=(5,3)$. Wektor ten ma również znaczenie geometryczne w płaszczyźnie wejść: spośród przesunięć o tej samej małej długości euklidesowej wskazuje kierunek największego wzrostu wyniku w przybliżeniu pierwszego rzędu. Wektor przeciwny wskazuje kierunek najszybszego lokalnego spadku.

Poniższy wykres przedstawia te wskazówki dla $z=xy$. Możesz zobaczyć, jak fioletowa strzałka prowadzi w górę od $(3,5)$, gdzie wyjście to $15$, podczas gdy zielona strzałka prowadzi w dół. Śledzą ścieżki powierzchni, gdy przesuwamy dane wejściowe w kierunku gradientu lub odwrotnie. Wykres skaluje wysokość oddzielnie; gradient określa kierunek w płaszczyźnie wejściowej.

Reset

∇z = (5, 3): local increase−∇z = (−5, −3): local decrease

Drag to rotate, or focus the graph and use the arrow keys. Height is scaled separately; the gradient describes direction in the input plane.

Znając pochodne cząstkowe, możemy skorzystać z a przybliżenie Taylora pierwszego rzędu, zwany także A przybliżenie liniowe. Pozwala nam to oszacować łączny wpływ małych zmian wejściowych na wynik: mnożymy każdą pochodną cząstkową przez odpowiednią zmianę wejściową i dodajemy wyniki.

$$\Delta z\approx\frac{\partial z}{\partial x}\Delta x+\frac{\partial z}{\partial y}\Delta y$$

Jest to iloczyn skalarny gradientu i wektora zmiany sygnału wejściowego. Dla naszej funkcji $z=xy$ i $(3,5)$ daje to:

$$\Delta z\approx5\,\Delta x+3\,\Delta y$$

Na przykład zwiększenie obu wejść o $0.1$ daje:

$$\Delta z\approx5(0.1)+3(0.1)=0.8$$

Zwiększanie $x$ o $0.1$ przyczynia się do $0.5$ do przewidywanej zmiany, podczas gdy zwiększanie $y$ o $0.1$ przyczynia się do $0.3$. Każdy udział jest pochodną cząstkową pomnożoną przez odpowiednią zmianę wejściową. Pochodne opisują wrażliwość; wybrane zmiany określają, jaka część tej wrażliwości wchodzi do prognozy.

Ocena funkcji na nowych wejściach daje rzeczywistą zmianę $3.1\times5.1-15=0.81$. Pozostała część $0.01$ to składnik interakcji $\Delta x\,\Delta y$, który jest pomijany w przybliżeniu liniowym. Terminy $0.5$ i $0.3$ opisują zatem wkład w przewidywaną zmianę, a nie udział pierwotnej wartości wyjściowej $15$. To samo rozróżnienie dotyczy propagacji wstecznej: oblicza ona wrażliwość straty na każdą wagę. Mnożąc te pochodne przez proponowane zmiany wagi, szacuje się ich udział w zmianie straty.

Łączenie reguł różniczkowania dla bardziej złożonej funkcji

W poprzedniej sekcji obliczyliśmy pochodne cząstkowe dodawania i mnożenia. Teraz połączymy reguły różniczkowania w wyrażeniu zawierającym kilka terminów i potęg:

$$f(x,y)=xy^2+x^3$$

Porównamy dwa równoważne podejścia do obliczania pochodnych cząstkowych w wybranym punkcie: najpierw różniczkuj, a następnie podstawiaj wartości lub najpierw podstawiaj wartość drugiego wejścia, różniczkuj wynikową funkcję jednowyjściową, a następnie wyznaczaj jej pochodną. Obydwa podejścia dają wzory pochodne. Wykreślenie funkcji jednowejściowych w postaci przekrojów powierzchni pokaże, dlaczego każda pochodna cząstkowa jest również zwykłym nachyleniem stycznym.

Najpierw różniczkujemy, potem podstawiamy wartości

Zachowamy $x$ i $y$ jako symbole, znajdując pochodną cząstkową dla każdego wejścia, traktując drugie jako stałe. Następnie wycenimy obie pochodne w $(x,y)=(3,2)$.

Najpierw różniczkujemy w odniesieniu do $x$, utrzymując $y$ na stałe i różnicując każdy człon. Współczynnik $y^2$ pełni rolę stałego mnożnika $x$:

$$\begin{aligned} \frac{\partial f}{\partial x} &=y^2\frac{\partial}{\partial x}(x) +\frac{\partial}{\partial x}(x^3)\\ &=y^2\cdot1+3x^2\\ &=y^2+3x^2 \end{aligned}$$

Przytrzymanie $y$ na stałe nie usuwa go z obliczeń: jego wartość wyznacza mnożnik $y^2$. Różnicujemy $x^3$ stosując regułę potęgową.

Następnie różniczkujemy względem $y$, odwracając role i utrzymując $x$ na stałe. Teraz $x$ jest stałym mnożnikiem $y^2$, a cały wyraz $x^3$ jest stały:

$$\begin{aligned} \frac{\partial f}{\partial y} &=x\frac{\partial}{\partial y}(y^2) +\frac{\partial}{\partial y}(x^3)\\ &=x\cdot2y+0\\ &=2xy \end{aligned}$$

Termin $x^3$ wnosi zero, ponieważ zmiana $y$ podczas trzymania $x$ na stałe nie może zmienić jego wartości.

Daje nam to następujące pochodne cząstkowe na wybranych przez nas danych wejściowych:

Dane wejściowe zmieniamy	Wejście wstrzymane	Częściowa pochodna w $(3,2)$	Przewidywana zmiana wartości wyjściowej
$x$	$y=2$	$2^2+3(3^2)=31$	$\Delta f\approx31\,\Delta x$
$y$	$x=3$	$2(3)(2)=12$	$\Delta f\approx12\,\Delta y$

Najpierw ustalamy jedno wejście, potem różniczkujemy przekrój

Przyjrzyjmy się teraz drugiemu podejściu: najpierw ustalamy jedno wejście, a następnie różniczkujemy funkcję opisującą przekrój. Podstawiamy wartość jednego wejścia do $f(x,y)=xy^2+x^3$, otrzymując zwykłą funkcję pozostałego wejścia.

Najpierw ustawiamy $y=2$ i pozostawiamy $x$ dowolność:

$$f(x,2)=x(2^2)+x^3=4x+x^3$$

To jest przekrój oryginalnej funkcji, a nie pochodna: podstawiliśmy wartość tylko dla jednego wejścia.

W przypadku przekroju z $y=2$ nie mamy już $y$ jako zmiennej w wyrażeniu, ponieważ podstawienie $2$ zamieniło $y^2$ w stały mnożnik $4$. Jednakże efekt $y$ jest nadal przenoszony przez mnożnik $4$. Teraz, gdy zmienną pozostaje tylko $x$, bierzemy pochodną zwykłą względem $x$:

$$\frac{d}{dx}(4x+x^3)=4+3x^2 \quad\Longrightarrow\quad 4+3(3^2)=31\quad\text{at }x=3$$

Następnie wracając do pierwotnej funkcji, ustawiamy $x=3$ i pozostawiamy $y$ dowolność:

$$f(3,y)=3y^2+3^3=3y^2+27$$

A dla przekroju z $x=3$ różniczkujemy w odniesieniu do $y$:

$$\frac{d}{dy}(3y^2+27)=6y \quad\Longrightarrow\quad 6(2)=12\quad\text{at }y=2$$

Obydwa przekroje przechodzą przez ten sam wybrany punkt, gdzie $f(3,2)=3(2^2)+3^3=39$. Zróżniczkowanie każdego przekroju daje te same pochodne cząstkowe, które obliczyliśmy powyżej:

$$\frac{\partial f}{\partial x}(3,2)=31,\qquad \frac{\partial f}{\partial y}(3,2)=12$$

Oba podejścia utrzymują drugie wejście na stałym poziomie, więc możemy podstawić jego wartość przed różniczkowaniem albo zachować je jako symbol i podstawić wartość później. Pierwsze podejście daje ogólne wzory na pochodne, $y^2+3x^2$ i $2xy$, które można obliczyć dla dowolnej pary wejść. Drugie daje wzory dla konkretnych przekrojów: $4+3x^2$, gdy $y=2$, oraz $6y$, gdy $x=3$. Na przykład podstawienie $x=3$ do $2xy$ daje $6y$, tak samo jak zróżniczkowanie funkcji przekroju $3y^2+27$. Każdy przekrój otrzymujemy przez osobne podstawienie do pierwotnej funkcji.

Te pochodne mierzą raczej wrażliwość niż udziały w bieżącej wartości wyjściowej. Tak jak poprzednio, zbieramy pochodne cząstkowe do wektora gradientu. W przypadku $(3,2)$ daje to $\nabla f=(31,12)$. Proponowane zmiany wejściowe tworzą wektor $(\Delta x,\Delta y)$. Ich iloczyn skalarny szacuje łączną zmianę wartości wyjściowej:

$$\Delta f\approx\nabla f(3,2)\cdot(\Delta x,\Delta y) =31\Delta x+12\Delta y$$

W $(x,y)=(3,2)$ obie współrzędne określają punkt, w którym mierzymy nachylenia. Poruszanie się w kierunku $x$ przy trzymaniu $y=2$ daje styczne nachylenie $31$; poruszanie się w kierunku $y$ przy trzymaniu $x=3$ daje nachylenie $12$. Są to dwa kierunki przechodzące przez ten sam punkt na powierzchni. Każda stopa jest pochodną cząstkową pierwotnej funkcji dwóch danych wejściowych i pochodną zwyczajną odpowiadającego jej przekroju o jednym wejściu. Gradient łączy te szybkości w kierunku największego lokalnego wzrostu w płaszczyźnie wejściowej.

Poniższy widżet pokazuje to, co obliczyliśmy powyżej: jak zmienia się wynik w każdym kierunku wejściowym, mierzony za pomocą pochodnych cząstkowych, oraz jak te pochodne łączą się w kierunku gradientu. Fioletowe przekroje pokazują, że każde wejście zmienia się osobno, ich zielone styczne pokazują pochodne cząstkowe, a pomarańczowa strzałka podąża ścieżką powierzchniową w kierunku gradientu.

Reset

x

3

y

2

f(x, 2) = 4x + x³

∂f/∂x = 31

f(3, y) = 3y² + 27

∂f/∂y = 12

Począwszy od $(3,2)$, przesunięcie suwaka $x$ wpływa w różny sposób na oba wykresy. Po lewej stronie $x$ to zmienne wejście, więc wybrany punkt porusza się wzdłuż tej samej krzywej $f(x,2)=4x+x^3$, podczas gdy $y=2$ pozostaje nieruchomy. Po prawej stronie $x$ to stałe wejście definiujące przekrój, więc zmiana go z $3$ na $4$ powoduje zmianę formuły z $f(3,y)=3y^2+27$ na $f(4,y)=4y^2+64$. Innymi słowy, przesuwanie $x$ przesuwa punkt wzdłuż lewego przekroju i zmienia, który przekrój jest wyświetlany po prawej stronie. Przenoszenie $y$ powoduje odwrotną sytuację.

Śledzenie pochodnych przez połączone operacje

Wcześniej zróżniczkowaliśmy dwa terminy oddzielnie i dodaliśmy ich pochodne, ponieważ oryginalne wyrażenie dodało te terminy. Mówiąc bardziej ogólnie, możemy postrzegać każde obliczenia pośrednie jako funkcję pierwotnych danych wejściowych. Sposób, w jaki łączą się ich wyniki, określa sposób łączenia ich pochodnych.

Poniższa tabela przedstawia zasady dodawania, mnożenia i zagnieżdżania. Będziemy używać $g(x)$ i $h(x)$ jako ogólnych nazw dwóch różniczkowalnych funkcji $x$:

Zasada	Jak funkcje łączą się	Pochodna w odniesieniu do $x$
Reguła sumy	$g(x)+h(x)$	$g'(x)+h'(x)$
Zasada iloczynu	$g(x)h(x)$	$g'(x)h(x)+g(x)h'(x)$
Reguła łańcucha	$g(h(x))$	$g'(h(x))h'(x)$

Reguła iloczynu uogólnia używaną wcześniej regułę stałej-wielokrotności na przypadki, w których zmieniają się oba czynniki. Mnożenie dwóch funkcji nie oznacza mnożenia ich pochodnych. Aby różniczkować poszczególne funkcje, możemy skorzystać z reguły takiej jak reguła potęgowa lub rozbić funkcje na prostsze operacje, których pochodne już znamy. Reguła łańcuchowa łączy ich lokalne pochodne, aby dowiedzieć się, jak oryginalne dane wejściowe wpływają na końcowe wyjście, co czyni je centralnymi dla propagacji wstecznej.

W poprzedniej sekcji zróżniczkowaliśmy terminy, traktując inne dane wejściowe jako stałe. Przyjrzymy się teraz bliżej tym terminom: każdą operację arytmetyczną można postrzegać jako funkcję jej danych wejściowych.

Najpierw podzielmy naszą funkcję $f(x,y)=xy^2+x^3$ na poszczególne operacje z nazwanymi wynikami pośrednimi:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Na przykład podnoszenie do kwadratu odwzorowuje $y$ do $u=y^2$ i odwzorowuje mnożenie $x$ i $u$ do $v=xu$. Wynik kwadratu staje się wejściem do mnożenia. Kiedy dane wyjściowe jednej funkcji stają się danymi wejściowymi innej, funkcje te tworzą relację zwaną kompozycją funkcji, pokazaną jako $g(h(x))$ w powyższej tabeli. Operacja ma swoje własne bezpośrednie dane wejściowe; łączenie operacji powoduje, że ich wynik zależy również od wcześniejszych danych wejściowych.

Podział następuje zgodnie z zależnościami wyrażenia: $u=y^2$ musi być dostępne przed $v=xu$, a zarówno $v$, jak i $w$ muszą być dostępne przed $f=v+w$. Ponieważ $w=x^3$ nie zależy od $u$ ani $v$, możemy obliczyć to przed lub po tej gałęzi. Podział nie jest wyjątkowy: możemy wyrazić podnoszenie do kwadratu i sześcian jako mnożenie. Tutaj traktujemy je jako pojedyncze operacje i stosujemy regułę potęgową dla ich lokalnych pochodnych.

Wykorzystamy teraz regułę łańcuchową do obliczenia pochodnych poprzez pojedyncze operacje, mnożąc lokalne pochodne wzdłuż każdej ścieżki i dodając udziały z różnych ścieżek. Najpierw będziemy podążać jedną ścieżką, a następnie sprawdzimy dane wejściowe, które docierają do wyjścia dwiema ścieżkami.

Reguła łańcuchowa: jedna ścieżka

Zaczniemy od różniczkowania w odniesieniu do $y$, utrzymując $x$ na stałe. Podział pokazuje, dlaczego $y$ jest przydatnym punktem wyjścia: zmiana ma wpływ na $u=y^2$, następnie na $v=xu$, podczas gdy $w=x^3$ pozostaje stała. Następnie sprawdzimy $x$, który wpływa zarówno na $v$, jak i $w$. Na razie istnieje tylko jedna ścieżka od $y$ do końcowego wyniku:

$$y\ \longrightarrow\ u=y^2\ \longrightarrow\ v=xu\ \longrightarrow\ f=v+w$$

Aby zobaczyć różnicę między pochodną lokalną a regułą łańcuchową, skup się tylko na dwóch węzłach operacji: kwadracie $u=y^2$ i mnożeniu $v=xu$, połączonych przez $u\to v$.

Patrząc osobno, mnożenie wymaga $x$ i $u$ jako danych wejściowych. Jego lokalne pochodne cząstkowe to:

$$\frac{\partial v}{\partial x}=u, \qquad \frac{\partial v}{\partial u}=x$$

Aby wyprowadzić każdą pochodną lokalną, potrzebujemy jedynie wyrażenia operacji i danych wejściowych, ze względu na które różniczkujemy. W przypadku $v=xu$ traktowanie $x$ jako stałej daje $\partial v/\partial u=x$ niezależnie od tego, jak obliczono $u$ i gdzie zastosowano $v$. W tym kroku nie potrzebujemy reszty wykresu. Kwadrat dostarczany jest osobno $du/dy=2y$.

Zwróć uwagę, że reguła łańcuchowa uwzględnia pochodną węzła $u=y^2$, $du/dy=2y$ oddzielnie, mimo że węzeł $v=xu$ wykorzystuje już wartość $u$. Lokalna pochodna $\partial v/\partial u=x$ mówi nam jedynie, jak $v$ reaguje na zmianę w $u$. Nie obejmuje zmian $u$ w stosunku do $y$. Stawka ta wynosi $du/dy=2y$, więc potrzebujemy obu czynników:

$$\frac{\partial v}{\partial y} =\underbrace{\frac{\partial v}{\partial u}}_{\text{how v responds to u}} \cdot\underbrace{\frac{du}{dy}}_{\text{how u responds to y}} =x\cdot2y$$

Po ustaleniu $x$ mnożenie jest funkcją zewnętrzną, a podnoszenie do kwadratu funkcją wewnętrzną. Sama pochodna zewnętrzna nie może nam powiedzieć, jak zmienia się funkcja wewnętrzna: mnożenie przyjmuje wartość $u$, nie wiedząc, czy pochodzi ona z $y^2$, $2y$, czy z innego obliczenia. W $y=2$ zarówno $y^2$, jak i $2y$ wytwarzają $u=4$, ale ich pochodnymi są odpowiednio $4$ i $2$. Ta sama wartość nie oznacza zatem takiej samej reakcji na zmianę w $y$. To rozróżnienie ma zastosowanie zawsze, gdy różniczkujemy kompozycję.

Jeśli podstawimy $u=y^2$ do $v=xu$, pełne wyrażenie $v=xy^2$ będzie zawierało tę wewnętrzną zależność. Zróżniczkowanie go bezpośrednio daje $2xy$, uwzględniając oba współczynniki. Wykres wyraźnie przedstawia te dwa czynniki.

Poniższa tabela przedstawia jedynie skutki zmiany $y$, przy niezmienionym $x$. Koncentruje się na dwóch operacjach $u=y^2$ i $v=xu$, zatrzymując się na $v$ w celu obliczenia $\partial v/\partial y$:

Krok	Forma symboliczna
Zdefiniuj operacje	$u=y^2$, następnie $v=xu$
Wyprowadź wzory na pochodne lokalne	$du/dy=2y$, $\partial v/\partial u=x$
Połącz formuły, korzystając z reguły łańcuchowej	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=x\cdot2y$

Połączenia mają znaczenie, gdy łączymy pochodne lokalne: ścieżka $y\to u\to v$ każe nam pomnożyć $\partial v/\partial u$ przez $du/dy$, aby znaleźć $\partial v/\partial y$. Operacja dostarcza reguły lokalnej; wykres mówi nam, jak połączyć to z innymi regułami.

Teraz przejdź do ostatniego dodania. Oryginalna funkcja wykorzystuje $x$ i $y$, ale każda operacja ma własne dane wejściowe. W przypadku ostatniego dodatku $f=v+w$ te wejścia to $v$ i $w$. Jego lokalna pochodna $\partial f/\partial v$ pyta, jak zmienia się wyjście dodatku, gdy zmienia się $v$, podczas gdy $w$ pozostaje stałe. Jest to równe $1$, ponieważ dodanie małej ilości do $v$ powoduje dodanie tej samej ilości do $f$. Następnie reguła łańcuchowa łączy te lokalne odpowiedzi z pierwotnym wejściem $y$.

W poniższej tabeli wymieniono lokalne pochodne na pełnej ścieżce:

Operacja	Lokalna pochodna
Kwadrat $y$ daje $u$	$du/dy=2y$
Pomnóż $u$ przez stałą wartość $x$, aby otrzymać $v$	$\partial v/\partial u=x$
Dodaj stałą wartość $w$, aby otrzymać $f$	$\partial f/\partial v=1$

Aby otrzymać pochodną wyniku końcowego względem $y$, , możemy teraz zastosować regułę łańcuchową, mnożąc pochodne lokalne przez $y\rightarrow u\rightarrow v\rightarrow f$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Odpowiada to wzorowi, który otrzymaliśmy poprzez bezpośrednie różniczkowanie $xy^2+x^3$. Tutaj $\partial f/\partial y$ równa się $\partial v/\partial y$, ponieważ ostatnia operacja mnoży stawkę przez $1$.

Poniższy widget renderuje wykres połączonych obliczeń. Zaczyna się od $x$ i $y$, wejść, od których zależy funkcja. Wyrażenia wewnątrz węzłów, takie jak $u=y^2$ i $v=xu$, definiują operacje. Strzałki ciągłe wskazują wynik operacji na operację, która go wykorzystuje. Zatem $u\to v$ oznacza, że ​​$v=xu$ wykorzystuje wynik $u=y^2$, dzięki czemu ich kompozycja jest widoczna. Mnożenie wykorzystuje $u$, a nie jego pochodną $du/dy$; etykiety pochodnych i przerywane strzałki prowadzące do pola reguł łańcuchowych pokazują, w jaki sposób różniczkujemy obliczenia. Podążaj pomarańczową ścieżką i pomnóż lokalne pochodne, aby otrzymać $2y\cdot x\cdot1=2xy$.

Scroll the graph sideways to see the chain-rule box.

Kiedy teraz weźmiemy wzór na pochodną $2xy$ i podstawimy $x=3$ i $y=2$, otrzymamy $2(3)(2)=12$, pasujący do obliczonej wcześniej pochodnej cząstkowej. Możemy ocenić ten wzór na dowolnej parze wejściowej bez uprzedniego obliczania wartości funkcji pośrednich.

W przypadku $x=3$ i $y=2$ niewielka zmiana $h$ w $y$ powoduje w przybliżeniu zmianę $4h$ w $u$. Skale mnożenia zmieniają się o $3$, dając w przybliżeniu $12h$ zmianę w $v$. Dodanie niezmienionego $w$ pozostawia tę zmianę nietkniętą.

Wiele ścieżek: sumowanie wkładów do pochodnej

Prześledziliśmy, jak $y$ wpływa na sygnał wyjściowy jedną ścieżką. Znajdźmy teraz pochodną cząstkową $f(x,y)=xy^2+x^3$ względem $x$, przy stałym $y$. Używamy tych samych wyników pośrednich:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Wartość $u=y^2$ pozostaje stała, ale zarówno $v=xu$, jak i $w=x^3$ zmieniają się wraz z $x$. Daje nam to dwie ścieżki od $x$ do końcowego wyniku:

$$x\longrightarrow v=xu\longrightarrow f=v+w \qquad\text{and}\qquad x\longrightarrow w=x^3\longrightarrow f=v+w$$

Obliczyliśmy już $\partial f/\partial x=y^2+3x^2$ różniczkując $xy^2+x^3$ względem $x$, utrzymując stałą $y$. Reguła łańcuchowa daje tę samą odpowiedź, używając lokalnych pochodnych wzdłuż obu ścieżek:

Operacja	Lokalna pochodna
Pomnóż $x$ przez stałą wartość $u$, aby otrzymać $v$	$\partial v/\partial x=u=y^2$
Kostka $x$ do uzyskania $w$	$dw/dx=3x^2$
Dodaj $v$ i $w$, aby otrzymać $f$, biorąc pod uwagę wpływ $v$	$\partial f/\partial v=1$
Dodaj $v$ i $w$, aby otrzymać $f$, biorąc pod uwagę wpływ $w$	$\partial f/\partial w=1$

Każda lokalna pochodna dodania utrzymuje swoje inne dane wejściowe na stałym poziomie. Oba wejścia zmieniają się, gdy zmienia się $x$, więc potrzebujemy obu wkładów.

Stosujemy teraz regułę łańcuchową wielu zmiennych: mnożymy lokalne pochodne wzdłuż każdej ścieżki, a następnie dodajemy oba składowe, aby otrzymać pochodną końcowego wyniku względem $x$:

$$\frac{\partial f}{\partial x} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial x} +\frac{\partial f}{\partial w}\cdot\frac{dw}{dx} =1\cdot y^2+1\cdot3x^2 =y^2+3x^2$$

Poniższy diagram przedstawia dwie ścieżki od $x$ do końcowego wyjścia: $x\to v\to f$ i $x\to w\to f$. Obydwa śledzą wpływ zmiany $x$, przy czym $y$ pozostaje stały. Węzły $y$ i $u=y^2$ są szare, ponieważ ta gałąź pozostaje niezmieniona; nadal dostarcza wartość $u$ używaną przy mnożeniu. Pomarańczowa ścieżka wnosi $1\cdot y^2$, a fioletowa ścieżka wnosi $1\cdot3x^2$. Aktywne pola operacji pokazują ich lokalne pochodne. W powyższym ramce mnoży się pochodne wzdłuż każdej ścieżki, a następnie dodaje udziały, aby otrzymać $y^2+3x^2$.

Scroll the graph sideways to follow the paths.

Kiedy teraz weźmiemy wzór na pochodną $y^2+3x^2$ i podstawimy $x=3$ i $y=2$, otrzymamy $2^2+3(3^2)=4+27=31$. Odpowiada to pochodnej cząstkowej, którą obliczyliśmy wcześniej, bez obliczania najpierw wartości funkcji pośrednich.

Obliczanie pochodnych: różniczkowanie symboliczne i automatyczne

Powyższe przykłady łączą lokalne reguły różniczkowania, aby obliczyć pochodną większej funkcji. Możemy pójść dalej: podnoszenie do kwadratu i do sześcianu też da się zbudować z mnożenia, więc ich pochodne mogą wynikać z reguły mnożenia.

Pochodna kwadratu z samego mnożenia

Załóżmy, że nasz silnik obsługuje mnożenie, ale nie ma operacji potęgowania. Nadal możemy obliczyć $s=x^2$ jako $s=x\cdot x$. Dla mnożenia $s=ab$ lokalne pochodne wynoszą:

$$\frac{\partial s}{\partial a}=b,\qquad \frac{\partial s}{\partial b}=a.$$

Obie pozycje wejściowe odnoszą się tutaj do tej samej zmiennej: $a=x$ i $b=x$. Zmiana $x$ wpływa na wynik przez obie pozycje, więc sumujemy ich wkłady:

$$\frac{ds}{dx} =\frac{\partial s}{\partial a}\frac{da}{dx} +\frac{\partial s}{\partial b}\frac{db}{dx} =x\cdot1+x\cdot1 =2x.$$

Pochodna kwadratu wynika z mnożenia i reguły łańcuchowej; nie potrzebowaliśmy osobnej reguły dla kwadratu. W przebiegu wstecznym zaczynamy od gradientu $s$ równego $1$. Każda pozycja wejściowa dodaje wartość drugiego argumentu do gradientu $x$. Przy $x=3$ otrzymujemy dwa wkłady: $3+3=6$. Choć istnieje tylko jeden węzeł $x$, trzeba uwzględnić oba jego użycia.

Ta sama idea działa dla sześcianu. Zapiszmy $t=x\cdot x$, a następnie $c=t\cdot x$. Łącząc pochodne, otrzymujemy:

$$\frac{dc}{dx} =x\frac{dt}{dx}+t\frac{dx}{dx} =x(x+x)+x^2 =3x^2.$$

Silnik może więc różniczkować potęgi o dodatnich wykładnikach całkowitych, zapisane jako kolejne mnożenia, bez implementowania reguły potęgowej. Inne funkcje wymagają odpowiednich dodatkowych operacji podstawowych: samo mnożenie nie pozwala na przykład wyrazić $\sin(x)$ ani dowolnych potęg ułamkowych. Ogólna zasada polega na tym, aby dostarczyć reguły różniczkowania operacji podstawowych, a następnie łączyć je w celu różniczkowania zbudowanych z nich funkcji.

Te same reguły mogą tworzyć wyrażenia lub obliczać liczby

W przykładzie kwadratu zachowaliśmy $x$ jako symbol, zbudowaliśmy wyrażenie $x\cdot1+x\cdot1$ i uprościliśmy je do $2x$. Takie tworzenie wyrażeń na pochodne to różniczkowanie symboliczne. Program może automatycznie budować te wyrażenia, korzystając z tych samych lokalnych reguł i zależności.

Micrograd stosuje te reguły do wartości liczbowych. Przy $x=3$ pierwotne mnożenie daje $s=9$, a jego reguła wsteczna sumuje $3+3=6$ w gradiencie $x$. To różniczkowanie automatyczne: wynik jest matematycznie równoważny obliczeniu $2x$ przy $x=3$, choć nie konstruujemy tego symbolicznego wzoru. Propagacja wsteczna wykorzystuje automatyczne różniczkowanie w trybie odwrotnym do obliczania gradientów straty potrzebnych do uczenia.

Obie metody łączą te same reguły rachunku różniczkowego. W tym porównaniu zmienia się to, czy budujemy wyrażenia na pochodne, czy wykonujemy obliczenia pochodnych na liczbach:

Metoda	Na czym działa	Co daje
Różniczkowanie symboliczne	Wyrażenia symboliczne, w tym nazwane wyrażenia pośrednie	Wzory na pochodne, które można obliczyć dla wybranych wartości wejściowych
Różniczkowanie automatyczne	Operacje programu i ich wartości dla wybranych wejść	Wartości liczbowe pochodnych uzyskane przez połączenie pochodnych lokalnych

Od wzorów na pochodne do reguł wykonywanych przez program

Na wcześniejszym jednościeżkowym wykresie symbolicznym napisaliśmy $du/dy=2y$ obok operacji $u=y^2$. Wzór ten mówi nam również, jak obliczyć pochodną za pomocą arytmetyki: weź wartość wejściową i pomnóż ją przez $2$. W przypadku $y=2$ wynikiem jest $4$. To jest numeryczna pochodna lokalna: lokalna pochodna wyznaczana przy określonych wartościach wejściowych.

Autodiff nie wyprowadza reguł różniczkowania operacji podstawowych z samych wartości ani nie odkrywa ich symbolicznie podczas wykonywania programu. Twórca silnika dostarcza regułę dla każdej operacji podstawowej, zapisując znany wzór na pochodną jako kod. Jeśli wybierzemy podnoszenie do kwadratu jako operację podstawową, $2y$ staje się 2 * input_value. Wzór opisuje regułę matematycznie, a kod wykonuje ją na liczbach. Dla wejścia 2 otrzymujemy 4. Jeśli zamiast tego zapiszemy kwadrat jako y * y, dwa wkłady z mnożenia dadzą ten sam wynik: 2 + 2 = 4.

Silnik korzysta z grafu i reguły łańcuchowej, aby różniczkować kombinacje tych operacji. Każdą regułę lokalną implementujemy raz i wykorzystujemy ponownie przy każdym wystąpieniu danej operacji:

Działanie programu	Znana reguła lokalnej pochodnej	Obliczenia numeryczne
u = y ** 2	$du/dy=2y$	2 * y.data
v = x * u	$\partial v/\partial x=u$, $\partial v/\partial u=x$	u.data, x.data
w = x ** 3	$dw/dx=3x^2$	3 * x.data ** 2
f = v + w	$\partial f/\partial v=1$, $\partial f/\partial w=1$	1, 1

Tutaj .data przechowuje wartość liczbową węzła. Pochodną mnożenia względem $u$ oblicza się poprzez odczyt wartości drugiego argumentu, $x$. Aby zastosować tę regułę lokalną, silnik nie musi wiedzieć, w jaki sposób obliczono ten operand.

Silnik rejestruje również, które dane wejściowe dały dany wynik, zachowując zależności pokazane na naszym wykresie. Zwykła arytmetyka oblicza wartości; autodiff dodaje śledzenie zależności i reguły pochodne. Może także śledzić operacje wykonywane w pętlach i gałęziach warunkowych, bez konieczności przepisywania całego obliczenia w postaci pojedynczej formuły.

W grafie używanym w naszym przykładzie wybieramy osobną operację podstawową potęgowania, dzięki czemu każdy kwadrat i sześcian pozostaje jedną operacją. Możemy je wtedy zapisać jako y.pow(2) i x.pow(3). To wybór implementacyjny; dla tych potęg sprawdziłoby się również powtarzane mnożenie. Metoda pow(exponent) stosuje ogólną regułę potęgową:

$$\frac{d}{dy}(y^n)=ny^{n-1}$$

W przypadku użytych tutaj dodatnich wykładników całkowitych obliczenie wygląda następująco:

Tutaj this jest węzłem wejściowym. Operacja oblicza wartość wyjściową i rejestruje połączenie z tym wejściem wraz z numeryczną pochodną lokalną. Przejście wsteczne wykorzysta zapisaną pochodną do propagacji wkładu gradientu na wejście.

Wywołanie y.pow(2) przekazuje wykładnik $2$, więc lokalna pochodna wynosi $2y^{2-1}=2y$. Wywołanie x.pow(3) daje $3x^{3-1}=3x^2$. Silnik pobiera wykładnik z argumentu operacji, a programista dostarcza ogólną regułę różniczkowania. Silnik nie odkrywa reguły potęgowej podczas działania. Wyspecjalizowana metoda square() może używać tego samego obliczenia z wykładnikiem ustalonym na $2$.

Wykres przedstawia połączenia; zaimplementowane reguły dostarczają lokalnych wartości pochodnych. Reguła łańcucha mówi następnie silnikowi, jak je połączyć.

Możemy teraz ponownie odwiedzić tabelę z symbolicznego przykładu, ponownie kierując się tylko $y\to u\to v$ z $x$ trzymanym na stałe w celu obliczenia $\partial v/\partial y$. Autodiff wykonuje te same operacje na wybranych wejściach, więc oblicza także ich numeryczne wartości wyjściowe. Nadal potrzebuje lokalnych pochodnych, ale ocenia reguły już wdrożone dla każdej operacji, zamiast wyprowadzać nowe formuły podczas wykonywania:

Krok	W $x=3$, $y=2$, przy $x$ trzymanym nieruchomo
Użyj tych samych operacji	$u=y^2$, następnie $v=xu$
Oblicz wartości operacji	$u=2^2=4$, następnie $v=3\cdot4=12$
Oceń lokalne zasady dotyczące pochodnych	$du/dy=2y=4$, $\partial v/\partial u=x=3$
Połącz pochodne liczbowe, korzystając z reguły łańcuchowej	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=3\cdot4=12$

Kontynuacja ostatniego dodawania daje $\partial f/\partial y=1\cdot12=12$. W celu wyjaśnienia tabela ta wyodrębnia efekt jednego wejścia. Nasze symboliczne obliczenia połączyły $1\cdot x\cdot2y$ we wzorze $2xy$. Funkcja Autodiff ocenia poszczególne reguły na bieżących wejściach i zamiast tego łączy $1\cdot3\cdot4$. Wykorzystuje znane reguły pochodne jako instrukcje numeryczne, bez konstruowania symbolicznego wzoru na pochodną dla całej funkcji.

Poniższy widget wykorzystuje ten sam wykres, co przykład z jedną ścieżką. Przełącz pomiędzy Różniczkowanie symboliczne i Różniczkowanie automatyczne w celu porównania łączenia wyrażeń pochodnych z łączeniem ich wartości liczbowych w $x=3$ i $y=2$.

SymbolicAutodiff

Scroll the graph sideways to see the chain-rule box.

W trybie symbolicznym ciągłe strzałki pokazują, w jaki sposób funkcje się łączą: każdy wynik pośredni staje się wejściem do innej operacji. W trybie automatycznego różniczkowania te same strzałki opisują również przepływ wartości numerycznych do przodu: podniesienie do kwadratu daje $u=4$, a mnożenie z $x=3$ daje $v=12$. Zależności pozostają takie same; teraz oceniamy operacje na określonych wejściach. Ten widżet porównania nie animuje tego przepływu. Poniższy przewodnik krok po kroku pokaże te wartości w przód i propagację wsteczną wkładów pochodnych.

Obliczanie wartości operacyjnych różni się od obliczania lokalnych pochodnych. Każda reguła pochodnej używa dowolnych wartości, których potrzebuje: na tej ścieżce reguła kwadratu potrzebuje $y$, a pochodna mnożenia względem $u$ potrzebuje $x$. Wiersze w tabeli obliczeń numerycznych opisują różne zadania, a nie oddzielne przebiegi: implementacja może ocenić lokalne reguły pochodne podczas przebiegu w przód lub w tył. W tym przewodniku oceniamy je i zapisujemy podczas podania do przodu.

Widget porównawczy wyświetla obliczone pochodne; w późniejszym instruktażu zostaną również wyświetlone wartości przekazywane dalej. Tak się składa, że ​​wynik kwadratu $u=y^2$ i jego lokalna pochodna $du/dy=2y$ są równe $4$ w $y=2$, ale są to różne wielkości: w $y=3$ będą to $9$ i $6$.

Wyznaczanie wzoru na pochodną złożoną daje taki sam wynik, jak obliczanie najpierw pochodnych lokalnych, a następnie łączenie ich za pomocą reguły łańcuchowej. W przypadku $(3,2)$ obliczenie $2xy$ daje $12$, podobnie jak mnożenie $4\times3\times1$. Operacje i ich zależności pozostają takie same; zmienia się to, czy łączymy wyrażenia pochodne, czy wartości liczbowe.

Unikanie rozszerzonych formuł ma znaczenie, ponieważ wielokrotne podstawienie wyrażeń pośrednich może spowodować, że formuła pochodna będzie znacznie większa niż oryginalne wyrażenie — jest to problem zwany Zwiększenie wyrażenia. Rozwinięta formuła może zawierać wiele kopii tego samego podwyrażenia, zajmując więcej miejsca i powtarzając pracę, jeśli każda kopia jest oceniana osobno. Zachowanie nazwanych wyników pośrednich pozwala nam ponownie wykorzystać te obliczenia. Symboliczne zróżniczkowanie może również zachować i udostępnić te wyrażenia, więc wzrost ekspresji nie jest nieuniknionym ograniczeniem metody.

Tryb prosty i odwrotny

Widżet pokazuje, które pochodne lokalne łączymy, ale nie pokazuje kolejności, w jakiej je propagujemy. Połączenia przerywane łączą czynniki w iloczyn. Tryb do przodu i tryb do tyłu autodiff mogą używać tego samego wykresu obliczeń i oba oceniają funkcję od wejść do wyjść. Różnią się sposobem propagacji pochodnych: tryb do przodu przenosi je z wejść do wyjść, podczas gdy tryb odwrócony przenosi wkłady pochodne z wyjścia z powrotem do wejść.

Zaczynając od jednego wybranego wejścia, tryb forward może obliczyć, jak wszystkie wyjścia reagują na to wejście w jednym przebiegu różniczkującym. Zaczynając od jednego wybranego wyjścia, tryb odwrotny może obliczyć, jak to wyjście reaguje na wszystkie wejścia w jednym przejściu wstecz. Skoncentrujemy się na trybie odwrotnym, podejściu stosowanym w przypadku propagacji wstecznej. Pełne przejście wstecz obliczy zarówno $\partial f/\partial x$, jak i $\partial f/\partial y$, gromadząc wkład z obu ścieżek do $x$.

Przejście pochodnej w trybie forward propaguje pochodne wzdłuż wartości funkcji. Zamiast tego przejście do przodu naszego obliczenia w trybie odwrotnym ocenia funkcję i rejestruje, czego potrzebuje późniejszy przebieg wstecz; pochodne wyniku końcowego są kumulowane podczas tego przejścia wstecz. Prześledzimy te obliczenia w dwóch przebiegach:

• Przepust do przodu ocenia funkcję. W tym przewodniku każda operacja oblicza swoją wartość i zapisuje połączenia wejściowe oraz numeryczne pochodne lokalne.
• Przejście wsteczne rozpoczyna się od pochodnej wyniku względem samego siebie, $\partial f/\partial f=1$, i wykorzystuje zapisane lokalne pochodne do propagowania wkładów liczbowych wstecz przy użyciu reguły łańcuchowej. Wkłady do tych samych danych wejściowych kumulują się.

Poniższa tabela pokazuje, co oblicza i przechowuje nasze przejście do przodu w $x=3$ i $y=2$. Typ operacji określa, która reguła pochodna zostanie uruchomiona; zapisane krawędzie łączą swoje wejścia z obliczonymi pochodnymi lokalnymi:

Obliczenia	Wartość wyjściowa przy $(x,y)=(3,2)$	Przechowywane połączenia wejściowe i lokalne pochodne
$u=y^2$	$4$	Wejście $y$, z $du/dy=4$
$v=xu$	$12$	Wejście $x$, z $\partial v/\partial x=4$; wejście $u$, z $\partial v/\partial u=3$
$w=x^3$	$27$	Wejście $x$, z $dw/dx=27$
$f=v+w$	$39$	Wejście $v$, z $\partial f/\partial v=1$; wejście $w$, z $\partial f/\partial w=1$

Wartości wyjściowe i pochodne lokalne pełnią różne role. Na przykład mnożenie wykorzystuje $u=4$ do obliczenia wyniku $v=12$ i ta sama wartość argumentu dostarcza lokalną pochodną względem $x$. Wstecz łączy zapisane lokalne pochodne ze skumulowaną wrażliwością na wynik końcowy.

Model jest programem, więc funkcja autodiff ma dostęp do operacji, które wygenerowały jego wynik; sama skończona tabela obserwacji wejścia-wyjścia nie może dostarczyć takich informacji ani określić dokładnych pochodnych. W przypadku ustalonej partii szkoleniowej obliczenia przewidywania i strat w modelu mają wiele parametrów i jedną wartość straty. Tryb odwrotny ponownie wykorzystuje wyniki pośrednie do obliczenia wszystkich pochodnych parametrów w jednym przejściu wstecz, zamiast powtarzać całe obliczenia dla każdego parametru.

Ustaliliśmy, co rejestruje silnik i w jaki sposób wykorzystuje lokalne zasady dotyczące pochodnych. Następnie prześledzimy te same obliczenia w interaktywnym przebiegu do przodu i do tyłu, obserwując, jak rejestrowane są wartości i kumulują się wkłady pochodne.

Automatyczne różniczkowanie w trybie odwrotnym krok po kroku

Przeprowadźmy teraz pełne obliczenia automatycznej różnicy w trybie odwrotnym przy użyciu tej samej funkcji $f(x,y)=xy^2+x^3$ i $(x,y)=(3,2)$. Ocenimy cztery operacje z powyższej tabeli, a następnie prześledzimy ich pochodne wstecz, aby otrzymać gradient $(31,12)$:

Przejście do przodu daje $u=4$, $v=12$, $w=27$, a wyjście końcowe $f=39$. Każdy wynik zachowuje swoje powiązania z danymi wejściowymi, które go wytworzyły, wraz z informacjami potrzebnymi do jego lokalnej reguły pochodnej. Przejście wstecz oblicza, jak końcowe wyjście reaguje na każdy węzeł; nie zmienia to wartości przekazywanych dalej.

Wartości forward nazywane są także liczbami podstawowymi. Pochodne zgromadzone podczas przejścia wstecz nazywane są sprzężonymi: każda mierzy, jak zmienia się końcowy wynik w odniesieniu do określonej wartości wejściowej lub wartości pośredniej. W naszym widgecie są one oznaczone odpowiednio jako value i grad. Sprzężenie to pochodna wyniku końcowego, różniąca się od lokalnej pochodnej operacji.

Przed przejściem wstecz każdy .grad zaczyna się od zera. Wysiewamy f.grad = 1, ponieważ $\partial f/\partial f=1$.

.grad każdego węzła skalarnego przechowuje pochodną końcowego wyniku w odniesieniu do tego węzła. Razem x.grad i y.grad tworzą wektor gradientu $(31,12)$. Przewodnik przechowuje lokalne pochodne numeryczne na połączeniach i wykorzystuje je podczas odtwarzania wstecz: parent.grad += node.grad * local_derivative.

Wcześniejszy widget porównawczy korzystał wyłącznie ze ścieżki z $y$ do obliczenia $\partial f/\partial y$. Poniższy widget przetwarza cały wykres w jednym przebiegu wstecznym, obliczając pochodne zarówno w odniesieniu do $x$, jak i $y$. Kroki te następują sekwencyjnie w ramach tego samego przebiegu. Każde pole pokazuje oddzielnie wartość wyjściową, numeryczne pochodne lokalne i skumulowany gradient.

Wejścia są ustawione na $x=3$ i $y=2$, co odpowiada utworzeniu x = Value(3) i y = Value(2). Wybierz opcję Oblicz w przód, aby zobaczyć, jak cztery operacje wygenerują wynik. Następnie wybierz Ustaw gradient wyjścia i wykonaj kroki wstecz, dodając, dzieląc, mnożąc i podnosząc do kwadratu. Każdy krok wstecz podkreśla operację i jej dane wejściowe, a następnie łączy symboliczne wyrażenie reguły łańcuchowej z jego podstawieniem numerycznym i odpowiednią aktualizacją .grad poniżej wykresu. Zobacz, jak te dwa wkłady kumulują się w $x$.

The same operations, forward and backwardf(x, y) = xy² + x³

Evaluate forwardRestart trace

Stage 0 of 6. Start with x = 3 and y = 2, then evaluate u = y², v = xu, w = x³, and f = v + w.

W poniższej tabeli podsumowano kroki wstecz, które można wykonać w widgecie. Wartości forward pozostają niezmienione przez cały czas; zmieniają się tylko skumulowane gradienty.

Krok wstecz	Aktualizacja gradientu
Nasiona	$\mathtt{f.grad}=1$
Dodatek	$\mathtt{v.grad}=\mathtt{f.grad}\cdot1=1$, $\mathtt{w.grad}=\mathtt{f.grad}\cdot1=1$
Kostka	$\mathtt{x.grad}=\mathtt{w.grad}\cdot3x^2=1\cdot27=27$
Mnożenie, wkład do $x$	Dodaj $\mathtt{v.grad}\cdot u=1\cdot4=4$, dając $\mathtt{x.grad}=27+4=31$
Mnożenie, wkład do $u$	$\mathtt{u.grad}=\mathtt{v.grad}\cdot x=1\cdot3=3$
Kwadrat	$\mathtt{y.grad}=\mathtt{u.grad}\cdot2y=3\cdot4=12$

Dwie ścieżki z $x$ przyczyniają się oddzielnie, podczas gdy $y$ otrzymuje swój udział poprzez $u$ i $v$:

$$\frac{\partial f}{\partial x}=\underbrace{1\times27}_{\text{through }w}+\underbrace{1\times4}_{\text{through }v}=31, \qquad \frac{\partial f}{\partial y}=1\times3\times4=12$$

To zamówienie przetwarza gałąź kostki przed gałęzią mnożenia. Inne ważne zlecenia wstecz dają ten sam wynik, pod warunkiem, że węzeł otrzyma wszystkie dalsze wkłady, zanim przekaże zakumulowaną pochodną na swoje dane wejściowe.

Widżet pokazuje pełne podanie do tyłu. Połączmy teraz z kodem jego kroki mnożenia $v=xu$ i kwadraty $u=y^2$. Krok wstecz mnożenia powoduje mnożenie dwóch różnych pochodnych:

$$\underbrace{\frac{\partial f}{\partial v}}_{\text{stored in v.grad}} \times \underbrace{\frac{\partial v}{\partial x}}_{\text{u.data, the other operand's value}} =1\times4$$

Pierwszy czynnik mówi nam, jak końcowe wyjście $f$ reaguje na $v$. Drugi mówi nam, jak $v$ reaguje na $x$, utrzymując stałe $u$. Mnożenie ich to reguła łańcuchowa: daje udział tej ścieżki w pochodnej względem $x$.

W instrukcji zapisywane są numeryczne pochodne lokalne podczas przejścia do przodu. Inna implementacja może zapisać wartości argumentów i ocenić te same lokalne reguły podczas odtwarzania wstecz. W tej formie metoda mnożenia __mul__(self, other) tworzy węzeł wynikowy o nazwie out, a jej regułę wsteczną można zapisać jako:

Dla v = x * u, out to $v$, self to $x$, a other to $u$. Po aktualizacjach mnożenia, zapisanych tymi nazwami, następuje aktualizacja kwadratu:

Przepustka do przodu dostarczana z $u=4$, $x=3$ i $y=2$. Mnożenie wykorzystuje wartość drugiego operandu dla każdej lokalnej pochodnej. Kwadrat wykorzystuje $2y=4$ i mnoży go przez skumulowany u.grad = 3.

Kod	Znaczenie
out.grad	Pochodna wyniku końcowego po wyniku tej operacji
other.data	Wartość innego operandu, która jest równa lokalnej pochodnej mnożenia
+=	Dodaj udział tej ścieżki do skumulowanej pochodnej danych wejściowych

other.data przechowuje wartość, a nie pochodną. Reguła mnożenia mówi, że ta wartość jest równa potrzebnej pochodnej lokalnej. Dla dodawania lokalna pochodna wynosi $1$, więc odpowiednia aktualizacja to self.grad += out.grad * 1. Dla potęgi obliczamy regułę potęgową przy danym wejściu: lokalna pochodna sześcianu to $3x^2$, a kwadratu — $2y$.

W symbolicznym widżecie połączyliśmy lokalne wyrażenia pochodne wzdłuż ścieżki z $y$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Kod opiera się na tych samych połączeniach, ale łączy liczby. Dodatek daje v.grad = 1; mnożenie daje u.grad = 1 × 3 = 3; kwadrat daje y.grad = 3 × 4 = 12. Zatem u.grad zawiera już dwa pierwsze czynniki wyrażenia symbolicznego. Autodiff otrzymuje tę samą pochodną bez konstruowania połączonego wzoru $2xy$.

Te kroki obliczają pochodne w $(3,2)$; nie aktualizują wejść, aby zminimalizować funkcję. Klasa Value automatyzuje kroki wstecz w jednym wywołaniu f.backward().

Od obliczeń do silnika

Pochodna mierzy lokalną wrażliwość. Pochodne cząstkowe izolują efekt każdego sygnału wejściowego, a gradient gromadzi te pomiary w wektorze. Propagacja wsteczna oblicza je, wykonując zarejestrowane operacje wstecz: mnożysz pochodne wzdłuż każdej ścieżki i dodajesz udziały w miejscach, gdzie ścieżki się spotykają.

Aby zobaczyć te pomysły zaimplementowane w Pythonie, zapoznaj się z przewodnikiem Andreja Karpathy’ego dotyczącym Microgradu. Lokalne reguły pochodne, akumulacja gradientów i przechodzenie wstecz, które tu zbadaliśmy, zapewniają podstawy do zrozumienia jego implementacji.

Aby uzyskać głębszy pogląd matematyczny, zapoznaj się z tym wykładem na temat automatycznego różniczkowania i przekształceń liniowych. Łączy rachunek różniczkowy z algebrą liniową, pokazując, jak pochodne zachowują się jak przekształcenia liniowe, jak reprezentują je macierze Jakobianu i jak łączy je reguła łańcuchowa — matematyczne podstawy automatycznego różniczkowania.