Процес навчання нейронної мережі передбачає пошук ваг і зміщень, які роблять прогнози точнішими. Ми порівнюємо ці прогнози з очікуваними відповідями за допомогою функції втрат — формули, яка перетворює їхню невідповідність у число, де нижче значення вказує на кращу відповідність. Щоб вибрати оновлення, нам потрібно знати, як зміна кожного параметра вплине на цю втрату. Ми могли випадковим чином підштовхнути параметр, знову обчислити втрати та порівняти результати. Але перевірка мільйонів параметрів по одному таким чином вимагала б мільйонів додаткових оцінок.

Щоб керувати цим пошуком, ми використовуємо градієнт, який збирає частинні похідні втрат щодо параметрів. Ці похідні дозволяють оцінити, як невеликі зміни в параметрах вплинуть на збиток, не перераховуючи його. Для кожного параметра похідна описує, наскільки втрата чутлива до цього параметра, тоді як інші залишаються фіксованими.

Математично це проблема оптимізації, зокрема мінімізації: ми шукаємо значення параметрів моделі, які роблять втрати якомога меншими. Хоча методи нульового порядку, такі як MeZO, можуть керувати оновленнями, випадково змінюючи багато параметрів одночасно та оцінюючи втрати, стандартним підходом є використання похідної інформації для керування пошуком. Сьогодні нейронні мережі переважно навчаються за допомогою градієнтів, обчислених за алгоритмом, відомим як зворотне поширення — підхід, який ми розробимо тут.

Щоб зрозуміти зворотне поширення, ми будемо спиратися на кілька ідей: локальні похідні, ланцюгове правило та обчислювальні графіки. Попутно ми вивчимо три методи обчислення похідних: числове диференціювання, символьне диференціювання та автоматичне диференціювання. Ми почнемо з функцій, достатньо малих для диференціювання вручну, і порівняємо їхні точні похідні з кінцево-різницевими оцінками, а потім перейдемо до функцій із декількома входами. Ми використаємо частинні похідні, щоб виокремити вплив кожного вхідного сигналу, утримуючи інші фіксованими, і зберемо ці показники в градієнт.

Далі ми простежимо зміни через пов’язані операції: ланцюгове правило перемножує похідні вздовж шляху й додає внески, коли один вхід впливає на вихід кількома шляхами. Головна ідея полягає в тому, що знання похідних невеликого набору базових операцій дозволяє диференціювати побудовані з них функції. Навіть похідну квадрата можна отримати лише з множення. Ми пов’яжемо цю ідею із символьним диференціюванням, а потім простежимо прямий і зворотний проходи, щоб побачити, як автоматичне диференціювання у зворотному режимі повторно використовує проміжні результати для обчислення градієнтів за багатьма входами. Саме на цьому ґрунтується зворотне поширення.

Ця стаття закладає теоретичні основи для розуміння Micrograd Андрея Карпаті — невеликого рушія автоматичного диференціювання з API, схожим на PyTorch. У своєму відеорозборі він створює цей рушій і використовує його для навчання нейронної мережі. Ті самі принципи лежать в основі функції PyTorch torch.autograd.backward, яка обчислює градієнти за ланцюговим правилом.

Від швидкості зміни до похідних

Давайте почнемо з простого лінійного співвідношення $z=3x$ і знайдемо його похідну, вивчивши нахил його графіка. Похідна вказує нам, як швидко змінюється вихід функції, коли ми змінюємо її вхід при певному вхідному значенні. Тут будь-яке збільшення $x$ призводить до збільшення $z$ утричі. Використовуючи $\Delta$ для представлення зміни, ми можемо написати:

$$\Delta z=3\,\Delta x.$$

Коли ми малюємо $x$ горизонтально та $z$ вертикально, ця постійна швидкість зміни дає пряму лінію. Для прямої лінії похідна дорівнює її нахилу, тому ми можемо знайти її, обчисливши відношення зміни виходу до зміни вхідного, що часто називають «підйомом за пробіг»:

$$\text{slope}=\frac{\Delta z}{\Delta x}=\frac{\text{rise}}{\text{run}}$$

На графіку нижче ми можемо побачити, як синя лінія $z=3x$ піднімається на $3$ для циклу $1$, даючи нахил $3/1=3$.

Пунктирна сіра лінія $z=0.5x$ і пунктирна фіолетова лінія $z=x$ підвищуються лише на $0.5$ і $1$ для того самого циклу $1$. При однакових масштабах осі більший абсолютний нахил означає крутішу лінію. Усі три нахили додатні, тому лінії підвищуються, коли ми рухаємось праворуч; від’ємний нахил спричинить падіння лінії.

Ми виявили, що синя лінія має нахил $3$, тому похідною від $z=3x$ є $3$. Ми пишемо це як $\frac{dz}{dx}$ і читаємо як «похідну від $z$ відносно $x$». Фраза «щодо $x$» визначає вхідні дані, які ми змінюємо: похідна вимірює, наскільки швидко змінюється вихідний сигнал $z$, коли змінюється $x$. Наша функція має лише один вхід, $x$, тому немає інших вхідних даних, які потрібно фіксувати. Для нашої синьої лінії ми отримуємо:

$$\frac{dz}{dx}=3$$

Символи $d$ вказують на похідну, тоді як $\Delta z/\Delta x$ описує середню швидкість зміни протягом кінцевого інтервалу. Для $z=3x$ швидкість зміни постійна і не залежить від $x$, тому похідною є $3$, де б ми її не оцінювали.

Ми використали нахил прямої, щоб знайти похідну. Ми також можемо обчислити його за допомогою правил диференціювання. Оскільки $z=3x$, ми можемо замінити $z$ його виразом і написати:

$$\frac{dz}{dx}=\frac{d}{dx}(3x)$$

Тут диференціальний оператор $\frac{d}{dx}$ означає «продиференціювати наступний вираз за $x$». У $\frac{d}{dx}(3x)$ таким виразом є $3x$, який ми розглядаємо як функцію $x$. Це позначення особливо корисне, коли ми розглядаємо окремі доданки складнішого виразу як функції та диференціюємо їх окремо.

Використовуючи правило сталого множника, ми зберігаємо множник $3$ і диференціюємо $x$. Похідна від $x$ по відношенню до $x$ дорівнює $1$, тому що збільшення вхідних даних на будь-яку величину збільшує вихідні дані $x$ точно на таку ж величину:

$$\frac{d}{dx}(3x)=3\frac{d}{dx}(x)=3\times1=3.$$

Правила диференціювання дають нам систематичний спосіб обчислення ставок, які важче побачити в більш складних виразах. Ми представимо більше цих правил, коли будемо з’єднувати кілька операцій.

Похідна, що залежить від вхідного значення

Давайте тепер розглянемо функцію, швидкість зміни якої залежить від її вхідних даних. Це робить локальну природу похідної більш зрозумілою: вона описує, як вихід змінюється поблизу конкретного вхідного значення, де ми його оцінюємо. Щоб продемонструвати це, ми використаємо функцію з одним входом $x$ під назвою $L$:

$$L(x)=x^2+3.$$

Ми можемо записати цю похідну як $dL/dx$, використовуючи ту саму нотацію, яку ми ввели вище, яка називається , нотація Лейбніца. Інший спосіб запису — $L'(x)$, що читається як «L просте число x», що називається нотацією Лагранжа або простою нотацією. Обидва означають похідну від $L$ відносно $x$.

Щоб знайти похідну від $L(x)=x^2+3$, ми розділимо її два члени окремо, а потім додамо результати. Тут використовуються три правила:

Правило	Як ми це використовуємо
Силове правило	Диференціювати $x^2$
Постійне правило	Продиференціюйте постійний доданок $3$
Правило суми	Додайте похідні двох доданків

Давайте спочатку застосуємо правило похідної степеневої функції до $x^2$: помножте на експоненту, потім зменшіть експоненту на одиницю. загалом,

$$\frac{d}{dx}(x^n)=nx^{n-1}$$

Для $x^2$ це дає $2x$. Потім ми застосовуємо правило константи до $3$. Його похідна по відношенню до $x$ дорівнює нулю, оскільки вона не змінюється зі зміною $x$. І, нарешті, ми використовуємо sum правило, щоб додати ці похідні. Отже, для нашої функції похідна:

$$L'(x)=2x+0=2x$$

Щоб побачити, що говорить нам ця формула, давайте обчислимо результат функції та її похідну за трьома значеннями $x$:

Вхід $x$	Вихід $L(x)=x^2+3$	Похідна $L'(x)=2x$
$-5$	$(-5)^2+3=28$	$2\times(-5)=-10$
$0$	$0^2+3=3$	$2\times0=0$
$5$	$5^2+3=28$	$2\times5=10$

На відміну від постійної ставки $3$ у $z=3x$, ця ставка залежить від поточного значення $x$. Вихідні дані функції однакові для $x=-5$ і $x=5$, але похідні мають протилежні знаки. У $x=5$ позитивна похідна означає, що вихід зростає, оскільки $x$ трохи збільшується. У $x=-5$ негативна похідна означає, що вихід падає, коли $x$ трохи збільшується.

На графіку нижче зосереджено напрямок: дві точки мають однакову висоту, але зелені стрілки показують різні способи переміщення вздовж кривої для зменшення результату.

Цей графік показує, що якщо наша мета — зменшити результат функції, знак похідної вказує нам, у який бік рухатися від кожної початкової точки. Зелені стрілки показують ці напрямки, які ми можемо визначити, не намагаючись як збільшити, так і зменшити $x$ і перерахувати вихідні дані функції. Обидві стрілки ведуть до $x=0$, де ця функція досягає свого мінімуму, а похідна дорівнює нулю, хоча нульова похідна не завжди вказує на мінімум.

Поширеним способом візуалізації похідної є нахил дотичної до графіка у вибраній точці. У $x=5$ похідною є $10$, тому дотична має нахил $10$. Змініть Параметр x нижче, щоб побачити, як змінюється нахил фіолетової дотичної уздовж синьої кривої.

Parameter x

5

Exact derivative10L′(x) = 2x

Тангенс також допомагає нам оцінити, наскільки вихід функції змінюється поблизу. У $x=5$, де результатом є $28$, а похідною є $10$, a невелика зміна в $x$ викликає зміну у вихідному сигналі приблизно в $10$ разів більше:

$$\Delta L\approx10\,\Delta x.$$

Ми використовуємо $\approx$ у наведеному вище виразі, оскільки ми оцінюємо зміну випуску за невеликий крок. У $x=5$ похідна точно дорівнює $10$, але нахил змінюється, коли ми рухаємося вздовж кривої. Встановлення Параметр x на $4.9$ у віджеті дає нахил $9.8$; менший перехід до $4.99$ дасть $9.98$. Чим менший крок, тим менше змінюється нахил, тому розгляд його як постійного в $10$ дає точнішу оцінку зміни у виході.

Оцінювання похідної за допомогою скінченних різниць

Оцінка похідних від значень функції на сусідніх входах називається чисельним диференціюванням. Кінцеві різниці є одним із способів зробити це. Нам потрібно лише обчислити функцію, не знаючи її внутрішніх операцій або виводячи формулу для її похідної.

Оцінка прямої різниці ділить вихідну зміну на невелику, відмінну від нуля зміну вхідної величини $h$:

$$\frac{L(x+h)-L(x)}{h}$$

Давайте обчислимо кінцево-різницеву оцінку за допомогою $L(x)=x^2+3$. Починаючи з $x=5$, крок $h=0.001$ приведе нас до $5.001$:

$$\frac{L(5.001)-L(5)}{0.001} =\frac{28.010001-28}{0.001} =10.001$$

Це середня швидкість зміни між двома вхідними даними. Геометрично, це нахил прямої лінії, що з’єднує їхні точки на кривій, називається secant. Похідна дає нахил дотичної у початковій точці.

У наведеному нижче віджеті встановіть для Параметр x значення $5$, де фіолетовий дотичний має нахил $10$. З Мала зміна h на $0.001$ помаранчевий секанс має нахил $10.001$. Це кінцево-різнична оцінка. Коли ми зменшуємо $h$, помаранчевий нахил наближається до $10$, точної похідної.

Tangent: exact derivativeSecant: finite difference

Parameter x

2

Small change h

0.8

Exact derivative4L′(x) = 2x

Finite difference4.8(L(x + h) − L(x)) / h

Ми називаємо це середнім, тому що ділимо загальну зміну випуску на загальну зміну входу за інтервал. Скінченно-різницеве ​​наближення використовує лише два значення кінцевих точок, тому воно не повідомляє нам, як функція поводиться між ними. Його вихід може змінюватися повільніше в одній частині інтервалу і швидше в іншій.

Оскільки ми знаємо формулу, ми можемо побудувати криву між кінцевими точками та побачити цю різницю. На графіку нижче використовується ширший інтервал від $x=1$ до $x=5$, щоб зробити різницю видимою. Пунктирна лінія, що з’єднує кінцеві точки, має середній нахил; зелена крива показує, як фактично змінюється вихід. Заштрихований трикутник показує загальну вхідну зміну $\Delta x=4$ і вихідну зміну $\Delta L=24$, тому середній нахил дорівнює $24/4=6$.

The average slope uses only the endpoints

Whole intervalFirst halfSecond halfFunction curve

Ми можемо порівняти середню швидкість за весь інтервал з показниками за дві його половини. Розщеплення на $x=3$, де вихід є $12$, дає:

Інтервал	Введення змін	Вихідні зміни	Середній курс
Весь інтервал	$1 \to 5$	$4 \to 28$	$(28-4)/(5-1)=6$
Перша половина	$1 \to 3$	$4 \to 12$	$(12-4)/(3-1)=4$
Друга половина	$3 \to 5$	$12 \to 28$	$(28-12)/(5-3)=8$

Визначення межі уточнює ідею швидкості зміни в одній точці: це значення, до якого наближається середня швидкість зміни, коли інтервал скорочується до нуля:

$$L'(x)=\lim_{h\to0}\frac{L(x+h)-L(x)}{h}$$

Ми дозволяємо $h$ наближатися до нуля, а не замінюємо $h=0$, що дасть $0/0$. Використовуючи це обмеження, ми отримуємо правило $L'(x)=2x$. Для нашої функції спочатку спростіть співвідношення, залишаючи $h$ ненульовим:

$$\begin{aligned} \frac{L(x+h)-L(x)}{h} &=\frac{(x+h)^2+3-(x^2+3)}{h}\\ &=\frac{2xh+h^2}{h}\\ &=2x+h \end{aligned}$$

Це робить різницю чіткою: обчислення кінцевої різниці на вибраному кроці дає $2x+h$. Взяття обмеження, коли $h$ наближається до нуля, видаляє зайвий $h$, даючи нам правило похідної:

$$L'(x)=2x,\qquad L'(5)=10$$

Це пояснює правило, яке ми символічно застосували раніше. Отримавши формулу $2x$, ми можемо обчислити її безпосередньо на будь-якому вході, не обчислюючи функцію на сусідньому вході.

Пряма різниця порівнює $x$ із $x+h$. Вибірка позаду $x$ дає оцінку зворотної різниці, тоді як вибірка однаково з обох сторін дає оцінку центральної різниці. Це інші типи скінченно-різницевої апроксимації. Для тієї самої функції $L(x)=x^2+3$ ми тепер використаємо більший крок $h=0.1$:

У точній арифметиці, коли ми зменшуємо крок $h$, оцінки прямої, зворотної та центральної різниці збігаються до точної похідної — для нашої функції на $x=5$ це значення дорівнює $10$. Центральна різниця є точною для цього квадрата в точній арифметиці, але загалом залишається наближенням.

Програмне забезпечення може оцінити похідну за допомогою скінченних різниць: обчислити функцію на двох сусідніх входах, відняти вихідні дані та розділити на різницю вхідних даних. Вибір цієї відмінності вимагає обережності. Кінцевий крок, як правило, створює помилку відсікання, оскільки ми використовуємо інтервал для оцінки швидкості в точці. Зменшення кроку зменшує цю помилку, але надзвичайно малий крок створює іншу проблему: комп’ютери зберігають числа з обмеженою точністю. Віднімання майже однакових значень функції може залишити різницю, в якій домінує помилка округлення, яку ділення на крихітну $h$ посилює.

Ці методи корисні для перевірки похідних, але їхні додаткові оцінки функцій роблять їх дорогими, якщо застосовувати їх окремо до мільйонів параметрів.

Кілька входів і частинні похідні

Досі ми використовували функції $z=3x$ і $L(x)=x^2+3$ лише з одним параметром $x$. Давайте тепер розглянемо $z=x+y$ і $z=xy$ з двома параметрами $x$ і $y$, які ми можемо змінювати окремо. Щоб зрозуміти вплив кожного параметра на $z$, ми змінюємо один, утримуючи інший фіксованим. Зміна обох одночасно призвела б до змішування їх ефектів.

Раніше ми писали $dz/dx$, щоб описати, як вихідний сигнал $z$ змінюється з одним входом $x$. Для наших функцій з двома входами нам потрібно вказати, який вхід ми змінюємо. Щоб виміряти, як змінюється $z$, коли ми змінюємо $x$, утримуючи $y$ фіксованим, ми використовуємо частинну похідну, записану як $\partial z/\partial x$. Ми читаємо це як ' частинну похідну від $z$ відносно $x$'. Порядок позначень означає те саме, що й раніше; символ $\partial$ вказує на те, що ми змінюємо один вхід, утримуючи інші фіксованими.

Геометрично два входи визначають точку на поверхні $z=f(x,y)$. Часткова похідна вимірює нахил у цій точці в одному напрямку входу, тоді як інший вхід залишається фіксованим. Тому нам потрібні обидва вхідні значення, щоб визначити, де ми вимірюємо нахил, навіть якщо ми досліджуємо зміни лише в одному напрямку.

Під час обчислення частинної похідної ми застосовуємо правила диференціювання, розглядаючи інші вхідні дані як константи.

Почнемо з додавання, $z=x+y$. Утримуючи $y$ фіксованим, збільшення $x$ на $1$ збільшує $z$ на $1$, отже, $\partial z/\partial x=1$. Зміна ролей дає $\partial z/\partial y=1$.

Для множення, $z=xy$, швидкість залежить від вхідних даних, які ми фіксуємо. У наведеній нижче таблиці показано, як змінюється $z$, коли ми збільшуємо $x$, утримуючи $y$ на постійному значенні $5$:

$\boldsymbol{x}$	$\boldsymbol{y}$	$\boldsymbol{z=xy}$
$3$	$5$	$15$
$4$	$5$	$20$
$5$	$5$	$25$
$6$	$5$	$30$

Ми бачимо, що кожного разу, коли $x$ збільшується на $1$, $z$ збільшується на $5$. Оскільки $y$ утримується на рівні $5$, швидкість зміни по відношенню до $x$ дорівнює $5$:

$$\frac{\partial z}{\partial x}=y=5$$

Як бачите, швидкість зміни дорівнює постійному значенню $y$. Тут використовується те саме правило кратності констант, яке ми застосували до $z=3x$. Множник у $z=3x$ був $3$. У $z=xy$ множник дорівнює $y$, який ми залишаємо постійним, диференціюючи $x$. Отже, коли ми залишаємо одну змінну постійною, вона все ще бере участь у обчисленні та впливає на те, як результат реагує на зміни в іншій змінній.

Диференціювання відносно $y$ працює так само: ми тримаємо $x$ постійним і застосовуємо правило кратних констант, отримуючи $\partial z/\partial y=x$. Два входи відіграють симетричні ролі, але їхні ефекти залежать від поточних значень $x$ і $y$. На $x=3$ і $y=5$ вихідний сигнал – $15$, а частинні похідні – $5$ і $3$ відповідно.

Тепер ми можемо узагальнити локальні правила похідних для обох операцій:

Операція	$\partial z/\partial x$	$\partial z/\partial y$
$z=x+y$	$1$	$1$
$z=xy$	$y$	$x$

Крім того, зміна будь-якого входу змінює вихід на ту саму величину. Для множення кожна частинна похідна дорівнює іншому входу. Ці правила називаються локальними, оскільки вони описують, як вихідні дані окремої операції реагують на вхідні дані. Пізніше ми з’єднаємо їх, щоб відстежувати зміни за допомогою кількох операцій.

Часткові похідні $5$ і $3$ описують чутливість, а не частину вихідного сигналу $15$. Для однакових невеликих змін лише зміна $x$ має у $5/3$ разів більший ефект, ніж лише зміна $y$. Щоб оцінити ефект зміни обох вхідних даних, нам потрібні як похідні, так і запропоновані зміни вхідних даних.

Для цього ми збираємо частинні похідні у вектор, який називається градієнтом. Позначаємо його символом $\nabla$, тому для функції $z=xy$ при $x=3$ і $y=5$ пишемо $\nabla z=(5,3)$. Цей вектор має й геометричний зміст у площині входів: серед переміщень однакової малої евклідової довжини він указує напрям найбільшого зростання виходу в наближенні першого порядку. Протилежний вектор указує напрям найшвидшого локального спадання.

Графік нижче демонструє ці вказівки для $z=xy$. Ви можете побачити, як фіолетова стрілка веде вгору від $(3,5)$, де вихід $15$, тоді як зелена стрілка веде вниз. Вони відстежують шляхи поверхні, коли ми переміщуємо вхідні дані в напрямку градієнта або протилежному йому. Графік масштабує висоту окремо; градієнт визначає напрямок у вхідній площині.

Reset

∇z = (5, 3): local increase−∇z = (−5, −3): local decrease

Drag to rotate, or focus the graph and use the arrow keys. Height is scaled separately; the gradient describes direction in the input plane.

Коли ми знаємо частинні похідні, ми можемо використовувати наближення Тейлора першого порядку, яке також називається лінійне наближення. Це дозволяє нам оцінити сукупний вплив невеликих вхідних змін на вихід: ми множимо кожну частинну похідну на відповідну вхідну зміну та додаємо результати.

$$\Delta z\approx\frac{\partial z}{\partial x}\Delta x+\frac{\partial z}{\partial y}\Delta y$$

Це скалярний добуток градієнта та вектора вхідних змін. Для нашої функції $z=xy$ на $(3,5)$ це дає:

$$\Delta z\approx5\,\Delta x+3\,\Delta y$$

Наприклад, збільшення обох входів на $0.1$ дає:

$$\Delta z\approx5(0.1)+3(0.1)=0.8$$

Збільшення $x$ на $0.1$ вносить $0.5$ у прогнозовану зміну, тоді як збільшення $y$ на $0.1$ сприяє $0.3$. Кожен внесок є частковою похідною, помноженою на відповідну зміну вхідних даних. Похідні описують чутливість; вибрані зміни визначають, яка частина цієї чутливості входить до прогнозу.

Оцінка функції на нових входах дає фактичну зміну $3.1\times5.1-15=0.81$. Залишок $0.01$ є членом взаємодії $\Delta x\,\Delta y$, який лінійне наближення виключає. Таким чином, терміни $0.5$ і $0.3$ описують внесок у прогнозовану зміну, а не частки вихідного результату $15$. Така ж різниця стосується зворотного поширення: воно обчислює чутливість втрати до кожної ваги. Множення цих похідних на запропоновані зміни ваги оцінює їхній внесок у зміну втрат.

Поєднання правил диференціювання для складнішої функції

У попередньому розділі ми обчислили частинні похідні для додавання та множення. Тепер ми об’єднаємо правила диференціювання у виразі з кількома термінами та ступенями:

$$f(x,y)=xy^2+x^3$$

Ми порівняємо два еквівалентні підходи до обчислення частинних похідних у вибраній точці: спочатку диференціюємо, а потім підставляємо значення, або спочатку замінюємо значення іншого вхідного сигналу, диференціюємо результуючу функцію з одним входом, а потім обчислюємо її похідну. Обидва підходи створюють похідні формули. Побудова графіка функцій з одним входом як зрізів через поверхню покаже, чому кожна частинна похідна також є звичайним дотичним нахилом.

Спочатку диференціюємо, потім підставляємо значення

Ми зберігаємо $x$ і $y$ як символи, знаходячи частинну похідну для кожного входу, розглядаючи інший як константу. Потім ми оцінимо обидва похідні за $(x,y)=(3,2)$.

По-перше, ми диференціюємо відносно $x$, фіксуючи $y$ і диференціюючи кожен термін. Фактор $y^2$ діє як постійний множник $x$:

$$\begin{aligned} \frac{\partial f}{\partial x} &=y^2\frac{\partial}{\partial x}(x) +\frac{\partial}{\partial x}(x^3)\\ &=y^2\cdot1+3x^2\\ &=y^2+3x^2 \end{aligned}$$

Утримання $y$ фіксованим не видаляє його з обчислення: його значення визначає множник $y^2$. Ми диференціюємо $x^3$ за допомогою правила похідної степеневої функції.

Потім ми диференціюємо відносно $y$, змінюючи ролі та залишаючи $x$ фіксованим. Тепер $x$ є постійним множником $y^2$, а весь член $x^3$ є постійним:

$$\begin{aligned} \frac{\partial f}{\partial y} &=x\frac{\partial}{\partial y}(y^2) +\frac{\partial}{\partial y}(x^3)\\ &=x\cdot2y+0\\ &=2xy \end{aligned}$$

Термін $x^3$ дає нульовий внесок, оскільки зміна $y$, утримуючи $x$ фіксованим, не може змінити його значення.

Це дає нам наступні частинні похідні при вибраних вхідних даних:

Введення змінюємо	Введення фіксовано	Часткова похідна в $(3,2)$	Прогнозована зміна випуску
$x$	$y=2$	$2^2+3(3^2)=31$	$\Delta f\approx31\,\Delta x$
$y$	$x=3$	$2(3)(2)=12$	$\Delta f\approx12\,\Delta y$

Спочатку фіксуємо один вхід, потім диференціюємо переріз

Тепер розгляньмо другий підхід: спочатку фіксуємо один вхід, а потім диференціюємо функцію перерізу. Підставляємо значення одного входу у $f(x,y)=xy^2+x^3$ й отримуємо звичайну функцію іншого входу.

Спочатку ми встановлюємо $y=2$ і залишаємо $x$ вільним варіювати:

$$f(x,2)=x(2^2)+x^3=4x+x^3$$

Це частина вихідної функції, а не похідна: ми замінили значення лише для одного вхідного параметра.

Для фрагмента з $y=2$ ми більше не маємо $y$ як змінну у виразі, оскільки заміна $2$ перетворила $y^2$ на постійний множник $4$. Ефект $y$, однак, все ще переноситься через множник $4$. Тепер, коли лише $x$ залишається як змінна, ми беремо звичайну похідну відносно $x$:

$$\frac{d}{dx}(4x+x^3)=4+3x^2 \quad\Longrightarrow\quad 4+3(3^2)=31\quad\text{at }x=3$$

Потім, повертаючись до початкової функції, ми встановлюємо $x=3$ і залишаємо $y$ вільною для змін:

$$f(3,y)=3y^2+3^3=3y^2+27$$

А для фрагмента з $x=3$ ми диференціюємо по відношенню до $y$:

$$\frac{d}{dy}(3y^2+27)=6y \quad\Longrightarrow\quad 6(2)=12\quad\text{at }y=2$$

Обидва зрізи проходять через одну вибрану точку, де $f(3,2)=3(2^2)+3^3=39$. Диференціація кожного зрізу дає ті самі частинні похідні, які ми обчислили вище:

$$\frac{\partial f}{\partial x}(3,2)=31,\qquad \frac{\partial f}{\partial y}(3,2)=12$$

Обидва підходи залишають інший вхід сталим, тому його значення можна підставити до диференціювання або залишити його символом і підставити значення пізніше. Перший підхід дає загальні формули похідних, $y^2+3x^2$ і $2xy$, які можна обчислити для будь-якої пари входів. Другий дає формули для конкретних перерізів: $4+3x^2$, коли $y=2$, та $6y$, коли $x=3$. Наприклад, підстановка $x=3$ у $2xy$ дає $6y$, як і диференціювання функції перерізу $3y^2+27$. Кожен переріз отримуємо окремою підстановкою в початкову функцію.

Ці похідні вимірюють чутливість, а не частки поточного виходу. Як і раніше, ми збираємо частинні похідні у вектор градієнта. У $(3,2)$ це дає $\nabla f=(31,12)$. Запропоновані вхідні зміни утворюють вектор $(\Delta x,\Delta y)$. Їх скалярний добуток оцінює сукупну зміну випуску:

$$\Delta f\approx\nabla f(3,2)\cdot(\Delta x,\Delta y) =31\Delta x+12\Delta y$$

У $(x,y)=(3,2)$ обидві координати визначають точку, де ми вимірюємо нахили. Переміщення в напрямку $x$, утримуючи $y=2$, дає дотичний нахил $31$; рух у напрямку $y$, утримуючи $x=3$, дає нахил $12$. Це два напрямки через одну точку поверхні. Кожна швидкість є частковою похідною початкової функції з двома входами та звичайною похідною її відповідного зрізу з одним входом. Градієнт поєднує ці швидкості в напрямку найкрутішого локального збільшення у вхідній площині.

Наведений нижче віджет демонструє те, що ми обчислили вище: як вихідні дані змінюються вздовж кожного вхідного напрямку, виміряного частинними похідними, і як ці похідні комбінуються в напрямку градієнта. Фіолетові зрізи показують, що кожен вхід змінюється окремо, їхні зелені тангенси показують частинні похідні, а помаранчева стрілка слідує за траєкторією поверхні в напрямку градієнта.

Reset

x

3

y

2

f(x, 2) = 4x + x³

∂f/∂x = 31

f(3, y) = 3y² + 27

∂f/∂y = 12

Починаючи з $(3,2)$, переміщення повзунка $x$ по-різному впливає на два графіки. Зліва $x$ є змінним входом, тому вибрана точка рухається вздовж тієї самої кривої $f(x,2)=4x+x^3$, а $y=2$ залишається фіксованою. Праворуч $x$ — це фіксований вхід, який визначає зріз, тому зміна його з $3$ на $4$ змінює формулу з $f(3,y)=3y^2+27$ на $f(4,y)=4y^2+64$. Іншими словами, переміщення $x$ переміщує точку вздовж лівого зрізу та змінює, який зріз буде показано праворуч. Переміщення $y$ робить навпаки.

Похідні через послідовність пов’язаних операцій

Раніше ми диференціювали два терміни окремо та додавали їх похідні, оскільки вихідний вираз додав ці терміни. Загалом, ми можемо розглядати кожне проміжне обчислення як функцію початкового введення. Те, як їхні результати поєднуються, визначає, як ми поєднуємо їхні похідні.

У наступній таблиці наведено правила додавання, множення та вкладення. Ми будемо використовувати $g(x)$ і $h(x)$ як загальні назви для двох диференційованих функцій $x$:

Правило	Як поєднуються функції	Похідна щодо $x$
Правило суми	$g(x)+h(x)$	$g'(x)+h'(x)$
Правило продукту	$g(x)h(x)$	$g'(x)h(x)+g(x)h'(x)$
Правило ланцюжка	$g(h(x))$	$g'(h(x))h'(x)$

Правило добутку узагальнює правило постійних кратних, яке ми використовували раніше, на випадки, коли обидва фактори змінюються. Множення двох функцій не означає множення їх похідних. Щоб продиференціювати окремі функції, ми можемо використовувати таке правило, як правило похідної степеневої функції, або розбити функції на простіші операції, похідні яких ми вже знаємо. Ланцюгове правило поєднує їх локальні похідні, щоб визначити, як вихідний вхід впливає на кінцевий вихід, роблячи його центральним у зворотному поширенні.

У попередньому розділі ми диференціювали терміни, розглядаючи інші вхідні дані як постійні. Тепер ми розглянемо ці терміни: кожну арифметичну операцію можна розглядати як функцію її вхідних даних.

Давайте спочатку розділимо нашу функцію $f(x,y)=xy^2+x^3$ на окремі операції з іменованими проміжними результатами:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Наприклад, зведення у квадрат відображає $y$ на $u=y^2$, а множення – $x$ і $u$ на $v=xu$. Вихід квадрата стає входом для множення. Коли вихідні дані однієї функції стають вхідними даними іншої, функції складаються — зв’язок, який називається композицією функції, показаний як $g(h(x))$ у таблиці вище. Операція має власні негайні входи; операції підключення роблять її результат також залежним від попередніх вхідних даних.

Розділення відповідає залежностям виразу: $u=y^2$ має бути доступним перед $v=xu$, а $v$ і $w$ мають бути доступними перед $f=v+w$. Оскільки $w=x^3$ не залежить від $u$ або $v$, ми можемо обчислити його до або після цієї гілки. Розбиття не є унікальним: ми можемо виразити зведення в квадрат і куб як множення. Тут ми розглядаємо їх як окремі операції та використовуємо правило похідної степеневої функції для їх локальних похідних.

Тепер ми використаємо ланцюгове правило для обчислення похідних через окремі операції, множачи локальні похідні вздовж кожного шляху та додаючи внески від різних шляхів. Спочатку ми підемо одним шляхом, а потім перевіримо вхід, який досягає виходу двома шляхами.

Ланцюгове правило: один шлях

Ми почнемо з диференціації щодо $y$, утримуючи $x$ фіксованим. Розподіл показує, чому $y$ є корисною відправною точкою: його зміна впливає на $u=y^2$, потім на $v=xu$, тоді як $w=x^3$ залишається постійним. Після цього ми розглянемо $x$, який впливає як на $v$, так і на $w$. Наразі існує лише один шлях від $y$ до кінцевого результату:

$$y\ \longrightarrow\ u=y^2\ \longrightarrow\ v=xu\ \longrightarrow\ f=v+w$$

Щоб побачити різницю між локальною похідною та ланцюговим правилом, зосередьтеся лише на двох вузлах операції: квадраті $u=y^2$ і множенні $v=xu$, з’єднаних $u\to v$.

Якщо розглядати окремо, множення приймає $x$ і $u$ як вхідні дані. Його локальні частинні похідні:

$$\frac{\partial v}{\partial x}=u, \qquad \frac{\partial v}{\partial u}=x$$

Щоб отримати кожну локальну похідну, нам потрібен лише вираз операції та вхідні дані, за якими ми диференціюємо. Для $v=xu$ обробка $x$ як константи дає $\partial v/\partial u=x$, незалежно від того, як було обчислено $u$ або де використовується $v$. Нам не потрібна решта графіка для цього кроку. Квадрат окремо постачає $du/dy=2y$.

Зверніть увагу, як ланцюгове правило включає похідну вузла $u=y^2$, $du/dy=2y$ окремо, навіть якщо вузол $v=xu$ уже використовує значення $u$. Місцева похідна $\partial v/\partial u=x$ лише повідомляє нам, як $v$ реагує на зміни в $u$. Він не включає, як $u$ змінюється на $y$. Ця ставка дорівнює $du/dy=2y$, тому нам потрібні обидва фактори:

$$\frac{\partial v}{\partial y} =\underbrace{\frac{\partial v}{\partial u}}_{\text{how v responds to u}} \cdot\underbrace{\frac{du}{dy}}_{\text{how u responds to y}} =x\cdot2y$$

Якщо $x$ виправлено, множення є зовнішньою функцією, а зведення у квадрат — внутрішньою. Зовнішня похідна сама по собі не може сказати нам, як змінюється внутрішня функція: множення приймає значення $u$, не знаючи, чи воно надійшло з $y^2$, $2y$ чи іншого обчислення. У $y=2$ і $y^2$, і $2y$ виробляють $u=4$, але їх похідними є $4$ і $2$ відповідно. Тому те саме значення не означає однакову реакцію на зміну в $y$. Ця відмінність застосовується щоразу, коли ми диференціюємо композицію.

Якщо ми замінимо $u=y^2$ на $v=xu$, повний вираз $v=xy^2$ містить цю внутрішню залежність. Диференціація безпосередньо дає $2xy$, враховуючи обидві ставки. На графіку чітко показано ці два фактори.

У таблиці нижче наведено лише ефект зміни $y$, де $x$ залишається виправленим. Він зосереджений на двох операціях $u=y^2$ і $v=xu$, зупиняючись на $v$ для обчислення $\partial v/\partial y$:

Крок	Символічна форма
Визначити операції	$u=y^2$, потім $v=xu$
Виведіть локальні похідні формул	$du/dy=2y$, $\partial v/\partial u=x$
Об’єднайте формули за допомогою ланцюжкового правила	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=x\cdot2y$

Зв’язки мають значення, коли ми комбінуємо локальні похідні: шлях $y\to u\to v$ каже нам помножити $\partial v/\partial u$ на $du/dy$, щоб знайти $\partial v/\partial y$. Операція постачає локальне правило; графік показує, як зв’язати його з іншими правилами.

Тепер перейдіть до останнього додавання. Оригінальна функція приймає $x$ і $y$, але кожна операція має власні входи. Для останнього додавання $f=v+w$ ці вхідні дані: $v$ і $w$. Його локальна похідна $\partial f/\partial v$ запитує, як змінюється вихід додавання, коли $v$ змінюється, а $w$ залишається фіксованим. Це дорівнює $1$, оскільки додавання невеликої кількості до $v$ додає ту саму кількість до $f$. Потім ланцюгове правило з’єднує ці локальні відповіді з початковим введенням $y$.

У наведеній нижче таблиці наведено локальні похідні уздовж повного шляху:

Операція	Місцева похідна
Згладьте $y$, щоб отримати $u$	$du/dy=2y$
Помножте $u$ на фіксоване значення $x$, щоб отримати $v$	$\partial v/\partial u=x$
Додайте фіксоване значення $w$, щоб отримати $f$	$\partial f/\partial v=1$

Щоб отримати похідну остаточного результату щодо $y$, , тепер ми можемо застосувати ланцюгове правило, помноживши локальні похідні на $y\rightarrow u\rightarrow v\rightarrow f$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Це відповідає формулі, яку ми отримали шляхом прямого диференціювання $xy^2+x^3$. Тут $\partial f/\partial y$ дорівнює $\partial v/\partial y$, оскільки остання операція множить швидкість на $1$.

Віджет нижче відображає графік цих пов’язаних обчислень. Починається з $x$ і $y$, входів, від яких залежить функція. Вирази всередині вузлів, наприклад $u=y^2$ і $v=xu$, визначають операції. Суцільні стрілки вказують від результату операції до операції, яка його використовує. Таким чином, $u\to v$ означає, що $v=xu$ використовує результат $u=y^2$, роблячи їхню композицію видимою. Множення використовує $u$, а не його похідну $du/dy$; мітки похідних і пунктирні стрілки до поля ланцюгового правила показують, як ми диференціюємо обчислення. Дотримуйтесь помаранчевого шляху та помножте локальні похідні, щоб отримати $2y\cdot x\cdot1=2xy$.

Scroll the graph sideways to see the chain-rule box.

Коли ми тепер беремо формулу похідної $2xy$ і замінюємо $x=3$ і $y=2$, ми отримуємо $2(3)(2)=12$, що відповідає частковій похідній, яку ми обчислили раніше. Ми можемо обчислити цю формулу на будь-якій вхідній парі без попереднього обчислення значень проміжної функції.

У $x=3$ і $y=2$ невелика зміна $h$ у $y$ створює приблизно $4h$ зміну в $u$. Шкали множення, які змінюються на $3$, даючи приблизно $12h$ зміну $v$. Додавання незмінного $w$ залишає ці зміни недоторканими.

Кілька шляхів: додавання внесків у похідну

Ми простежили, як $y$ впливає на вихід через один шлях. Давайте тепер знайдемо частинну похідну $f(x,y)=xy^2+x^3$ відносно $x$, залишаючи $y$ фіксованим. Ми використовуємо ті самі проміжні результати:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Значення $u=y^2$ залишається постійним, але і $v=xu$, і $w=x^3$ змінюються на $x$. Це дає нам два шляхи від $x$ до кінцевого результату:

$$x\longrightarrow v=xu\longrightarrow f=v+w \qquad\text{and}\qquad x\longrightarrow w=x^3\longrightarrow f=v+w$$

Ми вже розрахували $\partial f/\partial x=y^2+3x^2$ шляхом диференціювання $xy^2+x^3$ відносно $x$, утримуючи $y$ постійним. Правило ланцюга дає ту саму відповідь, використовуючи локальні похідні вздовж обох шляхів:

Операція	Місцева похідна
Помножте $x$ на фіксоване значення $u$, щоб отримати $v$	$\partial v/\partial x=u=y^2$
Куб $x$, щоб отримати $w$	$dw/dx=3x^2$
Додайте $v$ і $w$, щоб отримати $f$, враховуючи ефект $v$	$\partial f/\partial v=1$
Додайте $v$ і $w$, щоб отримати $f$, враховуючи ефект $w$	$\partial f/\partial w=1$

Кожна локальна похідна додавання зберігає свій інший вхід фіксованим. Both inputs change when $x$ changes, so we need both contributions.

Тепер ми застосовуємо ланцюгове правило багатьох змінних: множимо локальні похідні вздовж кожного шляху, а потім додаємо два внески, щоб отримати похідну кінцевого результату щодо $x$:

$$\frac{\partial f}{\partial x} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial x} +\frac{\partial f}{\partial w}\cdot\frac{dw}{dx} =1\cdot y^2+1\cdot3x^2 =y^2+3x^2$$

Діаграма нижче показує два шляхи від $x$ до кінцевого результату: $x\to v\to f$ і $x\to w\to f$. Обидва відстежують вплив зміни $x$, коли $y$ залишається сталим. Вузли $y$ та $u$ сірі, бо ця гілка не змінюється; вона все одно надає значення $u=y^2$ для множення. Помаранчевий шлях дає внесок $1\cdot y^2$, а фіолетовий — $1\cdot3x^2$. Блоки активних операцій показують їхні локальні похідні. Блок угорі перемножує похідні вздовж кожного шляху, а потім додає внески, отримуючи $y^2+3x^2$.

Scroll the graph sideways to follow the paths.

Тепер підставимо $x=3$ і $y=2$ у формулу похідної $y^2+3x^2$: отримуємо $2^2+3(3^2)=4+27=31$. Це збігається з частинною похідною, яку ми обчислили раніше, хоча проміжні значення функції ми спочатку не обчислювали.

Обчислення похідних: символьне й автоматичне диференціювання

Наведені вище приклади поєднують локальні правила диференціювання, щоб знайти похідну складнішої функції. Цей поділ можна продовжити: навіть піднесення до квадрата й куба можна побудувати з множення, тож їхні похідні можуть випливати з правила множення.

Похідна квадрата лише з множення

Припустімо, наш рушій підтримує множення, але не має операції піднесення до степеня. Ми все одно можемо обчислити $s=x^2$ як $s=x\cdot x$. Для множення $s=ab$ локальні похідні такі:

$$\frac{\partial s}{\partial a}=b,\qquad \frac{\partial s}{\partial b}=a.$$

Тут обидві вхідні позиції посилаються на ту саму змінну: $a=x$ і $b=x$. Зміна $x$ впливає на результат через обидві позиції, тому ми додаємо їхні внески:

$$\frac{ds}{dx} =\frac{\partial s}{\partial a}\frac{da}{dx} +\frac{\partial s}{\partial b}\frac{db}{dx} =x\cdot1+x\cdot1 =2x.$$

Похідна квадрата випливає з множення та ланцюгового правила; окреме правило для квадрата нам не знадобилося. У зворотному проході починаємо з градієнта $s$, рівного $1$. Кожна вхідна позиція додає значення іншого операнда до градієнта $x$. При $x=3$ ці два внески дають $3+3=6$. Хоча вузол $x$ лише один, потрібно врахувати обидва його використання.

Те саме працює для куба. Запишемо $t=x\cdot x$, а потім $c=t\cdot x$. Поєднуючи похідні, отримуємо:

$$\frac{dc}{dx} =x\frac{dt}{dx}+t\frac{dx}{dx} =x(x+x)+x^2 =3x^2.$$

Отже, рушій може диференціювати степені з додатними цілими показниками, записані як послідовні множення, без реалізації правила похідної степеневої функції. Інші функції потребують відповідних додаткових базових операцій: наприклад, лише множенням не можна виразити $\sin(x)$ або довільні дробові степені. Загальний принцип — задати правила диференціювання базових операцій, а потім поєднувати ці правила для диференціювання побудованих із них функцій.

Ті самі правила можуть будувати вирази або обчислювати числа

У прикладі з квадратом ми залишили $x$ символом, побудували $x\cdot1+x\cdot1$ і спростили вираз до $2x$. Таке створення виразів для похідних називається символьним диференціюванням. Програма може автоматично будувати ці вирази, використовуючи ті самі локальні правила й залежності.

Micrograd застосовує ці правила до числових значень. При $x=3$ початкове множення дає $s=9$, а його зворотне правило накопичує $3+3=6$ у градієнті $x$. Це автоматичне диференціювання: обчислення математично еквівалентне підстановці $x=3$ у $2x$, хоча сама символьна формула не будується. Зворотне поширення використовує автоматичне диференціювання у зворотному режимі для обчислення градієнтів втрат, потрібних для навчання.

Обидва методи поєднують ті самі правила диференціального числення. У цьому порівнянні відрізняється те, чи будуємо ми вирази для похідних, чи виконуємо обчислення похідних над числами:

Метод	Із чим працює	Що дає
Символьне диференціювання	Символьні вирази, зокрема іменовані проміжні вирази	Формули похідних, які можна обчислити для вибраних вхідних значень
Автоматичне диференціювання	Операції програми та їхні значення для вибраних входів	Числові значення похідних, отримані поєднанням локальних похідних

Від формул похідних до виконуваних правил

У попередньому одношляховому символічному графі ми написали $du/dy=2y$ поруч із операцією $u=y^2$. Ця формула також говорить нам, як обчислити похідну за допомогою арифметики: візьміть вхідне значення та помножте його на $2$. У $y=2$ результатом є $4$. Це числова локальна похідна: локальна похідна, обчислена за конкретними вхідними значеннями.

Autodiff не виводить правила похідних базових операцій із самих значень і не відкриває їх символьно під час виконання. Розробник рушія задає правило для кожної базової операції, перетворюючи відому формулу похідної на код. Якщо вибрати піднесення до квадрата як базову операцію, $2y$ стає 2 * input_value. Формула пояснює правило математично, а код виконує його над числами. Для входу 2 отримуємо 4. Якщо ж реалізувати квадрат як y * y, два внески від множення дадуть той самий результат: 2 + 2 = 4.

Рушій використовує граф і ланцюгове правило для диференціювання комбінацій цих операцій. Кожне локальне правило реалізується один раз і повторно використовується щоразу, коли з’являється відповідна операція:

Робота програми	Відоме правило локальної похідної	Числовий розрахунок
u = y ** 2	$du/dy=2y$	2 * y.data
v = x * u	$\partial v/\partial x=u$, $\partial v/\partial u=x$	u.data, x.data
w = x ** 3	$dw/dx=3x^2$	3 * x.data ** 2
f = v + w	$\partial f/\partial v=1$, $\partial f/\partial w=1$	1, 1

Тут .data містить числове значення вузла. Похідну множення щодо $u$ отримують шляхом читання значення іншого операнда, $x$. Двигуну не потрібно знати, як цей операнд був обчислений, щоб застосувати це локальне правило.

Механізм також записує, які вхідні дані дали кожен результат, зберігаючи залежності, показані на нашому графіку. Звичайна арифметика обчислює значення; autodiff додає відстеження залежностей і похідні правила. Він також може стежити за операціями, що виконуються всередині циклів і умовних розгалужень, без необхідності переписувати весь обчислення як одну формулу.

Для графа в нашому прикладі ми вибираємо окрему базову операцію піднесення до степеня, тож кожне піднесення до квадрата чи куба залишається однією операцією. Їх можна реалізувати як y.pow(2) і x.pow(3). Це вибір реалізації: послідовне множення також підходить для цих степенів. Метод pow(exponent) застосовує загальне правило похідної степеневої функції:

$$\frac{d}{dy}(y^n)=ny^{n-1}$$

Для цілих додатних чисел, які використовуються тут, його розрахунок:

Тут this є вхідним вузлом. Операція обчислює його вихідне значення та записує зв’язок із цим входом разом із його числовою локальною похідною. Зворотний перехід використовуватиме цю збережену похідну для поширення внеску градієнта на вхід.

Виклик y.pow(2) передає показник $2$, тому локальна похідна дорівнює $2y^{2-1}=2y$. Виклик x.pow(3) дає $3x^{3-1}=3x^2$. Рушій отримує показник з аргументу операції, а програміст задає загальне правило диференціювання. Рушій не відкриває це правило під час виконання. Спеціалізований метод square() може використовувати те саме обчислення з показником, зафіксованим на $2$.

Граф містить зв’язки; реалізовані правила забезпечують локальні похідні значення. Потім ланцюгове правило вказує рушію, як їх поєднати.

Тепер ми можемо переглянути таблицю з символічного прикладу, знову дотримуючись лише $y\to u\to v$ із фіксованим $x$, щоб обчислити $\partial v/\partial y$. Autodiff виконує ті самі операції з вибраними входами, тому він також обчислює їхні числові вихідні значення. Йому все ще потрібні локальні похідні, але він оцінює правила, які вже реалізовані для кожної операції, а не отримує нові формули під час виконання:

Крок	На $x=3$, $y=2$, з $x$ утримується фіксованим
Використовуйте ті самі операції	$u=y^2$, потім $v=xu$
Розрахувати значення операції	$u=2^2=4$, потім $v=3\cdot4=12$
Оцініть правила локальних похідних	$du/dy=2y=4$, $\partial v/\partial u=x=3$
Об’єднайте числові похідні за ланцюговим правилом	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=3\cdot4=12$

Продовжуючи останнє додавання, ви отримаєте $\partial f/\partial y=1\cdot12=12$. У цій таблиці для пояснення виділено вплив одного введення. Наш символічний розрахунок поєднав $1\cdot x\cdot2y$ у формулу $2xy$. Autodiff оцінює окремі правила на поточних входах і натомість комбінує $1\cdot3\cdot4$. Він використовує відомі правила похідної як числові інструкції, не створюючи символічну формулу похідної для всієї функції.

У наведеному нижче віджеті використовується той самий графік, що й у прикладі з одним шляхом. Перемикайтеся між Символьне диференціювання і Автоматичне диференціювання, щоб порівняти поєднання похідних виразів із поєднанням їхніх числових значень у $x=3$ і $y=2$.

SymbolicAutodiff

Scroll the graph sideways to see the chain-rule box.

У символьному режимі суцільні стрілки показують, як складаються функції: кожен проміжний результат стає входом для іншої операції. У режимі автоматичного диференціювання ті самі стрілки також описують прямий потік числових значень: зведення у квадрат дає $u=4$, яке множення використовує з $x=3$ для отримання $v=12$. Залежності залишаються незмінними; тепер ми оцінюємо операції на конкретних входах. Цей віджет порівняння не анімує цей потік. Наведена нижче покрокова інструкція покаже ці прямі значення та зворотне поширення похідних внесків.

Обчислення операційних значень відрізняється від обчислення локальних похідних. Кожне правило похідної використовує будь-які значення, які йому потрібні: на цьому шляху правило квадрата потребує $y$, а похідна множення щодо $u$ потребує $x$. Рядки в таблиці числових обчислень описують різні завдання, а не окремі проходи: реалізація може оцінювати локальні похідні правила під час прямого або зворотного проходу. У цьому покроковому керівництві ми оцінюємо та зберігаємо їх під час проходу вперед.

Віджет порівняння відображає оцінені похідні; наступні кроки також відображатимуть передні значення. Вихід квадрата $u=y^2$ і його локальна похідна $du/dy=2y$ дорівнюють $4$ у $y=2$, але це різні величини: у $y=3$ вони будуть $9$ і $6$.

Обчислення формули комбінованої похідної дає той самий результат, що й оцінка локальних похідних, а потім їх об’єднання за допомогою ланцюгового правила. У $(3,2)$ обчислення $2xy$ дає $12$, як і множення $4\times3\times1$. Операції та їхні залежності залишаються незмінними; змінюється те, чи ми комбінуємо вирази для похідних чи числові значення.

Важливо уникати розширеної формули, оскільки багаторазова заміна проміжних виразів може зробити похідну формулу набагато більшою за вихідний вираз — проблема називається expression swell. Розгорнута формула може містити багато копій одного підвиразу, займаючи більше місця та повторюючи роботу, якщо кожна копія оцінюється окремо. Зберігання іменованих проміжних результатів дозволяє повторно використовувати ці обчислення. Символьна диференціація також може зберегти та поділитися цими виразами, тому збільшення виразу не є неминучим обмеженням методу.

Прямий і зворотний режими

Віджет показує, які локальні похідні ми об’єднуємо, але не порядок, у якому ми їх поширюємо. Його пунктирні з’єднання збирають фактори в добуток. Прямий режим і зворотний режим autodiff можуть використовувати той самий обчислювальний граф, і обидва оцінюють функцію від входів до виходу. Вони відрізняються тим, як поширюються похідні: прямий режим переносить їх від входів до виходів, тоді як зворотний режим переносить похідні внески від виходу назад до входів.

Починаючи з одного вибраного входу, прямий режим може обчислити, як усі виходи реагують на цей вхід за один проход похідної. Починаючи з одного вибраного виходу, реверсивний режим може обчислити, як цей вихід реагує на всі вхідні дані за один зворотний прохід. Ми зосередимося на зворотному режимі, підході, який використовує зворотне поширення. Повний зворотний перехід обчислить як $\partial f/\partial x$, так і $\partial f/\partial y$, накопичуючи внески від обох шляхів до $x$.

Прохід похідної в прямому режимі поширює похідні разом із значеннями функції. Натомість прямий перехід нашого обчислення у зворотному режимі оцінює функцію та записує те, що потрібно для наступного зворотного проходу; похідні кінцевого результату накопичуються під час цього зворотного проходу. Ми виконаємо цей розрахунок у два проходи:

• прямий перехід оцінює функцію. У цьому покроковому керівництві кожна операція обчислює своє значення та зберігає свої вхідні з’єднання та численні локальні похідні.
• зворотний перехід починається з похідної виходу відносно самого себе, $\partial f/\partial f=1$, і використовує збережені локальні похідні для поширення числових вкладів у зворотному напрямку за допомогою ланцюгового правила. Внески на той самий вхід накопичуються.

У таблиці нижче показано, що наша передача обчислює та зберігає в $x=3$ і $y=2$. Тип операції визначає, яке похідне правило виконується; збережені ребра поєднують свої входи з оціненими локальними похідними:

Розрахунок	Вихідне значення на $(x,y)=(3,2)$	Збережені вхідні з’єднання та локальні похідні
$u=y^2$	$4$	Вхід $y$ із $du/dy=4$
$v=xu$	$12$	Вхід $x$, з $\partial v/\partial x=4$; вхід $u$, з $\partial v/\partial u=3$
$w=x^3$	$27$	Вхід $x$ із $dw/dx=27$
$f=v+w$	$39$	Вхід $v$, з $\partial f/\partial v=1$; вхід $w$, з $\partial f/\partial w=1$

Вихідні значення та локальні похідні мають різні ролі. Наприклад, множення використовує $u=4$ для обчислення результату $v=12$, і те саме значення операнда постачає його локальну похідну щодо $x$. Назад поєднує збережені локальні похідні з накопиченою чутливістю до кінцевого результату.

Модель — це програма, тому autodiff має доступ до операцій, які створили її результат; Скінченна таблиця спостережень входу-виходу сама по собі не може надати цю інформацію або визначити точні похідні. Для фіксованого навчального пакета розрахунок прогнозування та втрат моделі має багато параметрів і одне значення втрат. Зворотний режим повторно використовує проміжні результати для обчислення всіх похідних параметрів за один зворотний прохід замість повторного повного обчислення для кожного параметра.

Ми встановили, що записує механізм і як він використовує локальні похідні правила. Далі ми простежимо те саме обчислення в інтерактивному проході вперед і назад, спостерігаючи за тим, як записуються значення та накопичуються похідні внески.

Автоматичне диференціювання у зворотному режимі крок за кроком

Давайте тепер простежимо за повним обчисленням автовідмінності у зворотному режимі, використовуючи ту саму функцію $f(x,y)=xy^2+x^3$ у $(x,y)=(3,2)$. Ми оцінимо чотири операції з таблиці вище, а потім прослідкуємо за їхніми похідними у зворотному напрямку, щоб отримати градієнт $(31,12)$:

Прямий прохід дає $u=4$, $v=12$, $w=27$ і остаточний вихід $f=39$. Кожен результат зберігає зв’язки з вхідними даними, які його створили, а також інформацію, необхідну для локального правила похідної. Зворотний перехід обчислює, як кінцевий результат реагує на кожен вузол; це не змінює ці передові значення.

Значення прямого проходу також називаються первинними. Похідні, накопичені під час зворотного проходу, називаються приєднаними: кожна з них вимірює, як кінцевий результат змінюється відносно певного вхідного або проміжного значення. У нашому віджеті вони позначені як value і grad відповідно. Приєднаний є похідною від кінцевого результату, відмінною від локальної похідної операції.

Перед зворотним проходом кожен .grad починається з нуля. Ми насаджуємо f.grad = 1, тому що $\partial f/\partial f=1$.

.grad кожного скалярного вузла зберігає похідну остаточного результату щодо цього вузла. Разом x.grad і y.grad утворюють вектор градієнта $(31,12)$. Покрокове керівництво зберігає численні локальні похідні для з’єднань і використовує їх під час зворотного зв’язку: parent.grad += node.grad * local_derivative.

Попередній віджет порівняння дотримувався лише шляху від $y$ до обчислення $\partial f/\partial y$. Наведений нижче віджет обробляє весь графік за один зворотний прохід, обчислюючи похідні щодо $x$ і $y$. Ці кроки відбуваються послідовно в межах одного проходу. У кожному полі окремо показано вихідне значення, чисельні локальні похідні та накопичений градієнт.

Вхідні дані фіксуються на $x=3$ і $y=2$, що еквівалентно створенню x = Value(3) і y = Value(2). Виберіть Обчислити прямий прохід, щоб побачити результати чотирьох операцій. Потім виберіть Задати градієнт виходу і виконайте зворотні кроки додавання, кубування, множення та зведення в квадрат. Кожен крок назад виділяє операцію та її вхідні дані, а потім з’єднує символічний вираз ланцюгового правила з його числовою заміною та відповідним оновленням .grad під графіком. Подивіться, як два внески накопичуються на $x$.

The same operations, forward and backwardf(x, y) = xy² + x³

Evaluate forwardRestart trace

Stage 0 of 6. Start with x = 3 and y = 2, then evaluate u = y², v = xu, w = x³, and f = v + w.

У наведеній нижче таблиці наведено зворотні кроки, які ви можете виконувати у віджеті. Форвардні значення залишаються незмінними; змінюються лише накопичені градієнти.

Крок назад	Оновлення градієнта
Насіння	$\mathtt{f.grad}=1$
Доповнення	$\mathtt{v.grad}=\mathtt{f.grad}\cdot1=1$, $\mathtt{w.grad}=\mathtt{f.grad}\cdot1=1$
Куб	$\mathtt{x.grad}=\mathtt{w.grad}\cdot3x^2=1\cdot27=27$
Множення, внесок у $x$	Додайте $\mathtt{v.grad}\cdot u=1\cdot4=4$, даючи $\mathtt{x.grad}=27+4=31$
Множення, внесок у $u$	$\mathtt{u.grad}=\mathtt{v.grad}\cdot x=1\cdot3=3$
Квадрат	$\mathtt{y.grad}=\mathtt{u.grad}\cdot2y=3\cdot4=12$

Два шляхи від $x$ вносять свій внесок окремо, а $y$ отримує свій внесок через $u$ і $v$:

$$\frac{\partial f}{\partial x}=\underbrace{1\times27}_{\text{through }w}+\underbrace{1\times4}_{\text{through }v}=31, \qquad \frac{\partial f}{\partial y}=1\times3\times4=12$$

Цей порядок обробляє гілку куба перед гілкою множення. Інші дійсні зворотні порядки дають той самий результат, за умови, що вузол отримує всі внески вниз за течією, перш ніж він передає свою накопичену похідну на свої входи.

Віджет показує повний прохід назад. Давайте тепер підключимо його кроки множення $v=xu$ і квадрат $u=y^2$ до коду. Зворотний крок множення множить дві різні похідні:

$$\underbrace{\frac{\partial f}{\partial v}}_{\text{stored in v.grad}} \times \underbrace{\frac{\partial v}{\partial x}}_{\text{u.data, the other operand's value}} =1\times4$$

Перший фактор говорить нам, як кінцевий результат $f$ відповідає $v$. Другий показує нам, як $v$ реагує на $x$, утримуючи $u$ фіксованим. Їх множення є ланцюговим правилом: воно дає внесок цього шляху в похідну відносно $x$.

Покрокове керівництво зберігає численні локальні похідні під час проходу вперед. Інша реалізація може зберігати значення операндів і оцінювати ті самі локальні правила під час зворотного руху. У цій формі метод множення __mul__(self, other) створює вузол результату під назвою out, а його зворотне правило можна записати так:

Для v = x * u out — це $v$, self — $x$, а other — $u$. Написані з цими назвами оновлення множення супроводжуються оновленням квадрата:

Передній перехід постачає $u=4$, $x=3$ і $y=2$. Множення використовує значення іншого операнда для кожної локальної похідної. Квадрат використовує $2y=4$ і множить його на накопичений u.grad = 3.

Код	Значення
out.grad	Похідна кінцевого результату щодо результату цієї операції
other.data	Значення іншого операнда, яке дорівнює локальній похідній для множення
+=	Додайте внесок цього шляху до накопиченої похідної

other.data зберігає значення, а не похідну. Правило множення говорить, що це значення дорівнює потрібній локальній похідній. Для додавання локальна похідна дорівнює $1$, тож відповідне оновлення — self.grad += out.grad * 1. Для степеня обчислюємо правило похідної степеневої функції при заданому вході: локальна похідна куба — $3x^2$, а квадрата — $2y$.

У символьному віджеті ми об’єднали локальні вирази для похідних вздовж шляху від $y$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Код має ті самі з’єднання, але поєднує числа. Додавання дає v.grad = 1; множення дає u.grad = 1 × 3 = 3; квадрат дає y.grad = 3 × 4 = 12. Таким чином, u.grad вже містить перші два фактори символічного вираження. Autodiff отримує ту саму похідну без побудови комбінованої формули $2xy$.

Ці кроки обчислюють похідні на $(3,2)$; вони не оновлюють входи, щоб мінімізувати функцію. Клас Value автоматизує зворотні кроки в одному виклику f.backward().

Від обчислень до рушія

Похідна вимірює місцеву чутливість. Часткові похідні виділяють вплив кожного вхідного сигналу, а градієнт збирає ці вимірювання у вектор. Зворотне розповсюдження обчислює їх, працюючи у зворотному напрямку через записані операції: множте похідні вздовж кожного шляху та додайте внески там, де шляхи стикаються.

Щоб побачити ці ідеї, реалізовані в Python, перейдіть Покрокове керівництво до Мікрограду Андрія Карпати. Локальні похідні правила, накопичення градієнта та зворотний обхід, які ми досліджували тут, забезпечують основу для розуміння його реалізації.

Щоб отримати глибше математичне уявлення, перегляньте цей виступ про автоматичне диференціювання та лінійні відображення. Він поєднує обчислення з лінійною алгеброю, показуючи, як похідні діють як лінійні відображення, як матриці Якобі представляють їх і як ланцюгове правило поєднує їх — математичні основи автоматичного диференціювання.