Процесс обучения нейронной сети включает поиск весов и смещений, которые делают ее прогнозы более точными. Мы сравниваем эти прогнозы с ожидаемыми ответами, используя функцию потерь — формулу, которая превращает их несоответствие в число, где более низкое значение указывает на лучшее совпадение. Чтобы выбрать обновление, нам нужно знать, как изменение каждого параметра повлияет на эти потери. Мы могли случайным образом изменить параметр, снова рассчитать потери и сравнить результаты. Но проверка миллионов параметров по одному таким способом потребует миллионов дополнительных вычислений.

Для управления этим поиском мы используем градиент, который собирает частные производные потерь по параметрам. Эти производные позволяют оценить, как небольшие изменения параметров повлияют на потери без их пересчета. Для каждого параметра производная описывает, насколько чувствительны потери к этому параметру, в то время как остальные остаются фиксированными.

Математически это задача оптимизации, а именно минимизация: мы ищем значения параметров модели, которые делают потери как можно меньшими. Хотя методы нулевого порядка, такие как MeZO, могут направлять обновления, случайным образом изменяя множество параметров одновременно и оценивая потери, стандартный подход заключается в использовании производной информации для управления поиском. Сегодня нейронные сети преимущественно обучаются по алгоритму с использованием градиентов, вычисляемых с помощью алгоритма обратного распространения ошибки — подхода, который мы здесь разработаем.

Чтобы понять обратное распространение ошибки, мы будем опираться на несколько идей: локальные производные, цепное правило и графы вычислений. Попутно мы рассмотрим три метода вычисления производных: числовое дифференцирование, символьное дифференцирование и автоматическое дифференцирование. Мы начнем с функций, достаточно маленьких, чтобы их можно было дифференцировать вручную, и сравнить их точные производные с оценками в конечных разностях, а затем перейдем к функциям с несколькими входами. Мы будем использовать частные производные, чтобы изолировать эффект каждого входа, сохраняя при этом остальные фиксированными, и собрать эти показатели в градиент.

Далее мы проследим изменения через связанные операции: цепное правило перемножает производные вдоль пути и складывает вклады, когда один вход влияет на выход несколькими путями. Главная идея состоит в том, что знание производных небольшого набора базовых операций позволяет дифференцировать построенные из них функции. Даже производную квадрата можно получить из одного лишь умножения. Мы свяжем эту идею с символьным дифференцированием, а затем проследим прямой и обратный проходы, чтобы увидеть, как автоматическое дифференцирование в обратном режиме повторно использует промежуточные результаты для вычисления градиентов по многим входам. На этом основано обратное распространение.

В этой статье закладываются теоретические основы для понимания Micrograd Андрея Карпати, небольшого движка Autograd с API, подобным PyTorch. В своем видеоразборе он создает движок и использует его для обучения нейронной сети. Те же принципы лежат в основе torch.autograd.backward PyTorch, который вычисляет градиенты с использованием цепного правила.

От скорости изменения к производным

Начнем с простой линейной зависимости $z=3x$ и найдем ее производную, исследуя наклон ее графика. Производная говорит нам, как быстро изменяется выходной сигнал функции при изменении ее входных данных при определенном входном значении. Здесь любое увеличение $x$ приводит к увеличению $z$ в три раза. Используя $\Delta$ для обозначения изменения, мы можем написать:

$$\Delta z=3\,\Delta x.$$

Когда мы рисуем $x$ горизонтально, а $z$ вертикально, эта постоянная скорость изменения дает прямую линию. Для прямой линии производная равна ее наклону, поэтому мы можем найти ее, рассчитав отношение изменения выпуска к изменению входных данных, которое часто называют «превышением превышения»:

$$\text{slope}=\frac{\Delta z}{\Delta x}=\frac{\text{rise}}{\text{run}}$$

На графике ниже мы можем видеть, как синяя линия $z=3x$ поднимается на $3$ на участке $1$, давая наклон $3/1=3$.

Пунктирная серая линия $z=0.5x$ и пунктирная фиолетовая линия $z=x$ поднимаются только на $0.5$ и $1$ для того же прогона $1$. При тех же масштабах осей больший абсолютный наклон означает более крутую линию. Все три наклона положительны, поэтому при движении вправо линии поднимаются; отрицательный наклон приведет к падению линии.

Мы обнаружили, что синяя линия имеет наклон $3$, поэтому производная от $z=3x$ равна $3$. Мы пишем его как $\frac{dz}{dx}$ и читаем как «производное от $z$ относительно $x$». Фраза «по отношению к $x$» определяет входные данные, которые мы изменяем: производная измеряет, насколько быстро изменяется выходной сигнал $z$ при изменении $x$. Наша функция имеет только один вход, $x$, поэтому других входов, которые можно было бы удерживать фиксированными, нет. Для нашей синей линии мы получаем:

$$\frac{dz}{dx}=3$$

Символы $d$ обозначают производную, тогда как $\Delta z/\Delta x$ описывает среднюю скорость изменения за конечный интервал. Для $z=3x$ скорость изменения постоянна и не зависит от $x$, поэтому производная равна $3$, где бы мы ее ни вычисляли.

Мы использовали наклон линии, чтобы найти производную. Мы также можем вычислить его, используя правила дифференцирования. Поскольку $z=3x$, мы можем заменить $z$ на его выражение и написать:

$$\frac{dz}{dx}=\frac{d}{dx}(3x)$$

Здесь дифференциальный оператор $\frac{d}{dx}$ означает «дифференцировать следующее выражение относительно $x$». В $\frac{d}{dx}(3x)$ это выражение $3x$ рассматривается как функция $x$. Это обозначение особенно полезно, когда мы рассматриваем отдельные термины в более широком выражении как функции и дифференцируем их отдельно.

Используя правило постоянного множителя, мы сохраняем множитель $3$ и дифференцируем $x$. Производная от $x$ по отношению к $x$ равна $1$, поскольку увеличение входа на любую величину увеличивает выход $x$ точно на такую же величину:

$$\frac{d}{dx}(3x)=3\frac{d}{dx}(x)=3\times1=3.$$

Правила дифференциации дают нам систематический способ расчета ставок, которые труднее увидеть в более сложных выражениях. Мы добавим больше этих правил, когда соединим несколько операций.

Производная, зависящая от входного значения

Давайте теперь посмотрим на функцию, скорость изменения которой зависит от ее входных данных. Это проясняет локальную природу производной: она описывает, как выходные данные изменяются вблизи определенного входного значения, где мы их оцениваем. Чтобы продемонстрировать это, мы будем использовать функцию с одним входом $x$ с именем $L$:

$$L(x)=x^2+3.$$

Мы можем записать эту производную как $dL/dx$, используя то же обозначение, которое мы ввели выше, называемое , обозначение Лейбница. Другой способ записи — $L'(x)$, который читается как «L простое число x», который называется Lagrange notation или простое обозначение. Оба означают производную от $L$ по отношению к $x$.

Чтобы найти производную от $L(x)=x^2+3$, мы продифференцируем два его члена отдельно, а затем сложим результаты. При этом используются три правила:

Правило	Как мы это используем
Правило власти	Дифференцировать $x^2$
Постоянное правило	Дифференцируем постоянный член $3$
Правило сумм	Сложите производные двух членов

Давайте сначала применим правило производной степенной функции к $x^2$: умножьте на показатель степени, затем уменьшите показатель степени на единицу. В общем,

$$\frac{d}{dx}(x^n)=nx^{n-1}$$

Для $x^2$ это дает $2x$. Затем мы применяем правило производной константы к $3$. Его производная по $x$ равна нулю, поскольку она не меняется при изменении $x$. И, наконец, мы используем правило суммы для сложения этих производных. Итак, для нашей функции производная равна:

$$L'(x)=2x+0=2x$$

Чтобы увидеть, что говорит нам эта формула, давайте рассчитаем выход функции и ее производную для трех значений $x$:

Ввод $x$	Выход $L(x)=x^2+3$	Производная $L'(x)=2x$
$-5$	$(-5)^2+3=28$	$2\times(-5)=-10$
$0$	$0^2+3=3$	$2\times0=0$
$5$	$5^2+3=28$	$2\times5=10$

В отличие от постоянной скорости изменения $3$ в $z=3x$, эта скорость зависит от текущего значения $x$. Выходные данные функции одинаковы для $x=-5$ и $x=5$, но производные имеют противоположные знаки. Положительная производная $x=5$ означает, что выходное значение увеличивается, поскольку $x$ немного увеличивается. Отрицательная производная $x=-5$ означает, что выход уменьшается, а $x$ немного увеличивается.

На графике ниже основное внимание уделяется направлению: две точки имеют одинаковую высоту, но зеленые стрелки показывают разные способы перемещения по кривой для уменьшения выходных данных.

Этот график показывает нам, что если наша цель состоит в том, чтобы уменьшить выходной результат функции, знак производной подскажет нам, в какую сторону двигаться от каждой начальной точки. Зеленые стрелки показывают эти направления, которые мы можем определить, не пробуя увеличивать и уменьшать $x$ и не пересчитывая вывод функции. Обе стрелки ведут к $x=0$, где эта функция достигает минимума, а производная равна нулю, хотя нулевая производная не всегда указывает на минимум.

Распространенный способ визуализировать производную — это наклон касательной к графику в выбранной точке. В точке $x=5$ производная равна $10$, поэтому касательная имеет наклон $10$. Измените Параметр x ниже, чтобы увидеть, как изменяется наклон фиолетовой касательной вдоль синей кривой.

Parameter x

5

Exact derivative10L′(x) = 2x

Касательная также помогает нам оценить, насколько сильно изменяются выходные данные функции поблизости. В $x=5$, где выходной сигнал равен $28$, а производная $10$, небольшое изменение в $x$ приводит к изменению выходного сигнала примерно в $10$ раз больше:

$$\Delta L\approx10\,\Delta x.$$

Мы используем $\approx$ в приведенном выше выражении, поскольку оцениваем изменение выходных данных за небольшой шаг. В точке $x=5$ производная равна точно $10$, но наклон меняется по мере продвижения по кривой. Установка для Параметр x значения $4.9$ в виджете дает наклон $9.8$; меньшее движение до $4.99$ даст $9.98$. Чем меньше шаг, тем меньше изменяется наклон, поэтому рассмотрение его как постоянного значения $10$ дает более точную оценку изменения выходного сигнала.

Оценка производной с помощью конечных разностей

Оценка производных от значений функции на соседних входах называется численным дифференцированием. Конечные разности — один из способов сделать это. Нам нужно только вычислить функцию, не зная ее внутренних операций и не выводя формулу для ее производной.

Оценка прямой разницы делит изменение выхода на небольшое ненулевое изменение входа $h$:

$$\frac{L(x+h)-L(x)}{h}$$

Давайте рассчитаем оценку конечной разности, используя $L(x)=x^2+3$. Начиная с $x=5$, шаг $h=0.001$ приведет нас к $5.001$:

$$\frac{L(5.001)-L(5)}{0.001} =\frac{28.010001-28}{0.001} =10.001$$

Это средняя скорость изменения между двумя входными параметрами. Геометрически это наклон прямой, соединяющей их точки на кривой, называемый секущей. Производная дает наклон касательной в начальной точке.

В виджете ниже установите для Параметр x значение $5$, где фиолетовая касательная имеет наклон $10$. При Малое изменение h на $0.001$ оранжевая секущая имеет наклон $10.001$. Это конечно-разностная оценка. Когда мы уменьшаем $h$, оранжевый наклон приближается к $10$, точной производной.

Tangent: exact derivativeSecant: finite difference

Parameter x

2

Small change h

0.8

Exact derivative4L′(x) = 2x

Finite difference4.8(L(x + h) − L(x)) / h

Мы называем это средним значением, поскольку делим общее изменение выхода на общее изменение затрат за интервал. Приближение конечных разностей использует только два значения конечных точек, поэтому оно не говорит нам, как функция ведет себя между ними. Его выпуск может меняться медленнее в одной части интервала и быстрее в другой.

Поскольку мы знаем формулу, мы можем построить кривую между конечными точками и увидеть это различие. На графике ниже используется более широкий интервал от $x=1$ до $x=5$, чтобы разница была видна. Пунктирная линия, соединяющая конечные точки, имеет средний наклон; зеленая кривая показывает, как на самом деле изменяется выходной сигнал. Заштрихованный треугольник показывает общее изменение входных данных $\Delta x=4$ и изменение выходных данных $\Delta L=24$, поэтому средний наклон равен $24/4=6$.

The average slope uses only the endpoints

Whole intervalFirst halfSecond halfFunction curve

Мы можем сравнить среднюю ставку на всем интервале со ставками на двух его половинах. Разделение по $x=3$, где выходной сигнал равен $12$, дает:

Интервал	Изменение ввода	Изменение вывода	Средняя ставка
Весь интервал	$1 \to 5$	$4 \to 28$	$(28-4)/(5-1)=6$
Первая половина	$1 \to 3$	$4 \to 12$	$(12-4)/(3-1)=4$
Вторая половина	$3 \to 5$	$12 \to 28$	$(28-12)/(5-3)=8$

Определение предела уточняет идею скорости изменения в одной точке: это значение, к которому приближается средняя скорость изменения по мере того, как интервал сжимается к нулю:

$$L'(x)=\lim_{h\to0}\frac{L(x+h)-L(x)}{h}$$

Мы позволяем $h$ приближаться к нулю, а не заменять $h=0$, что даст $0/0$. Учет этого предела позволяет нам вывести правило $L'(x)=2x$.. Для нашей функции сначала упростите соотношение, сохраняя при этом $h$ ненулевым:

$$\begin{aligned} \frac{L(x+h)-L(x)}{h} &=\frac{(x+h)^2+3-(x^2+3)}{h}\\ &=\frac{2xh+h^2}{h}\\ &=2x+h \end{aligned}$$

Это делает различие явным: расчет конечной разности на выбранном шаге дает $2x+h$. При достижении предела, когда $h$ приближается к нулю, лишний $h$ удаляется, что дает нам правило производной:

$$L'(x)=2x,\qquad L'(5)=10$$

Это объясняет правило, которое мы символически применили ранее. Получив формулу $2x$, мы можем вычислить ее непосредственно на любом входе, не вычисляя функцию на соседнем входе.

Разница вперед сравнивает $x$ с $x+h$. Выборка после $x$ дает оценку обратной разности, а равномерная выборка с обеих сторон дает оценку центральной разности. Это другие типы конечно-разностной аппроксимации. Для той же функции $L(x)=x^2+3$ мы теперь будем использовать больший шаг $h=0.1$:

В точной арифметике, когда мы уменьшаем шаг $h$, оценки прямой, обратной и центральной разностей сходятся к точной производной — для нашей функции в $x=5$ это значение равно $10$. Центральная разность точна для этого квадрата в точной арифметике, но обычно остается приближением.

Программное обеспечение может оценить производную, используя конечные разности: оценить функцию на двух соседних входных данных, вычесть выходные данные и разделить на входную разницу. Выбор этой разницы требует осторожности. Конечный шаг обычно приводит к ошибке усечения, поскольку мы используем интервал для оценки скорости в точке. Уменьшение шага уменьшает эту ошибку, но слишком маленький шаг создает другую проблему: компьютеры хранят числа с ограниченной точностью. Вычитание почти равных значений функции может привести к тому, что разница будет зависеть от ошибки округления, которая усиливается при делении на крошечную цифру $h$.

Эти методы полезны для проверки производных, но дополнительные вычисления функций делают их дорогостоящими, если применять их отдельно к миллионам параметров.

Несколько входов и частные производные

До сих пор мы использовали функции $z=3x$ и $L(x)=x^2+3$ только с одним параметром $x$. Давайте теперь посмотрим на $z=x+y$ и $z=xy$ с двумя параметрами $x$ и $y$, которые мы можем изменять отдельно. Чтобы понять влияние каждого параметра на $z$, мы изменяем один, оставляя другой фиксированным. Изменение обоих одновременно приведет к смешиванию их эффектов.

Ранее мы написали $dz/dx$, чтобы описать, как выходной сигнал $z$ изменяется при использовании одного входного $x$. Для наших функций с двумя входами нам нужно указать, какой вход мы изменяем. Чтобы измерить, как изменяется $z$, когда мы изменяем $x$, сохраняя фиксированным $y$, мы используем частную производную, записанную $\partial z/\partial x$. Мы читаем это как ' — частная производная от $z$ относительно $x$'. Порядок обозначений означает то же самое, что и раньше; символ $\partial$ указывает, что мы изменяем один вход, оставляя остальные фиксированными.

Геометрически два входа определяют точку на поверхности $z=f(x,y)$. Частная производная измеряет наклон в этой точке в направлении одного входного сигнала, в то время как другой входной сигнал остается фиксированным. Поэтому нам нужны оба входных значения, чтобы указать, где мы измеряем наклон, даже если мы рассматриваем изменения только в одном направлении.

При вычислении частной производной мы применяем правила дифференцирования, рассматривая остальные входные данные как константы.

Начнем с дополнения $z=x+y$. Удерживая $y$ фиксированным, увеличение $x$ на $1$ увеличивает $z$ на $1$, то есть $\partial z/\partial x=1$. Изменение ролей дает $\partial z/\partial y=1$.

Для умножения $z=xy$ скорость зависит от входных данных, которые мы фиксируем. В следующей таблице показано, как изменяется $z$ при увеличении $x$ при сохранении постоянного значения $y$ $5$:

$\boldsymbol{x}$	$\boldsymbol{y}$	$\boldsymbol{z=xy}$
$3$	$5$	$15$
$4$	$5$	$20$
$5$	$5$	$25$
$6$	$5$	$30$

Мы видим, что каждый раз, когда $x$ увеличивается на $1$, $z$ увеличивается на $5$. Если $y$ удерживается в точке $5$, скорость изменения относительно $x$ равна $5$:

$$\frac{\partial z}{\partial x}=y=5$$

Как видите, скорость изменения равна постоянному значению $y$. Здесь используется то же правило постоянного множителя, которое мы применили к $z=3x$. Множитель в $z=3x$ был $3$. В $z=xy$ множителем является $y$, который мы сохраняем постоянным при дифференцировании $x$. Поэтому, когда мы сохраняем одну переменную постоянной, она все равно участвует в расчетах и ​​влияет на то, как выходные данные реагируют на изменения другой переменной.

Дифференцирование по $y$ работает таким же образом: мы сохраняем константу $x$ и применяем правило множителя константы, получая $\partial z/\partial y=x$. Два входа играют симметричные роли, но их эффекты зависят от текущих значений $x$ и $y$. В $x=3$ и $y=5$ выходные данные — $15$, а частные производные — $5$ и $3$ соответственно.

Теперь мы можем суммировать правила локальной производной для обеих операций:

Операция	$\partial z/\partial x$	$\partial z/\partial y$
$z=x+y$	$1$	$1$
$z=xy$	$y$	$x$

Кроме того, изменение любого входа меняет выход на ту же величину. При умножении каждая частная производная равна другому входному значению. Эти правила называются локальными, поскольку они описывают, как выходные данные отдельной операции реагируют на ее входные данные. Позже мы подключим их, чтобы следить за изменениями посредством нескольких операций.

Частные производные $5$ и $3$ описывают чувствительность, а не части выходного сигнала $15$. Для одинаковых небольших изменений изменение только $x$ имеет $5/3$ раз больший эффект, чем изменение только $y$. Чтобы оценить эффект от изменения обоих входных данных, нам нужны как производные, так и предлагаемые изменения входных данных.

Для этого мы собираем частные производные в вектор, который называется градиентом. Обозначаем его символом $\nabla$, поэтому для функции $z=xy$ при $x=3$ и $y=5$ пишем $\nabla z=(5,3)$. Этот вектор имеет и геометрический смысл в плоскости входов: среди перемещений одинаковой малой евклидовой длины он указывает направление наибольшего роста выхода в приближении первого порядка. Противоположный вектор указывает направление наиболее быстрого локального убывания.

На графике ниже показаны эти направления для $z=xy$. Вы можете видеть, как фиолетовая стрелка ведет вверх от $(3,5)$, где выходной сигнал равен $15$, а зеленая стрелка ведет вниз. Они отслеживают траектории поверхности, когда мы перемещаем входные данные в направлении градиента или противоположном ему. График масштабирует высоту отдельно; градиент определяет направление во входной плоскости.

Reset

∇z = (5, 3): local increase−∇z = (−5, −3): local decrease

Drag to rotate, or focus the graph and use the arrow keys. Height is scaled separately; the gradient describes direction in the input plane.

Зная частные производные, мы можем использовать аппроксимацию Тейлора первого порядка, также называемую линейной аппроксимацией. Это позволяет нам оценить совокупное влияние небольших изменений входных данных на выходные данные: мы умножаем каждую частную производную на соответствующее изменение входных данных и складываем результаты.

$$\Delta z\approx\frac{\partial z}{\partial x}\Delta x+\frac{\partial z}{\partial y}\Delta y$$

Это скалярное произведение градиента и вектора изменения входных данных. Для нашей функции $z=xy$ в точке $(3,5)$ это дает:

$$\Delta z\approx5\,\Delta x+3\,\Delta y$$

Например, увеличение обоих входов на $0.1$ дает:

$$\Delta z\approx5(0.1)+3(0.1)=0.8$$

Увеличение $x$ на $0.1$ вносит вклад $0.5$ в прогнозируемое изменение, а увеличение $y$ на $0.1$ способствует $0.3$. Каждый вклад представляет собой частную производную, умноженную на соответствующее изменение входных данных. Производные описывают чувствительность; выбранные изменения определяют, какая часть этой чувствительности входит в прогноз.

Оценка функции на новых входах дает фактическое изменение $3.1\times5.1-15=0.81$. Оставшийся $0.01$ представляет собой член взаимодействия $\Delta x\,\Delta y$, который не учитывается линейным приближением. Таким образом, термины $0.5$ и $0.3$ описывают вклад в прогнозируемое изменение, а не доли исходного результата $15$. То же различие применимо и к обратному распространению ошибки: оно вычисляет чувствительность потерь к каждому весу. Умножение этих производных на предлагаемые изменения веса позволяет оценить их вклад в изменение потерь.

Сочетание правил дифференцирования для более сложной функции

В предыдущем разделе мы вычислили частные производные для сложения и умножения. Теперь объединим правила дифференцирования в выражении с несколькими членами и степенями:

$$f(x,y)=xy^2+x^3$$

Мы сравним два эквивалентных подхода к вычислению частных производных в выбранной точке: сначала дифференцируем, а затем подставляем значения, или сначала подставляем значение другого входа, дифференцируем полученную функцию с одним входом, а затем оцениваем ее производную. Оба подхода создают производные формулы. Построение графика функций с одним входом в виде срезов поверхности покажет, почему каждая частная производная также является обычным наклоном касательной.

Сначала дифференцируем, затем подставляем значения

Мы сохраняем $x$ и $y$ в качестве символов, находя частную производную для каждого входа, рассматривая другой как константу. Затем мы оценим обе производные по $(x,y)=(3,2)$.

Сначала мы дифференцируем по $x$, оставляя $y$ фиксированным и дифференцируя каждый член. Коэффициент $y^2$ действует как постоянный множитель $x$:

$$\begin{aligned} \frac{\partial f}{\partial x} &=y^2\frac{\partial}{\partial x}(x) +\frac{\partial}{\partial x}(x^3)\\ &=y^2\cdot1+3x^2\\ &=y^2+3x^2 \end{aligned}$$

Фиксация $y$ не удаляет его из расчета: его значение определяет множитель $y^2$. Дифференцируем $x^3$ с помощью степенного правила.

Затем мы дифференцируем по $y$, меняя роли и оставляя $x$ фиксированным. Теперь $x$ является постоянным множителем $y^2$, и весь член $x^3$ является постоянным:

$$\begin{aligned} \frac{\partial f}{\partial y} &=x\frac{\partial}{\partial y}(y^2) +\frac{\partial}{\partial y}(x^3)\\ &=x\cdot2y+0\\ &=2xy \end{aligned}$$

Член $x^3$ вносит нулевой вклад, поскольку изменение $y$ при фиксированном $x$ не может изменить его значение.

Это дает нам следующие частные производные на выбранных нами входных данных:

Ввод меняем	Ввод зафиксирован	Частная производная в точке $(3,2)$	Прогнозируемое изменение объема производства
$x$	$y=2$	$2^2+3(3^2)=31$	$\Delta f\approx31\,\Delta x$
$y$	$x=3$	$2(3)(2)=12$	$\Delta f\approx12\,\Delta y$

Сначала фиксируем один вход, затем дифференцируем сечение

Теперь рассмотрим второй подход: сначала фиксируем один вход, затем дифференцируем функцию сечения. Подставляем значение одного входа в $f(x,y)=xy^2+x^3$ и получаем обычную функцию оставшегося входа.

Сначала мы устанавливаем $y=2$ и оставляем $x$ свободным для изменения:

$$f(x,2)=x(2^2)+x^3=4x+x^3$$

Это фрагмент исходной функции, а не производная: мы заменили значение только на один вход.

Для среза с $y=2$ у нас больше нет $y$ в качестве переменной в выражении, поскольку замена $2$ превратила $y^2$ в постоянный множитель $4$. Однако эффект $y$ по-прежнему передается через множитель $4$. Теперь, когда в качестве переменной осталась только $x$, возьмем обычную производную по $x$:

$$\frac{d}{dx}(4x+x^3)=4+3x^2 \quad\Longrightarrow\quad 4+3(3^2)=31\quad\text{at }x=3$$

Затем, возвращаясь к исходной функции, мы устанавливаем $x=3$ и оставляем $y$ свободным для изменения:

$$f(3,y)=3y^2+3^3=3y^2+27$$

А для среза с $x=3$ дифференцируем по $y$:

$$\frac{d}{dy}(3y^2+27)=6y \quad\Longrightarrow\quad 6(2)=12\quad\text{at }y=2$$

Оба среза проходят через одну и ту же выбранную точку, где находится $f(3,2)=3(2^2)+3^3=39$. Дифференцирование каждого среза дает те же частные производные, которые мы рассчитали выше:

$$\frac{\partial f}{\partial x}(3,2)=31,\qquad \frac{\partial f}{\partial y}(3,2)=12$$

Оба подхода оставляют другой вход постоянным, поэтому его значение можно подставить до дифференцирования либо сохранить его как символ и подставить значение позже. Первый подход даёт общие формулы производных, $y^2+3x^2$ и $2xy$, которые можно вычислить для любой пары входов. Второй даёт формулы для конкретных сечений: $4+3x^2$, когда $y=2$, и $6y$, когда $x=3$. Например, подстановка $x=3$ в $2xy$ даёт $6y$, как и дифференцирование функции сечения $3y^2+27$. Каждое сечение получаем отдельной подстановкой в исходную функцию.

Эти производные измеряют чувствительность, а не доли текущего выхода. Как и раньше, мы собираем частные производные в вектор градиента. В точке $(3,2)$ это дает $\nabla f=(31,12)$. Предлагаемые входные изменения образуют вектор $(\Delta x,\Delta y)$. Их скалярное произведение оценивает совокупное изменение выхода:

$$\Delta f\approx\nabla f(3,2)\cdot(\Delta x,\Delta y) =31\Delta x+12\Delta y$$

В $(x,y)=(3,2)$ обе координаты указывают точку, в которой мы измеряем уклоны. Перемещение в направлении $x$ с удерживанием $y=2$ дает наклон касательной $31$; перемещение в направлении $y$, удерживая $x=3$, дает наклон $12$. Это два направления, проходящие через одну и ту же точку поверхности. Каждая скорость является частной производной исходной функции с двумя входами и обычной производной соответствующего среза с одним входом. Градиент объединяет эти скорости в направлении наибольшего локального увеличения во входной плоскости.

Виджет ниже демонстрирует то, что мы рассчитали выше: как выходные данные изменяются вдоль каждого входного направления, измеряемого частными производными, и как эти производные объединяются в направлении градиента. Фиолетовые срезы показывают, что каждый входной сигнал изменяется отдельно, их зеленые касательные показывают частные производные, а оранжевая стрелка следует по траектории поверхности в направлении градиента.

Reset

x

3

y

2

f(x, 2) = 4x + x³

∂f/∂x = 31

f(3, y) = 3y² + 27

∂f/∂y = 12

Начиная с $(3,2)$, перемещение ползунка $x$ влияет на два графика по-разному. Слева $x$ — это изменяющийся вход, поэтому выбранная точка перемещается по той же кривой $f(x,2)=4x+x^3$, а $y=2$ остается фиксированной. Справа $x$ — это фиксированный ввод, определяющий срез, поэтому изменение его с $3$ на $4$ меняет формулу с $f(3,y)=3y^2+27$ на $f(4,y)=4y^2+64$. Другими словами, перемещение $x$ перемещает точку вдоль левого среза и изменяет срез, отображаемый справа. Перемещение $y$ делает обратное.

Производные через последовательность связанных операций

Ранее мы разделили два термина по отдельности и добавили их производные, поскольку эти термины были добавлены в исходное выражение. В более общем смысле мы можем рассматривать каждое промежуточное вычисление как функцию исходных входных данных. Связь их результатов определяет, как мы объединяем их производные.

В следующей таблице показаны правила сложения, умножения и вложения. Мы будем использовать $g(x)$ и $h(x)$ в качестве общих имен для двух дифференцируемых функций $x$:

Правило	Как сочетаются функции	Производная по $x$
Правило сумм	$g(x)+h(x)$	$g'(x)+h'(x)$
Правило продукта	$g(x)h(x)$	$g'(x)h(x)+g(x)h'(x)$
Правило цепочки	$g(h(x))$	$g'(h(x))h'(x)$

Правило произведения обобщает правило постоянного множителя, которое мы использовали ранее, на случаи, когда изменяются оба фактора. Умножение двух функций не означает умножение их производных. Чтобы дифференцировать отдельные функции, мы можем использовать такое правило, как правило производной степенной функции, или разбить функции на более простые операции, производные которых мы уже знаем. Цепное правило соединяет их локальные производные, чтобы выяснить, как исходные входные данные влияют на конечный результат, что делает его центральным элементом обратного распространения ошибки.

В предыдущем разделе мы дифференцировали термины, рассматривая другие входные данные как постоянные. Теперь мы заглянем внутрь этих терминов: каждую арифметическую операцию можно рассматривать как функцию ее входных данных.

Давайте сначала разделим нашу функцию $f(x,y)=xy^2+x^3$ на отдельные операции с именованными промежуточными результатами:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Например, возведение в квадрат отображает $y$ в $u=y^2$, а отображение умножения $x$ и $u$ в $v=xu$. Выход квадрата становится входом для умножения. Когда выходные данные одной функции становятся входными данными для другой, функции компонуются — связь, называемая композицией функций, показанная как $g(h(x))$ в таблице выше. Операция имеет свои собственные непосредственные входные данные; Операции соединения делают ее результат также зависимым от предыдущих входных данных.

Разделение соответствует зависимостям выражения: $u=y^2$ должен быть доступен до $v=xu$, а $v$ и $w$ должны быть доступны до $f=v+w$. Поскольку $w=x^3$ не зависит от $u$ или $v$, мы можем вычислить его до или после этой ветви. Это разделение не уникально: мы могли бы выразить возведение в квадрат и куб как умножение. Здесь мы рассматриваем их как отдельные операции и используем степенное правило для их локальных производных.

Теперь мы воспользуемся цепным правилом для расчета производных с помощью отдельных операций, умножая локальные производные по каждому пути и добавляя вклады от разных путей. Сначала мы пойдем по одному пути, затем исследуем вход, который достигает выхода двумя путями.

Цепное правило: один путь

Начнем с дифференцирования по $y$, оставив $x$ фиксированным. Разделение показывает, почему $y$ является полезной отправной точкой: его изменение влияет на $u=y^2$, затем на $v=xu$, а $w=x^3$ остается постоянным. После этого мы рассмотрим $x$, который влияет как на $v$, так и на $w$. На данный момент есть только один путь от $y$ до конечного результата:

$$y\ \longrightarrow\ u=y^2\ \longrightarrow\ v=xu\ \longrightarrow\ f=v+w$$

Чтобы увидеть разницу между локальной производной и цепным правилом, сосредоточьтесь всего на двух узлах операции: квадрате $u=y^2$ и умножении $v=xu$, соединенных $u\to v$.

Если рассматривать само по себе, то умножение принимает в качестве входных данных $x$ и $u$. Его локальные частные производные:

$$\frac{\partial v}{\partial x}=u, \qquad \frac{\partial v}{\partial u}=x$$

Чтобы получить каждую локальную производную, нам нужно только выражение операции и входные данные, по которым мы дифференцируем. Для $v=xu$ обработка $x$ как константы дает $\partial v/\partial u=x$, независимо от того, как рассчитывался $u$ или где используется $v$. Остальная часть графика нам не нужна для этого шага. Квадрат отдельно поставляется $du/dy=2y$.

Обратите внимание, что цепное правило включает производную узла $u=y^2$, $du/dy=2y$ отдельно, хотя узел $v=xu$ уже использует значение $u$. Локальная производная $\partial v/\partial u=x$ сообщает нам только, как $v$ реагирует на изменение $u$. Он не включает в себя изменения $u$ с $y$. Эта скорость равна $du/dy=2y$, поэтому нам нужны оба фактора:

$$\frac{\partial v}{\partial y} =\underbrace{\frac{\partial v}{\partial u}}_{\text{how v responds to u}} \cdot\underbrace{\frac{du}{dy}}_{\text{how u responds to y}} =x\cdot2y$$

При фиксированном $x$ умножение является внешней функцией, а возведение в квадрат — внутренней функцией. Сама по себе внешняя производная не может сказать нам, как изменяется внутренняя функция: умножение принимает значение $u$, не зная, получено ли оно из $y^2$, $2y$ или другого вычисления. В $y=2$ и $y^2$, и $2y$ производят $u=4$, но их производными являются $4$ и $2$ соответственно. Таким образом, одно и то же значение не подразумевает одинаковую реакцию на изменение $y$. Это различие применимо всякий раз, когда мы дифференцируем композицию.

Если мы заменим $u=y^2$ на $v=xu$, полное выражение $v=xy^2$ будет содержать эту внутреннюю зависимость. Дифференцирование его напрямую дает $2xy$, учитывающее обе скорости. График наглядно демонстрирует эти два фактора.

В таблице ниже показан только эффект изменения $y$ с фиксированным $x$. Он фокусируется на двух операциях $u=y^2$ и $v=xu$, останавливаясь на $v$ для вычисления $\partial v/\partial y$:

Шаг	Символическая форма
Определить операции	$u=y^2$, затем $v=xu$
Вывод формул локальной производной	$du/dy=2y$, $\partial v/\partial u=x$
Объедините формулы, используя цепное правило	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=x\cdot2y$

Связи имеют значение, когда мы объединяем локальные производные: путь $y\to u\to v$ говорит нам умножить $\partial v/\partial u$ на $du/dy$, чтобы найти $\partial v/\partial y$. Операция обеспечивает местное правило; график подсказывает нам, как связать его с другими правилами.

Теперь приступим к последнему добавлению. Исходная функция принимает $x$ и $y$, но каждая операция имеет свои входные данные. Для окончательного добавления $f=v+w$ эти входы — $v$ и $w$. Его локальная производная $\partial f/\partial v$ спрашивает, как изменяется вывод дополнения, когда $v$ изменяется, в то время как $w$ остается фиксированным. Это равно $1$, поскольку добавление небольшой суммы к $v$ добавляет такую ​​же сумму к $f$. Затем цепное правило соединяет эти локальные ответы обратно с исходным входом $y$.

В следующей таблице перечислены локальные производные по полному пути:

Операция	Локальная производная
Квадрат $y$ для получения $u$	$du/dy=2y$
Умножьте $u$ на фиксированное значение $x$, чтобы получить $v$	$\partial v/\partial u=x$
Добавьте фиксированное значение $w$, чтобы получить $f$	$\partial f/\partial v=1$

Чтобы получить производную конечного результата по $y$, , мы теперь можем применить цепное правило, умножая локальные производные вдоль $y\rightarrow u\rightarrow v\rightarrow f$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Это соответствует формуле, которую мы получили путем прямого дифференцирования $xy^2+x^3$. Здесь $\partial f/\partial y$ равно $\partial v/\partial y$, поскольку последняя операция умножает скорость на $1$.

Виджет ниже отображает график этих связанных вычислений. Он начинается с $x$ и $y$ — входов, от которых зависит функция. Выражения внутри узлов, такие как $u=y^2$ и $v=xu$, определяют операции. Сплошные стрелки указывают от результата операции к операции, которая его использует. Таким образом, $u\to v$ означает, что $v=xu$ использует результат $u=y^2$, делая их состав видимым. Умножение использует $u$, а не его производное $du/dy$; метки производных и пунктирные стрелки в поле цепочки правил показывают, как мы дифференцируем вычисления. Следуйте оранжевому пути и умножьте локальные производные, чтобы получить $2y\cdot x\cdot1=2xy$.

Scroll the graph sideways to see the chain-rule box.

Теперь, когда мы возьмем формулу производной $2xy$ и заменим $x=3$ и $y=2$, мы получим $2(3)(2)=12$, соответствующую частной производной, которую мы вычислили ранее. Мы можем вычислить эту формулу для любой входной пары, не вычисляя предварительно промежуточные значения функции.

В $x=3$ и $y=2$ небольшое изменение $h$ в $y$ приводит к изменению примерно $4h$ в $u$. Масштабы умножения изменяются на $3$, что дает изменение $v$ примерно на $12h$. Добавление неизмененного $w$ оставляет это изменение нетронутым.

Несколько путей: сложение вкладов в производную

Мы проследили, как $y$ влияет на вывод по одному пути. Давайте теперь найдем частную производную $f(x,y)=xy^2+x^3$ относительно $x$, оставив $y$ фиксированным. Используем те же промежуточные результаты:

$$u=y^2,\qquad v=xu,\qquad w=x^3,\qquad f=v+w$$

Значение $u=y^2$ остается постоянным, но $v=xu$ и $w=x^3$ изменяются с помощью $x$. Это дает нам два пути от $x$ к конечному выводу:

$$x\longrightarrow v=xu\longrightarrow f=v+w \qquad\text{and}\qquad x\longrightarrow w=x^3\longrightarrow f=v+w$$

Мы уже рассчитали $\partial f/\partial x=y^2+3x^2$, дифференцируя $xy^2+x^3$ по $x$, сохраняя константу $y$. Цепное правило дает один и тот же ответ, используя локальные производные по обоим путям:

Операция	Локальная производная
Умножьте $x$ на фиксированное значение $u$, чтобы получить $v$	$\partial v/\partial x=u=y^2$
Куб $x$ для получения $w$	$dw/dx=3x^2$
Добавьте $v$ и $w$, чтобы получить $f$, учитывая эффект $v$	$\partial f/\partial v=1$
Добавьте $v$ и $w$, чтобы получить $f$, учитывая эффект $w$	$\partial f/\partial w=1$

Каждая локальная производная сложения сохраняет свой другой вход фиксированным. Оба входа изменяются при изменении $x$, поэтому нам нужны оба входа.

Теперь мы применяем цепное правило многих переменных: умножаем локальные производные вдоль каждого пути, затем добавляем два вклада, чтобы получить производную конечного результата по отношению к $x$:

$$\frac{\partial f}{\partial x} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial x} +\frac{\partial f}{\partial w}\cdot\frac{dw}{dx} =1\cdot y^2+1\cdot3x^2 =y^2+3x^2$$

На диаграмме ниже показаны два пути от $x$ к конечному выводу: $x\to v\to f$ и $x\to w\to f$. Оба отслеживают эффект изменения $x$, при этом $y$ остается постоянным. Узлы $y$ и $u=y^2$ серые, поскольку эта ветвь остается фиксированной; он по-прежнему предоставляет значение $u$, используемое при умножении. Оранжевый путь вносит вклад $1\cdot y^2$, а фиолетовый путь — $1\cdot3x^2$. В полях активных операций показаны их локальные производные. В поле выше производные умножаются по каждому пути, а затем складывают вклады, чтобы получить $y^2+3x^2$.

Scroll the graph sideways to follow the paths.

Теперь, когда мы возьмем формулу производной $y^2+3x^2$ и заменим $x=3$ и $y=2$, мы получим $2^2+3(3^2)=4+27=31$. Это соответствует частной производной, которую мы вычислили ранее, без предварительного вычисления промежуточных значений функции.

Вычисление производных: символьное и автоматическое дифференцирование

В примерах выше мы соединяли локальные правила дифференцирования, чтобы найти производную более сложной функции. Это разбиение можно продолжить: даже возведение в квадрат и куб можно построить из умножения, поэтому их производные могут следовать из правила умножения.

Производная квадрата из одного лишь умножения

Предположим, наш движок поддерживает умножение, но не имеет операции возведения в степень. Мы всё равно можем вычислить $s=x^2$ как $s=x\cdot x$. Для умножения $s=ab$ локальные производные равны:

$$\frac{\partial s}{\partial a}=b,\qquad \frac{\partial s}{\partial b}=a.$$

Обе входные позиции здесь ссылаются на одну переменную: $a=x$ и $b=x$. Изменение $x$ влияет на результат через обе позиции, поэтому мы складываем их вклады:

$$\frac{ds}{dx} =\frac{\partial s}{\partial a}\frac{da}{dx} +\frac{\partial s}{\partial b}\frac{db}{dx} =x\cdot1+x\cdot1 =2x.$$

Производная квадрата следует из умножения и цепного правила; отдельное правило для квадрата нам не понадобилось. В обратном проходе начинаем с градиента $s$, равного $1$. Каждая входная позиция добавляет значение другого операнда к градиенту $x$. При $x=3$ два вклада дают $3+3=6$. Хотя узел $x$ всего один, необходимо учесть оба его использования.

Та же идея работает для куба. Запишем $t=x\cdot x$, а затем $c=t\cdot x$. Соединяя производные, получаем:

$$\frac{dc}{dx} =x\frac{dt}{dx}+t\frac{dx}{dx} =x(x+x)+x^2 =3x^2.$$

Таким образом, движок может дифференцировать степени с положительными целыми показателями, записанные как последовательные умножения, без реализации правила производной степенной функции. Другим функциям нужны подходящие дополнительные базовые операции: например, одним умножением нельзя выразить $\sin(x)$ или произвольные дробные степени. Общий принцип — задать правила дифференцирования базовых операций, а затем соединять эти правила для дифференцирования построенных из них функций.

Одни и те же правила могут строить выражения или вычислять числа

В примере с квадратом мы сохранили $x$ как символ, построили $x\cdot1+x\cdot1$ и упростили выражение до $2x$. Такое построение выражений для производных называется символьным дифференцированием. Программа может автоматически строить эти выражения, используя те же локальные правила и зависимости.

Micrograd применяет эти правила к числовым значениям. При $x=3$ исходное умножение даёт $s=9$, а его обратное правило накапливает $3+3=6$ в градиенте $x$. Это автоматическое дифференцирование: вычисление математически эквивалентно подстановке $x=3$ в $2x$, хотя сама символьная формула не строится. Обратное распространение использует автоматическое дифференцирование в обратном режиме для вычисления градиентов потерь, необходимых для обучения.

Оба метода соединяют одни и те же правила дифференциального исчисления. В этом сравнении меняется то, строим ли мы выражения для производных или выполняем вычисления производных над числами:

Метод	С чем работает	Что даёт
Символьное дифференцирование	Символьные выражения, включая именованные промежуточные выражения	Формулы производных, которые можно вычислить для выбранных входных значений
Автоматическое дифференцирование	Операции программы и их значения для выбранных входов	Числовые значения производных, полученные соединением локальных производных

От формул производных к исполняемым правилам

В более раннем однопутном символьном графе мы написали $du/dy=2y$ рядом с операцией $u=y^2$. Эта формула также говорит нам, как вычислить производную с помощью арифметики: возьмите входное значение и умножьте его на $2$. В точке $y=2$ результат — $4$. Это числовая локальная производная.: локальная производная, вычисляемая при определенных входных значениях.

Autodiff не выводит правила производных базовых операций из самих значений и не открывает их символьно во время выполнения. Разработчик движка задаёт правило для каждой базовой операции, превращая известную формулу производной в код. Если выбрать возведение в квадрат как базовую операцию, $2y$ становится 2 * input_value. Формула объясняет правило математически, а код выполняет его над числами. Для входа 2 получаем 4. Если же реализовать квадрат как y * y, два вклада от умножения дадут тот же результат: 2 + 2 = 4.

Движок использует граф и цепное правило для дифференцирования комбинаций этих операций. Каждое локальное правило реализуется один раз и повторно используется при каждом появлении соответствующей операции:

Работа программы	Известное локальное производное правило	Численный расчет
u = y ** 2	$du/dy=2y$	2 * y.data
v = x * u	$\partial v/\partial x=u$, $\partial v/\partial u=x$	u.data, x.data
w = x ** 3	$dw/dx=3x^2$	3 * x.data ** 2
f = v + w	$\partial f/\partial v=1$, $\partial f/\partial w=1$	1, 1

Здесь .data содержит числовое значение узла. Производная умножения по $u$ получается путем чтения значения другого операнда, $x$. Механизму не обязательно знать, как был рассчитан этот операнд, чтобы применить это локальное правило.

Механизм также записывает, какие входные данные дали каждый результат, сохраняя зависимости, показанные на нашем графике. Обычная арифметика вычисляет значения; autodiff добавляет правила отслеживания зависимостей и производные. Он также может отслеживать операции, выполняемые внутри циклов и условных ветвей, без необходимости переписывать весь расчет в виде одной формулы.

Для графа в нашем примере мы выбираем отдельную базовую операцию возведения в степень, сохраняя каждый квадрат и куб как одну операцию. Их можно реализовать как y.pow(2) и x.pow(3). Это выбор реализации: последовательное умножение тоже подходит для этих степеней. Метод pow(exponent) применяет общее правило производной степенной функции:

$$\frac{d}{dy}(y^n)=ny^{n-1}$$

Для используемых здесь положительных целочисленных показателей его расчет выглядит следующим образом:

Здесь this — входной узел. Операция вычисляет выходное значение и записывает соединение с этим входом вместе с его числовой локальной производной. Обратный проход будет использовать сохраненную производную для распространения вклада градиента на входные данные.

Вызов y.pow(2) передаёт показатель степени $2$, поэтому локальная производная равна $2y^{2-1}=2y$. Вызов x.pow(3) даёт $3x^{3-1}=3x^2$. Движок получает показатель из аргумента операции, а программист задаёт общее правило дифференцирования. Движок не открывает это правило во время выполнения. Специализированный метод square() может использовать то же вычисление с показателем, зафиксированным на $2$.

Граф предоставляет связи; реализованные правила предоставляют значения локальных производных. Затем цепное правило сообщает движку, как их объединить.

Теперь мы можем вернуться к таблице из символического примера, снова следуя только $y\to u\to v$ с фиксированным $x$ для расчета $\partial v/\partial y$. Autodiff выполняет те же операции с выбранными входными данными, поэтому он также вычисляет их числовые выходные значения. Ему по-прежнему нужны локальные производные, но он оценивает уже реализованные правила для каждой операции, а не выводит новые формулы во время выполнения:

Шаг	В $x=3$, $y=2$, с фиксированным $x$
Используйте те же операции	$u=y^2$, затем $v=xu$
Рассчитать значения операции	$u=2^2=4$, затем $v=3\cdot4=12$
Оценка локальных производных правил	$du/dy=2y=4$, $\partial v/\partial u=x=3$
Объедините числовые производные, используя цепное правило	$\partial v/\partial y=(\partial v/\partial u)(du/dy)=3\cdot4=12$

Продолжение последнего добавления дает $\partial f/\partial y=1\cdot12=12$. В этой таблице для пояснения выделен эффект одного входа. Наш символический расчет объединил $1\cdot x\cdot2y$ в формулу $2xy$. Autodiff оценивает отдельные правила на текущих входах и вместо этого объединяет $1\cdot3\cdot4$. Он использует известные правила производной в виде числовых инструкций без построения символьной формулы производной для всей функции.

Виджет ниже использует тот же график, что и пример с одним путем. Переключение между Символьное дифференцирование и Автоматическое дифференцирование для сравнения объединения выражений производных с объединением их числовых значений в $x=3$ и $y=2$.

SymbolicAutodiff

Scroll the graph sideways to see the chain-rule box.

В символическом режиме сплошные стрелки показывают, как формируются функции: каждый промежуточный результат становится входными данными для другой операции. В режиме автоматического дифференцирования те же стрелки описывают прямой поток числовых значений: при возведении в квадрат получается $u=4$, а при умножении с $x=3$ получается $v=12$. Зависимости остаются прежними; теперь мы оцениваем операции на определенных входах. Этот виджет сравнения не анимирует этот поток. Пошаговое руководство ниже покажет эти прямые значения и обратное распространение вкладов производных.

Вычисление значений операции отличается от вычисления локальных производных. Каждое правило производной использует те значения, которые ему нужны: на этом пути правилу квадрата нужен $y$, а производной умножения относительно $u$ нужен $x$. Строки в таблице числовых вычислений описывают разные задачи, а не отдельные проходы: реализация может оценивать локальные производные правила во время прямого или обратного прохода. В этом пошаговом руководстве мы оцениваем и сохраняем их во время прямого прохода.

Виджет сравнения отображает оцененные производные; в более позднем пошаговом руководстве также будут отображены прямые значения. Выход квадрата $u=y^2$ и его локальная производная $du/dy=2y$ равны $4$ в $y=2$, но это разные величины: в $y=3$ они будут $9$ и $6$.

Вычисление формулы комбинированной производной дает тот же результат, что и сначала вычисление локальных производных, а затем их объединение с использованием цепного правила. В $(3,2)$ вычисление $2xy$ дает $12$, как и умножение $4\times3\times1$. Операции и их зависимости остаются прежними; что меняется, так это то, комбинируем ли мы производные выражения или числовые значения.

Важно избегать расширенной формулы, поскольку повторная замена промежуточных выражений может сделать производную формулу намного больше исходного выражения — проблема, называемая expression swell. Расширенная формула может содержать множество копий одного и того же подвыражения, занимая больше места и повторяя работу, если каждая копия оценивается отдельно. Сохранение именованных промежуточных результатов позволяет нам повторно использовать эти вычисления. Символьная дифференциация также может сохранять и совместно использовать эти выражения, поэтому увеличение количества выражений не является неизбежным ограничением метода.

Прямой и обратный режимы

Виджет показывает, какие локальные производные мы объединяем, но не показывает порядок их распространения. Его пунктирные связи собирают множители в произведение. Прямой режим и обратный режим autodiff могут использовать один и тот же граф вычислений, и оба оценивают функцию от входных данных до выходных. Они различаются тем, как распространяются производные: прямой режим переносит их от входов к выходам, а обратный режим переносит производные вклады от выхода обратно к входам.

Начиная с одного выбранного входа, прямой режим может рассчитать, как все выходы реагируют на этот вход за один проход производной. Начиная с одного выбранного выхода, обратный режим может рассчитать, как этот выход реагирует на все входы за один обратный проход. Мы сосредоточимся на обратном режиме — подходе, используемом при обратном распространении ошибки. Полный обратный проход вычисляет как $\partial f/\partial x$, так и $\partial f/\partial y$, накапливая вклады от обоих путей в $x$.

Проход производной в прямом режиме распространяет производные вместе со значениями функции. Вместо этого прямой проход нашего вычисления в обратном режиме оценивает функцию и записывает то, что необходимо для последующего обратного прохода; производные конечного результата накапливаются во время этого обратного прохода. Мы выполним этот расчет в два прохода:

• Прямой проход оценивает функцию. В этом пошаговом руководстве каждая операция вычисляет свое значение и сохраняет входные соединения и числовые локальные производные.
• Обратный проход начинается с производной выходных данных относительно самого себя, $\partial f/\partial f=1$, и использует сохраненные локальные производные для распространения числовых вкладов назад с использованием цепного правила. Вклады в один и тот же вход накапливаются.

В таблице ниже показано, что наш прямой проход рассчитывает и сохраняет в $x=3$ и $y=2$. Тип операции определяет, какое производное правило выполняется; сохраненные ребра соединяют свои входные данные с оцененными локальными производными:

Расчет	Выходное значение в $(x,y)=(3,2)$	Сохраненные входные соединения и локальные производные
$u=y^2$	$4$	Ввод $y$, с $du/dy=4$
$v=xu$	$12$	Вход $x$, с $\partial v/\partial x=4$; вход $u$, с $\partial v/\partial u=3$
$w=x^3$	$27$	Ввод $x$, с $dw/dx=27$
$f=v+w$	$39$	Вход $v$, с $\partial f/\partial v=1$; вход $w$, с $\partial f/\partial w=1$

Выходные значения и локальные производные играют разные роли. Например, при умножении используется $u=4$ для вычисления выходного значения $v=12$, и это же значение операнда предоставляет его локальную производную по отношению к $x$. Обратный метод объединяет сохраненные локальные производные с накопленной чувствительностью к конечному результату.

Модель — это программа, поэтому autodiff имеет доступ к операциям, которые произвели ее выходные данные; конечная таблица наблюдений ввода-вывода сама по себе не может предоставить эту информацию или определить точные производные. Для фиксированного обучающего пакета расчет прогноза и потерь модели имеет множество параметров и одно значение потерь. В обратном режиме повторно используются промежуточные результаты для вычисления всех производных параметров за один обратный проход, а не повторяется весь расчет для каждого параметра.

Мы установили, что записывает движок и как он использует локальные производные правила. Далее мы проследим тот же расчет в интерактивном прямом и обратном проходе, наблюдая, как записываются значения и накапливаются производные вклады.

Автоматическое дифференцирование в обратном режиме шаг за шагом

Давайте теперь проследим полный расчет автодифференциации в обратном режиме, используя ту же функцию $f(x,y)=xy^2+x^3$ в $(x,y)=(3,2)$. Мы оценим четыре операции из таблицы выше, а затем проследим их производные назад, чтобы получить градиент $(31,12)$:

Прямой проход дает $u=4$, $v=12$, $w=27$ и конечный результат $f=39$. Каждый результат сохраняет связи с входными данными, которые его создали, а также информацию, необходимую для локального правила производной. Обратный проход вычисляет, как конечный результат реагирует на каждый узел; он не меняет эти прямые значения.

Прямые значения также называются primals. Производные, накопленные во время обратного прохода, называются сопряженными: каждая из них измеряет, как конечный результат изменяется по отношению к конкретному входному или промежуточному значению. В нашем виджете они обозначены value и grad соответственно. Сопряженный — это производная конечного результата, отличная от локальной производной операции.

Перед обратным проходом каждый .grad начинается с нуля. Мы запускаем f.grad = 1, потому что $\partial f/\partial f=1$.

.grad каждого скалярного узла хранит производную конечного результата относительно этого узла. Вместе x.grad и y.grad образуют вектор градиента $(31,12)$. В пошаговом руководстве сохраняются числовые локальные производные для соединений и используются их в обратном направлении: parent.grad += node.grad * local_derivative.

Предыдущий виджет сравнения следовал только по пути от $y$ для вычисления $\partial f/\partial y$. Виджет ниже обрабатывает весь график за один обратный проход, вычисляя производные как по $x$, так и по $y$. Эти шаги выполняются последовательно в рамках одного прохода. В каждом поле отдельно показано выходное значение, числовые локальные производные и накопленный градиент.

Входные значения фиксируются как $x=3$ и $y=2$, что эквивалентно созданию x = Value(3) и y = Value(2). Выберите Вычислить прямой проход, чтобы увидеть, как четыре операции создают выходные данные. Затем выберите Задать градиент выхода и выполните шаги назад, выполнив сложение, кубирование, умножение и возведение в квадрат. Каждый шаг назад выделяет операцию и ее входные данные, затем соединяет выражение правила символической цепочки с его числовой заменой и соответствующим обновлением .grad под графиком. Посмотрите, как два вклада накапливаются в точке $x$.

The same operations, forward and backwardf(x, y) = xy² + x³

Evaluate forwardRestart trace

Stage 0 of 6. Start with x = 3 and y = 2, then evaluate u = y², v = xu, w = x³, and f = v + w.

В следующей таблице приведены обратные шаги, которые вы можете выполнить в виджете. Форвардные значения остаются неизменными повсюду; изменяются только накопленные градиенты.

Шаг назад	Обновление градиента
Семена	$\mathtt{f.grad}=1$
Дополнение	$\mathtt{v.grad}=\mathtt{f.grad}\cdot1=1$, $\mathtt{w.grad}=\mathtt{f.grad}\cdot1=1$
Куб	$\mathtt{x.grad}=\mathtt{w.grad}\cdot3x^2=1\cdot27=27$
Умножение, вклад в $x$	Добавьте $\mathtt{v.grad}\cdot u=1\cdot4=4$, получив $\mathtt{x.grad}=27+4=31$
Умножение, вклад в $u$	$\mathtt{u.grad}=\mathtt{v.grad}\cdot x=1\cdot3=3$
Площадь	$\mathtt{y.grad}=\mathtt{u.grad}\cdot2y=3\cdot4=12$

Два пути от $x$ вносят вклад отдельно, тогда как $y$ получает свой вклад через $u$ и $v$:

$$\frac{\partial f}{\partial x}=\underbrace{1\times27}_{\text{through }w}+\underbrace{1\times4}_{\text{through }v}=31, \qquad \frac{\partial f}{\partial y}=1\times3\times4=12$$

Этот порядок обрабатывает ветвь куба перед ветвью умножения. Другие допустимые обратные заказы дают тот же результат при условии, что узел получает все последующие вклады до того, как он передаст свою накопленную производную на свои входы.

Виджет показывает полный обратный проход. Давайте теперь подключим к коду шаги умножения $v=xu$ и квадрата $u=y^2$. Обратный шаг умножения умножает две разные производные:

$$\underbrace{\frac{\partial f}{\partial v}}_{\text{stored in v.grad}} \times \underbrace{\frac{\partial v}{\partial x}}_{\text{u.data, the other operand's value}} =1\times4$$

Первый фактор сообщает нам, как конечный результат $f$ реагирует на $v$. Второй рассказывает нам, как $v$ реагирует на $x$, удерживая $u$ фиксированным. Их умножение — это цепное правило: оно дает вклад этого пути в производную по $x$.

Пошаговое руководство сохраняет числовые локальные производные во время прямого прохода. Другая реализация может сохранять значения операндов и оценивать те же локальные правила в обратном направлении. В этой форме метод умножения __mul__(self, other) создает результирующий узел с именем out, и его обратное правило можно записать как:

Для v = x * u out — это $v$, self — это $x$, а other — это $u$. Записанные с этими именами, за обновлениями умножения следует обновление квадрата:

Прямой проход предоставил $u=4$, $x=3$ и $y=2$. Умножение использует значение другого операнда для каждой локальной производной. Квадрат использует $2y=4$ и умножает его на накопленное u.grad = 3.

Код	Значение
out.grad	Производная окончательного результата по отношению к результату этой операции
other.data	Значение другого операнда, равное локальной производной при умножении
+=	Добавьте вклад этого пути в накопленную производную ввода

other.data хранит значение, а не производную. Правило умножения говорит, что это значение равно нужной локальной производной. Для сложения локальная производная равна $1$, поэтому соответствующее обновление — self.grad += out.grad * 1. Для степени вычисляем правило производной степенной функции при заданном входе: локальная производная куба — $3x^2$, а квадрата — $2y$.

В символьном виджете мы объединили локальные производные выражения по пути от $y$:

$$\frac{\partial f}{\partial y} =\frac{\partial f}{\partial v}\cdot\frac{\partial v}{\partial u}\cdot\frac{du}{dy} =1\cdot x\cdot2y =2xy$$

Код следует тем же связям, но объединяет цифры. Дополнение дает v.grad = 1; умножение дает u.grad = 1 × 3 = 3; квадрат дает y.grad = 3 × 4 = 12. Таким образом, u.grad уже содержит первые два фактора символического выражения. Autodiff получает ту же производную без построения комбинированной формулы $2xy$.

Эти шаги вычисляют производные в точке $(3,2)$; они не обновляют входные данные, чтобы минимизировать функцию. Класс Value автоматизирует обратные шаги за один вызов f.backward().

От вычислений к движку

Производная измеряет местную чувствительность. Частные производные изолируют эффект каждого входного сигнала, а градиент собирает эти измерения в вектор. Обратное распространение ошибки вычисляет их, действуя в обратном направлении через записанные операции: умножая производные вдоль каждого пути и добавляя вклады в местах пересечения путей.

Чтобы увидеть, как эти идеи реализованы на Python, следуйте пошаговому руководству Андрея Карпати по Micrograd. Локальные правила производных, накопление градиента и обратный обход, которые мы рассмотрели здесь, обеспечивают основу для понимания его реализации.

Для более глубокого математического представления изучите это выступление об автоматическом дифференцировании и линейных отображениях. Он связывает исчисление с линейной алгеброй, показывая, как производные действуют как линейные отображения, как их представляют матрицы Якоби и как их объединяет цепное правило — математические основы автоматического дифференцирования.