Як нейрони стали лінійною алгеброю

У нашій статті про вагові матриці ми переходили між двома видами нейронної мережі: шаром нейронів, з’єднаних із попереднім шаром, і матрицею, що знаходиться між шарами, перетворюючи вектор. Зв’язок між цими поглядами далеко не очевидний: як мережа взаємодіючих одиниць стала розумітися як перетворення векторів? Історично цей перехід вимагав суттєвої зміни того, що дослідники думали, що вони вивчали.

Ми можемо побачити, наскільки далеко зайшла ця зміна, відкривши книгу Френка Розенблата «Принципи нейродинаміки» (https://www.cri.minesparis.psl.eu/people/silber/cours/2025/nlp/bib/RosenblattF1962.pdf#page=97), опубліковану в 1962 році. Він описує зв’язки між одиницями за допомогою матриці взаємодії та розглядає регульовані параметри мережі як координати в евклідовому просторі. Навчання можна описати як рух у цьому просторі.

Тут кожен повний набір значень ваги є точкою в просторі можливих ваг мережі. Коли навчання змінює ваги, ця точка переміщується до нових координат, тому послідовні оновлення простежують шлях через цей простір параметрів. Цей рух описує, як змінюються ваги мережі під час навчання; вхідна діяльність, що проходить через мережу, є окремим процесом.

ВИЗНАЧЕННЯ 16: Матриця взаємодії для мережі одиниць S, A і R – це матриця коефіцієнтів зв’язку, $v_{ij}$, для всіх пар одиниць, $u_i$ і $u_j$. Якщо немає зв’язку від $u_i$ до $u_j$, $v_{ij}$ визначається як нуль. Вказівка ​​матриці взаємодії еквівалентна вказівці точки у фазовому просторі.

Тут матриця фіксує міцність зв’язків між підрозділами. Це дає нам зв’язок між двома поглядами: зв’язки в мережі стають коефіцієнтами в матриці, яку ми можемо використовувати для обчислення того, як діяльність переходить між одиницями.

Однак матриця Розенблата позначає лише один етап у довшій історії. Щоб зрозуміти, як нейронні мережі були описані за допомогою лінійної алгебри, нам потрібно поглянути як на ідеї, які їй передували, так і на розробки, які пішли за ними. Дослідники займалися обчисленнями, розпізнаванням і пам’яттю, і кожна проблема давала їм різні причини використовувати математику.

Проблема з ідеально визначеною схемою

Відправною точкою була спрощена картина біологічного нейрона: він або спрацьовує, або ні. Уоррен МакКаллох і Волтер Піттс спиралися на цю ідею у своїй [статті] 1943 року (https://home.csulb.edu/~cwallis/382/readings/482/mccolloch.logical.calculus.ideas.1943.pdf). Якби нейронну активність можна було б ідеалізувати як подію «все або нічого», можливо, мережі нейронів можна було б вивчати за допомогою логіки.

Їх спрощені блоки мали пороги та затримки. Деякі входи збуджували одиницю; гальмівні входи можуть перешкодити його запуску. З фіксованою структурою мережі вони могли досліджувати, як її діяльність виражала логічні зв’язки, включаючи зв’язки між подіями в різний час.

Привабливість цього підходу легко побачити. Замість того, щоб стикатися з усіма біологічними деталями відразу, ви можете вказати схему та обґрунтувати, що вона обчислює. Математичним об’єктом став малюнок з’єднаних клітинок.

Але визначення схеми залишає поза увагою те, що робить навчання цікавим. Тварина набуває поведінки через досвід. Щось у системі має бути можливість змінити.

Книга Дональда Гебба «Організація поведінки» (https://www.dengfanxin.cn/wp-content/uploads/2016/03/1949Hebb.pdf), опублікована в 1949 році, помістила цю зміну в ефективність зв’язків. Коли одна клітина неодноразово спричиняла спалах іншої, припустив він, тривала зміна може зробити цей вплив сильнішим. Це була біологічна гіпотеза, виражена словами. Це дало пізнішим математичним моделям конкретне місце для застосування ефектів досвіду.

Розенблатт хотів отримати кількісну інформацію про те, як система з частково випадковим підключенням може навчатися. У своїй [статті] про персептрон 1958 року (https://homepages.math.uic.edu/~lreyzin/papers/rosenblatt58.pdf) він вказав на труднощі з логічним підходом: широка організація нервової системи може бути відома, тоді як її точні зв’язки залишаються невідомими. Тому він обрав теорію ймовірностей як основу для своєї моделі.

Цей вибір змінює питання. Маючи точно визначену схему, ми можемо запитати, що вона обчислює. Маючи статистично описану популяцію одиниць, ми можемо запитати, за яких умов вона набуде корисної поведінки.

Персептрон Розенблата містив сенсорні, асоціативні та відповідальні одиниці з випадковою частиною зв’язку. Навчання змінило те, як асоціативна діяльність впливала на відповіді. Це була набагато багатша пропозиція, ніж єдиний пороговий нейрон, який зазвичай вводить перцептрони сьогодні.

Тепер існували шаблони діяльності, які потрібно було розрізняти, зв’язки, які потрібно було налаштувати, і навчальну поведінку, яку можна було передбачити. Логіка зробила нейронні обчислення доступними. Імовірність дозволила Розенблату досліджувати це, не знаючи кожного дроту.

Коли з’єднання стало координатою

Як тільки сила з’єднання є регульованим числом, ми можемо описати навчання геометрично. Для нейрона з двома вагами та зміщенням кожне налаштування є точкою $(w_1,w_2,b)$ у тривимірному просторі. Кожна вісь представляє один регульований параметр. Зміна параметрів під час навчання переміщує цю точку, тому послідовність оновлень простежує шлях через те, що ми називаємо простором параметрів.

Бернард Уідроу та Марчіан Гофф конкретизували цю точку зору у своїй роботі над ADALINE 1960 року. У їхньому аналізі вхідні дані були векторами, а середня квадратична помилка сформувала поверхню над параметрами регульованого коефіцієнта пристрою. Вони виміряли цю помилку до того, як кінцевий поріг перетворив сигнал на дискретне рішення, що дозволило адаптації слідувати поверхні до мінімуму. Цей же коефіцієнт був установкою в пристрої і координатою в задачі оптимізації.

Це повертає нас до книги Розенблата. Його матриця взаємодії зібрала ваги зв’язків між нейронами, використовуючи нуль там, де зв’язку не було. Ці регульовані ваги зберегли наслідки навчання — «пам’ять» мережі. Різні налаштування ваги стали точками в просторі параметрів. Далі він використовував ранг і сингулярність, щоб проаналізувати, які класифікації можуть реалізувати перцептрони.

Наступна спрощена діаграма показує лише зв’язки та ваги нейронів; їх функції активації опущені. Це наочний приклад, а не відтворення архітектури Розенблата. На кожній стрілці вказано її вагу:

Ми можемо записати ті самі з’єднання в таблицю з рядками для отримання одиниць і стовпцями для надсилання одиниць:

Кожна клітинка дає вагу від одиниці стовпця до одиниці рядка; 0 означає, що в цьому прикладі немає зв’язку в цьому напрямку. Зберігаючи той же порядок рядків і стовпців, ми отримуємо матрицю $W$:

Запис у рядку $B$, стовпці $A$ є $2$, що відповідає стрілці $A\to B$. Рядок $C$ містить дві вхідні ваги: ​​$-1$ від $A$ і $3$ від $B$. Рядок $A$ складається з нулів, тому що в $A$ немає стрілок, а діагональ дорівнює нулю, оскільки жодна одиниця не з’єднується сама з собою. Зміна міцності одного з’єднання змінює один запис матриці.

Матриця проводила справжню роз’яснювальну роботу. Мережу можна досліджувати як ціле, і властивості цього цілого можуть сказати вам щось, що важко побачити, перевіряючи її з’єднання окремо.

Ті самі математичні інструменти також можуть виявити обмеження мережі. У своїй книзі Perceptrons 1969 року Марвін Мінскі та Сеймур Пейперт досліджували моделі, які об’єднували вихідні дані детекторів ознак за допомогою однієї зваженої суми та порогу. Вони показали, що для деяких завдань успіх залежав від того, що можуть представляти ці детектори: одного налаштування остаточних ваг було недостатньо.

Чому порахувати недостатньо

Одну з проблем, яку досліджували Мінскі та Пейперт, було легко сформулювати: задано зображення, на якому кожен піксель увімкнено або вимкнено, вирішити, парною чи непарною є кількість активних пікселів. Ця властивість називається парністю. На наступній діаграмі показано всі чотири можливі зображення з двома пікселями, $x_1$ і $x_2$, і їхні бажані результати:

Припустімо, ми подаємо ці два піксельні значення безпосередньо в один пороговий нейрон. Для кожної пари вхідних даних створюється одне число, яке називається її активацією. Він обчислює це за допомогою двох збережених ваг, по одному на вхід, і зміщення. Нейрон додає зважені вхідні дані та зсув, а потім застосовує свій функція активації: двійковий поріг, який виводить 1, якщо результат більший за нуль, і 0 в іншому випадку. Інші функції активації можуть видавати такі значення, як 0,3 або 2,7.

Щоб розв’язати задачу на парність шляхом підрахунку, нам потрібно скласти активні пікселі та перевірити, чи загальна сума непарна. Встановлення обох ваг на 1 обробляє підрахунок: зважена сума стає $x_1+x_2$. Але поріг нейрона може лише перевірити, чи перевищує цей показник відсічення, встановлене зміщенням. Наприклад, упередження $-0.5$ дає порівняння $x_1+x_2-0.5>0$ або, еквівалентно, $x_1+x_2>0.5$. Це перевіряє, чи є принаймні один піксель активним, що включає випадок, коли обидва активні, а кількість парна.

Записано як кроки:

sum = x₁ + x₂
if sum > 0.5:
    output 1
else:
    output 0

Порівняйте його результати з бажаними мітками парності:

Останній рядок розкриває обмеження: приймаючи кількість 1, також приймається 2. Переміщення межі не може вибрати лише середню кількість. Це двопіксельне завдання паритету називається XOR.

Окремий нейрон із лінійною зваженою сумою та однопороговою активацією не може розв’язати XOR. Зміна його ваг чи зміщення все одно залишає прямолінійну межу прийняття рішень, $w_1x_1+w_2x_2+b=0$. Чотири вхідні пари утворюють квадрат, а парні та непарні класи займають дві його діагоналі. Жодна пряма лінія не розділяє їх.

Інша активація може вирішити цю проблему: виводити 1 лише тоді, коли сума лежить між 0,5 і 1,5, і 0 в іншому випадку. З обома вагами, встановленими на 1 і нульовим зміщенням, один нейрон буде успішним. Але ця спеціальна активація вже кодує правило, яке ми хочемо застосувати.

Сучасні мережі зазвичай поєднують багато нейронів із простими функціями активації загального призначення та вивчають ваги, які змушують їх працювати разом. ReLU, наприклад, виводить нуль для негативних значень і зберігає позитивні значення. Прихований шар, який використовує цю операцію, може навчитися перетворювати вхідні дані в особливості, які вихідний нейрон може розділити. Наш приклад XOR показує, як це зробити.

Цей приклад ізолює один пороговий нейрон, який отримує необроблені пікселі. Розенблат модель 1958 року уже включав сенсорні, асоціативні та відповідні одиниці, тому на той час існували більш ранні етапи обробки. Нейрон відповіді може отримати характеристики, створені цими етапами. Важливим було те, чи ці функції підтримують необхідне рішення.

Результат паритету Мінського та Пеперта розглядав цю ширшу ситуацію. Вони довели, що персептрон, який об’єднує детектори ознак через один зважений поріг, не може визначити парність для кожного входу, якщо принаймні один детектор не залежить від усього зображення.

Таким чином, невдача може виникнути через нездатність архітектури забезпечити необхідні функції. У цьому випадку налаштування остаточної сили з’єднання не може вирішити проблему.

Матриця, яка могла запам’ятати

Визнання було лише однією з причин піклуватися про зміну зв’язків. Пам’ять породила іншу проблему: як досвід міг залишити слід, який міг би відновити пізніший сигнал?

Карл Стейнбух підійшов до цієї проблеми в Die Lernmatrix, опублікованій у 1961 році. Назва означає «матриця навчання». Запропонована ним схема мала фазу навчання, у якій сигнали, що представляють властивості, з’являлися поряд із пов’язаним значенням, і фазу відкликання, у якій представлення одного могло відновити інше. Він запропонував реалізації з використанням магнітних запам’ятовуючих елементів або електрохімічних процесів і передбачив такі застосування, як розпізнавання символів і пошук інформації.

Це перетворило пам’ять на інженерну проблему: як змінити масив під час навчання, щоб сигнали, що проходять через нього, пізніше відновлювали асоціацію.

Теуво Кохонен розглянув цю проблему в Кореляційній матриці спогади, опублікованій у 1972 році. Він явно замінив матрицю перемикання Стейнбуха на кореляційну матрицю, вивчаючи математику асоціативного пригадування, залишаючи його можливу біологічну роль за межами статті.

У версії, яка зберігає кожен попарний продукт, кожна асоціація поєднує вектор ключа з вектором даних. Множення кожного компонента даних на кожен ключовий компонент сформувало зовнішній добуток: матрицю попарних добутків. У пам’яті зберігається масштабована сума цих матриць. Застосування його до ключа створювало відкликаний шаблон.

Та сама математика пояснила, чому пригадування може піти не так. Подібні ключі можуть повернути небажані внески від інших асоціацій. Спогади, що зберігаються разом, можуть заважати один одному.

[Робота] Джеймса Андерсона (https://papers.baulab.info/papers/also/Anderson-1972.pdf), опублікована того року, наближалася до тієї самої конструкції, заснованої на продукті, через локальні синаптичні зміни. З’єднання змінювалося пропорційно до продукту активності в комірці-відправнику та активності в комірці-одержувачі. Завдяки зв’язкам між кожною парою клітин у двох групах ці зміни сформували однаковий вид зовнішнього продукту. Тут числове правило Хебба стало оновленням матриці: локальні зміни накопичувалися в сховищі, з якого пізніше можна було отримати пов’язаний шаблон.

Джон Хопфілд надав проблемі пам’яті особливо впізнавану форму у своїй [статті] 1982 року (https://papers.baulab.info/papers/also/Hopfield-1982.pdf): уявіть собі відновлення повного бібліографічного посилання з фрагмента, можливо, навіть фрагмента, що містить орфографічну помилку.

Його мережа повертала активність через регулярні підключення. Неповний шаблон може перетворитися на збережений. Матриця зв’язку описувала, як одиниці впливають один на одного, тоді як окремий вектор описував їхні поточні стани.

За допомогою симетричних з’єднань, відсутності самоз’єднань і асинхронних оновлень Хопфілд міг показати, що енергетична функція не зростатиме зі зміною станів. Це пов’язувало нейронні спогади з поведінкою взаємодіючих фізичних систем. Збережені моделі можуть діяти як атрактори: стани, до яких рухається активність поблизу.

Під час відкликання з’єднання залишалися фіксованими. Діяльність налагодилася. Матриця зв’язку та нелінійні оновлення разом пояснювали, як часткова репліка може призвести до більш повного шаблону.

Ми пройшли довгий шлях від збирання міцності з’єднань у таблиці. Матриці можуть допомогти пояснити, як зберігається досвід, чому спогади заважають і як мережа відновлюється після недосконалої підказки.

Вивчення того, що повинен бачити наступний шар

Проблема розпізнавання все ще містила труднощі, виявлені персептронним аналізом: корисні рішення залежали від корисних властивостей. Чи може мережа набути цих функцій також через досвід?

Один показовий результат надійшов від Ерккі Оджа у 1982 році. Він досліджував лінійний нейрон із модифікованим правилом навчання Гебба, щоб контролювати зростання його ваг. За умов його аналізу ваги наближалися до домінантного власного вектора матриці другого моменту вхідного сигналу. Для вхідних даних із нульовим середнім цей напрямок є першим головним компонентом.

Таким чином, правило, виражене як зміни локального з’єднання, може отримати відому статистичну структуру. Лінійна алгебра допомогла визначити, чому навчався нейрон.

Для мережі з кількома етапами було додаткове завдання. Навчальні приклади могли б уточнювати відповідь, але вони, як правило, не вказували, що має виявляти кожен проміжний блок. Бажана поведінка на виході мала направляти зміни глибше в мережу.

Девід Румельхарт, Джеффрі Хінтон і Рональд Вільямс яскраво представили цю можливість у «Навчанні представлень шляхом зворотного поширення помилок, опублікованому в 1986 році. Їхні приклади коригували приховані з’єднання, а також вихідні з’єднання. У мережі, навчені розпізнавати дзеркальну симетрію, вони перевірили вивчені ваги, щоб зрозуміти, як проміжні одиниці внесли свій внесок у рішення.

Похідний механізм мав раннє коріння в роботі Сеппо Ліннайнмаа про зворотне накопичення, що походить від його дисертації 1970 року, і в дисертації Пола Вербоса 1974 року, описаній у його пізнішій розповіді. Демонстрація 1986 року показала, чому цей механізм важливий для нейронного навчання: попередні стадії могли навчитися забезпечувати функції, необхідні наступним стадіям.

Наша стаття про зворотне поширення пояснює обчислення. Для цієї історії важливою зміною є те, що стало регулюватися. Навчання може сформувати трансформації, які спричинили внутрішнє уявлення, а також остаточне рішення, прийняте на основі цього.

Картина з’єднаних нейронів все ще описувала мережу. Картина послідовних навчених перетворень описувала те, чого досягала мережа.

Як діаграма стала програмою

До цього моменту вектори та матриці могли описувати зв’язки, пам’ять, статистичні характеристики та перетворення між шарами. Комусь, хто входить у тему, потрібен був спосіб зрозуміти ці описи разом.

Майкл І. Джордан надав один у першому томі Parallel Distributed Processing, опублікованому в 1986 році. Його внеском був розділ 9, підручник з лінійної алгебри, який використовується для аналізу моделей тому.

Він викладав векторні простори, скалярні добутки та лінійність, показуючи, як прості коннекціоністські моделі відповідають операціям над векторами. Читач вивчав математичну мову, яку можна було переносити з однієї моделі на іншу.

Це дає нам конкретну точку для того, щоб зв’язок став частиною навчальної програми. Дослідники десятиліттями використовували матриці. Тепер основна презентація коннекціоністських моделей включала вступ, покликаний навчити читачів думати в цих термінах.

Цей освітній зрушення знову видно в книзі Крістофера Бішопа «Нейронні мережі для [розпізнавання] шаблонів» (https://people.sabanciuniv.edu/berrin/cs512/lectures/Book-Bishop-Neural%20Networks%20for%20Pattern%20Recognition.pdf), опублікованій у 1995 році. У передмові Хінтон представив книгу Бішопа як задоволення потреби в чіткому поясненні, побудованому на лінійній алгебрі, обчисленні та ймовірності.

Бішоп перейшов від простіших статистичних моделей до багаторівневих мереж. Новачок може вивчити нейронні мережі як частину математичного лікування оцінки, оптимізації та узагальнення. Шлях від біологічної аналогії до числових моделей все більше входив у спосіб викладання предмету.

Програмне забезпечення зробило цю мову практичною. Панель інструментів NETLAB Іана Набні помістила опис матриці безпосередньо в код. Його [програма] прямого проходу (https://github.com/sods/netlab/blob/master/mlpfwd.m) приймає матрицю вхідних прикладів. Матричне множення, додавання зміщення та нелінійна активація обчислюють прихований шар. Інше матричне множення переносить свою діяльність на вихідний етап.

Кожен рядок містить приклад, тому ті самі операції обробляють увесь пакет через обидва шари. Зв’язки на схемі стали коефіцієнтами в програмі.

Для студента, який навчається за цими книгами та інструментами, два описи надходять разом. Немає окремого моменту виявлення того, що шар може бути матрицею: це вже те, як шар пояснюється та реалізується.

Згодом графічні процесори зробили організацію цих операцій ще більш послідовною. У своїй роботі 2009 року, присвяченій широкомасштабному неконтрольованому навчанню, Раджат Райна, Ананд Мадхаван і Ендрю Нґ висловили обчислення для мереж глибоких переконань за допомогою матричних операцій, які паралельні числові процедури можуть виконувати ефективно. Пакетна робота та обмеження передачі даних між пам’яттю ЦП і ГП були важливими для отримання вигоди. Наше порівняння CPU та GPU досліджує цю практичну проблему.

Алгебра також запропонувала спосіб обговорення архітектурних рішень. У статті Transformer 2017 року автори згрупували запити, ключі та значення в матриці та вказали на оптимізоване множення матриць як на перевагу швидкості та пам’яті за рахунок скалярного добутку. Деякі з матриць тепер описують взаємодії, обчислені на основі поточних вхідних даних, розширюючи словниковий запас за межі фіксованої сили з’єднання.

Дві фотографії, з яких ми почали, стали знайомими разом, оскільки дослідники виявили, що так багато можна зробити, переміщаючись між ними. Розгляд нейронної активності як чисел, а зв’язків як коефіцієнтів дало зважене підсумовування точного алгебраїчного опису разом із нелінійними операціями мережі. Цей опис допоміг пояснити навчання та пам’ять, а потім став мовою підручників і програмного забезпечення. Коли ми сьогодні вивчаємо підпростори вагової матриці, ми успадковуємо цю історію: спосіб бачити мережу, яка стала природною завдяки використанню.