Одним із найкорисніших способів перегляду вектора є комбінація складових векторів. Ця перспектива допомагає нам зрозуміти перетворення матриці. Замість того, щоб запитувати лише те, що матриця робить із усім вхідним вектором, ми можемо запитати, що вона робить із кожним компонентом. Оскільки перетворення є лінійним, перетворені компоненти дають такий самий результат, як і перетворення всього вектора. Деякі компоненти можуть сильно впливати на результат, деякі можуть бути ослаблені або перенаправлені, а деякі можуть бути повністю проігноровані.

Для нейронних мереж ця перспектива особливо корисна, оскільки вектори активації часто містять багато видів інформації одночасно. Конкретна вагова матриця не обов’язково використовує всю цю інформацію. Тому розуміння трансформації частково стає питанням визначення того, які напрямки в просторі активації мають значення для матриці, а які ні.

Одним із точних способів зробити це розрізнення є простір рядків і нульовий простір матриці. Вони розділяють вхідний простір на напрямки, які можуть впливати на вихід, і напрямки, які матриця повністю стирає. Це пояснює, як два різні вектори активації можуть дати абсолютно однаковий результат під однаковою ваговою матрицею.

У попередній статті ми досліджували, як вагові матриці перетворюють вектори та чому нейронним мережам потрібні нелінійні активації. У цій статті ми розробляємо лінійну алгебру, необхідну для більш детального вивчення цих перетворень.

Спочатку ми розглянемо, як вектори можна побудувати з інших векторів, чому той самий вектор можна розкласти в різних напрямках і як лінійні комбінації та скалярні добутки допомагають нам міркувати про перетворення. Потім ми вивчимо чотири фундаментальні підпростори матриці — її простір рядків, нульовий простір, простір стовпців і лівий нульовий простір — і використаємо їх, щоб зрозуміти, які вхідні компоненти визначають вихід, а які матриця стирає. Супутній експеримент застосовує цю основу на практиці, будуючи та перевіряючи проекцію.

Це забезпечує основу для майбутніх статей, зокрема наш експеримент MNIST: що читає навчений класифікатор. Там прихований шар створює вектор із 128 значень активації для кожного рукописного зображення цифри. Ми визначаємо 118 незалежних напрямків, які навчений вихідний рівень ігнорує, видаляємо відповідний компонент вектора активації та зберігаємо цифри класифікатора аж до числового округлення.

Побудова вектора з компонентів

Матриця визначає лінійне перетворення від вхідного простору до вихідного простору. Його форма визначає кількість координат у цих просторах; його записи визначають, куди йде кожен вхід. У нейронній мережі вхідний простір — це простір, у якому знаходяться вектори активації з попереднього рівня. Вихідний простір - це місце, де живуть лінійно перетворені вектори, до застосування будь-якої нелінійної активації.

Щоб зрозуміти вплив матриці на вектор, нам потрібно поглянути на компоненти вектора, на які її можна розкласти. Кожен компонент сам по собі є вектором у вхідному просторі, а вихідний вектор є їх сумою. За лінійністю матриця перетворює кожен компонент окремо, а результуючі вектори дають такий самий результат, як і пряме перетворення вихідного вектора. Деякі компоненти можуть бути розтягнуті, скорочені або спрямовані в іншому напрямку, тоді як інші можуть відобразитися на нуль і повністю зникнути.

Вектор має багато можливих розкладів за допомогою координатних осей або напрямків, які перетинають кілька осей. У механістичній інтерпретації та аналізі репрезентації такі методи, як PCA/SVD, лінійні зонди та розріджені автокодери, допомагають визначити корисні напрямки даних, розкриваючи структуру, розподілену між кількома записами вектора активації.

Давайте тепер розглянемо, як побудувати вектор із компонентів. Кожна опція у наведеному нижче віджеті створює той самий синій вектор $h=(5,3,2)$ за допомогою лінійної комбінації різних векторів-компонентів: кожна кольорова стрілка є вибраним вектором, масштабованим за коефіцієнтом, і ці вектори-компоненти в сумі дають $h$. Перший варіант використовує три базисних вектора координат $e_1=(1,0,0)$, $e_2=(0,1,0)$ і $e_3=(0,0,1)$. Кожен вказує вздовж відповідної осі координат і масштабується відповідною координатою $h$.

Coordinate basis Other basis Two vectors

(5, 3, 2) = 5(1, 0, 0) + 3(0, 1, 0) + 2(0, 0, 1)

Scale e₁

5

Scale e₂

3

Scale e₃

2

Давайте детальніше розглянемо параметр Координатний базис віджета, щоб розрізнити базисний вектор, його коефіцієнт і результуючу компоненту вектора. Базисний вектор $e_1$ є одиничним вектором, що представляє напрямок: він має довжину одиницю. Скаляр $5$ вказує нам, наскільки його масштабувати, а $5e_1=(5,0,0)$ є фактичним векторним компонентом. Три компоненти вектора додають до наших вхідних даних:

$$h=5e_1+3e_2+2e_3=(5,0,0)+(0,3,0)+(0,0,2)=(5,3,2).$$

Такі координати, як $5$, часто називають скалярними компонентами. У цій статті векторний компонент означає весь масштабований вектор, наприклад $(5,0,0)$.

На рівні нейронної мережі кожен нейрон створює одну з цих скалярних координат. Таким чином, коефіцієнти віджета $5$, $3$ і $2$ можуть бути виходами трьох нейронів для одного входу. Кожна активація масштабує відповідний базисний вектор координат, даючи компонентний вектор уздовж цієї осі. Разом ці компонентні вектори утворюють вектор активації рівня $h=(5,3,2)$, як показано нижче:

Наприклад, нейрон 2 видає скаляр $3$. Ми представляємо його внесок у вектор шару як $3e_2=(0,3,0)$. Множення на $e_2$ і додавання компонентних векторів є нашим математичним описом складання координат; не потребує додаткового шару. Той самий $h$ є виходом цього шару та входом наступного шару.

Вагова матриця $W$ наступного шару перетворює ці вектори-компоненти, а результати підсумовуються до нового вектора: $Wh=5We_1+3We_2+2We_3$. Це лінійна частина обчислення наступного рівня перед додаванням будь-якого зміщення та застосуванням його функції активації.

Виходи нейронів забезпечують один із способів розкладання вектора активації шару. Значна частина аналізу репрезентації та механістичної інтерпретації шукає більш інформативну декомпозицію — напрямки або підпростори, які допомагають пояснити, що представляє мережа та як вона використовує цю інформацію. Математично можлива нескінченна кількість розкладів, тому нам потрібні критерії та експерименти, щоб визначити корисні.

Відокремлення напрямку від величини

Відокремлення напрямку від величини допомагає нам міркувати про підпростори та перетворення. Такі вектори, як $(1,1,1)$ і $(2,2,2)$, охоплюють одну лінію, незважаючи на різну довжину. Представлення їхнього напрямку за допомогою одиничного вектора дає змогу скалярним добуткам безпосередньо вимірювати довжини проекцій зі знаком і дає змогу досліджувати, як матриця перетворює цей напрямок окремо від того, скільки його присутнього у вхідних даних.

Щоб зробити це поділ явним, ми записуємо компонент вектора як $\alpha d$: $d$ є одиничним вектором, що представляє вибраний напрямок, а $\alpha$ є скаляром зі знаком, який визначає, яку частину його потрібно включити. У нашому прикладі $d=e_1$ і $\alpha=5$. Оскільки довжина ніколи не буває від’ємною, ми використовуємо абсолютне значення $|\alpha|$ для вираження довжини компонента. Знак мінус у $\alpha$ означає, що компонент вказує в протилежному напрямку до $d$.

Як ми виражаємо компонент як скаляр, помножений на одиничний вектор, коли ми знаємо лише його координати? Для будь-якого ненульового вектора $v$ обчисліть його довжину $\|v\|$ і поділіть кожну координату на цю довжину. Це нормалізація:

$$d=\frac{v}{\|v\|}, \qquad \alpha=\|v\|, \qquad v=\alpha d.$$

Вибір $d$ для вказівки в тому ж напрямку, що й $v$, робить $\alpha$ позитивним. Якщо натомість ми спочатку фіксуємо одиничний напрямок, компонент, що вказує протилежний йому, матиме від’ємний коефіцієнт.

Ми можемо продемонструвати нормалізацію за допомогою вектора, який уже є у віджеті. Одним із векторів у наборі Інша основа є $v=(1,1,1)$, який вказує на всі три осі координат. Спочатку його коефіцієнт дорівнює $2$, тому зелений компонент дорівнює $2v=(2,2,2)$. Ці вектори мають різну довжину, але однаковий напрямок.

Щоб представити їх спільний напрямок за допомогою одиничного вектора, ми можемо використати нормалізацію L2. Нормалізація масштабує вектор до загальної довжини $1$, зберігаючи його напрямок. Спочатку ми обчислюємо довжину $v$, зводячи його координати в квадрат, додаючи їх і витягуючи квадратний корінь. Потім ми ділимо кожну координату на цю довжину. Масштабування всіх координат на однакову додатну величину зберігає напрямок:

$$\|v\|=\sqrt{1^2+1^2+1^2}=\sqrt{3}, \qquad d=\frac{v}{\|v\|}=\frac{1}{\sqrt{3}}(1,1,1).$$

Результуючий вектор має довжину $\|d\|=\sqrt{\tfrac13+\tfrac13+\tfrac13}=1$. Таким чином ми можемо нормалізувати будь-який ненульовий вектор; нульовий вектор не має напрямку і не може бути розділений на свою довжину.

Множення на вихідну довжину відновлює базисний вектор: $v=\sqrt{3}\,d=(1,1,1)$. Тому зелений компонент віджета можна записати так:

$$2v=2\sqrt{3}\,d =2\sqrt{3}\left(\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}\right) =(2,2,2).$$

Коефіцієнт $2$, коли ми масштабуємо $v$, але $2\sqrt{3}$, коли ми масштабуємо одиничний вектор $d$. Сам компонент залишається незмінним. Переміщення першого повзунка масштабує цей компонент у тому ж напрямку; від’ємне значення змінює його.

Від складових векторів до підпросторів

Поки що ми вибрали коефіцієнти для побудови одного вектора. Зберігаючи вектори, які ми комбінуємо, фіксованими, ми можемо змінювати ці коефіцієнти для всіх дійсних чисел, щоб побудувати цілий набір векторів. Ця множина є їхньою оболонкою, і вона утворює підпростір.

У наведеному нижче віджеті фіксовані вектори $(4,1,1)$ і $(1,2,1)$ охоплюють площину. Зелена та рожева стрілки показують їх масштабовані компоненти, а синій вектор — їх суму. Коли ви змінюєте коефіцієнти, синій вектор переміщується в межах площини, показуючи різні члени одного підпростору. Він не додає незалежного напрямку, оскільки повністю побудований із двох фіксованих векторів.

Show vector outside the planeReset

1(4, 1, 1) + 1(1, 2, 1) = (5, 3, 2)

Coefficient a

1

Coefficient b

1

Спробуйте змінити два коефіцієнти, позначені $a$ і $b$, у віджеті вище. Синій вектор рухається в межах заштрихованої площини. Вектори поза цією площиною не можуть бути досягнуті шляхом поєднання наших двох фіксованих векторів, незалежно від того, які коефіцієнти ми виберемо. Виберіть Показати вектор поза площиною, щоб побачити один із таких прикладів: помаранчевий маркер $(0,0,3)$.

Заштрихована ділянка показує частину розмаху наших двох фіксованих векторів: нескінченну площину, що містить усі їхні можливі лінійні комбінації. Цілочисельні повзунки віджета показують лише деякі з цих комбінацій; дозволяючи $a$ і $b$ приймати будь-які дійсні значення, досягає кожного вектора на площині. Кожен результат має вигляд:

$$a(4,1,1)+b(1,2,1)=(4a+b,\;a+2b,\;a+b)$$

Загалом, для фіксованих векторів $v_1$ і $v_2$ ми пишемо:

$$S=\operatorname{span}\{v_1,v_2\} =\{av_1+bv_2:a,b\in\mathbb R\}$$

Цей весь діапазон є підпростором $\mathbb R^3$, навколишнього тривимірного векторного простору. Одне розкладання вибирає певні коефіцієнти та створює один вектор; підпростір містить кожен вектор, який можуть побудувати наші фіксовані охоплюючі вектори. Він містить нульовий вектор, і масштабування або додавання векторів у ньому завжди дає інший вектор у тому самому наборі. У нашому прикладі вся площина є підпростором, а кожен синій вектор є одним із його членів.

Наші два незалежні вектори перетинають площину через початок координат. Вектор $h=(5,3,2)$ лежить у цій площині, тому що ми можемо побудувати його за допомогою $a=b=1$. Але $(0,0,3)$ недосяжний: доведення перших двох координат до нуля змушує $a=b=0$, що також робить третю нульовою. Щоб досягти кожного вектора в 3D, нам знадобиться третій вектор поза площиною. Кожен із попередніх віджетів Координатний базис і Інша основа надає три незалежні вектори, тому їхні діапазони заповнюють увесь $\mathbb R^3$.

Один і той самий вектор може належати до різних підпросторів. Наприклад, $(1,0,0)$ можна побудувати як $(1,1,0)+(0,-1,0)$, компоненти якого охоплюють площину $xy$, або як $(1,0,1)+(0,0,-1)$, компоненти якого охоплюють площину $xz$. Нескінченно багато площин, що проходять через початок координат, містять цей самий вектор.

Reset view

xy-plane · z = 0xz-plane · y = 0Shared line: the x-axis

Отже, вектор не визначає унікальний більший підпростір. Проте, як тільки ми фіксуємо остовні вектори, їх проміжок визначається однозначно. У наведеному вище віджеті обидві площини містять вісь $x$. Синій вектор і його кінцева точка $(1,0,0)$ лежать в обох площинах. Кожна заштрихована ділянка є частиною нескінченної площини.

Підпростори дають нам можливість вивчати структуру в представленнях нейронної мережі. Підпростір можна пов’язати з ознакою або групою пов’язаних ознак: його охоплюючі вектори забезпечують напрямки, уздовж яких представлення може змінюватися, а зміна їхніх коефіцієнтів створює компоненти, які можуть кодувати різні значення ознак. Проте вектори, які охоплюють підпростір, не обов’язково представляють окремі характеристики, такі як колір або форма. Нам потрібні експерименти, щоб з’ясувати, яку інформацію вони представляють, якщо така є.

Дослідники експериментально перевірили такі інтерпретації. Дослідження Отелло визначило напрямки, що кодують стан дошки, і змінило поведінку моделі, змінивши активації вздовж них. Інше дослідження виявило дні та місяці, розташовані приблизно колами в двовимірних підпросторах активації; втручання змінили прогнози щодо арифметичних завдань на день і місяць. Площина є підпростором, а положення навколо кола представляють значення ознак. Ці експерименти надають докази того, що моделі використовують визначені представлення, не маючи на увазі, що кожна точка в підпросторі має значущу інтерпретацію.

У наведених вище прикладах ми бачили, як два вектори охоплюють площину і як вектор поза цією площиною залишається недосяжним, незалежно від вибраних нами коефіцієнтів. Тепер цікаве питання полягає в тому, що визначає геометрію цього проміжку: чому площина, а не лінія чи весь тривимірний простір, і що визначає, яку площину ми отримаємо? Щоб відповісти на це питання, нам потрібно відрізнити кількість координат від кількості незалежних напрямків.

Три координати не потребують трьох незалежних напрямків

Якщо ми побудуємо вектор у $\mathbb R^3$ шляхом додавання компонентних векторів, кожен компонент також матиме три координати. Наявність трьох координат говорить нам, що вектори живуть у тривимірному просторі; це не говорить нам про розмір підпростору, який вони охоплюють. Розмірність діапазону залежить від того, скільки з вибраних векторів є лінійно незалежними.

Розглянемо два незалежні вектори $v_1=(1,0,0)$ і $v_2=(0,1,0)$. Їх комбінації мають вигляд $(a,b,0)$. Оскільки третя координата завжди дорівнює нулю, ці вектори заповнюють площину $xy$. Вони можуть будувати $(3,5,0)$, але не $(3,5,2)$. Тепер замініть другий вектор на $(0,1,2)$:

$$a(1,0,0)+b(0,1,2)=(a,b,2b)$$

Проліт все ще є площиною, тепер нахиленою так, що $z=2y$. Наприклад, $3(1,0,0)+5(0,1,2)=(3,5,10)$ лежить у ньому. Двовимірний підпростір у тривимірному просторі не потребує, щоб одна координата дорівнювала нулю. Вектор може мати три ненульові координати та все ще лежати в цій площині: третя координата прив’язана до другої, залишаючи лише два незалежних вибору.

Порівняйте плоску та похилу площини нижче. Зміна коефіцієнтів переміщує сині вектори в їхніх площинах; жодна конструкція не може досягти позначеної червоною цілі.

Reset

Flat plane · 2D

v₁ = (1, 0, 0)v₂ = (0, 1, 0)

3(1, 0, 0) + 5(0, 1, 0)
= (3, 5, 0)

Tilted plane · 2D

v₁ = (1, 0, 0)v₂ = (0, 1, 2)

3(1, 0, 0) + 5(0, 1, 2)
= (3, 5, 10)

a · scale v₁

3

b · scale v₂

5

Додавання третього вектора поза цією площиною, наприклад $(0,0,1)$, дозволяє нам побудувати будь-який вектор у $\mathbb{R}^3$ шляхом вибору відповідних коефіцієнтів:

$$a(1,0,0)+b(0,1,2)+c(0,0,1)=(a,b,2b+c)$$

Тепер ми можемо побудувати будь-який цільовий вектор $(x,y,z)$. Наша комбінація створює $(a,b,2b+c)$, тому ми вибираємо $a=x$ і $b=y$, щоб відповідати першим двом координатам, а потім $c=z-2y$, щоб відповідати третій. Наприклад, щоб створити $(3,5,2)$, виберіть $a=3$, $b=5$ і $c=-8$. Третій вектор, який уже є в площині, не додасть незалежного напрямку.

Наступний віджет показує це розширення, починаючи з плоскої площини: додавання $(0,0,1)$ дає правосторонній конструкції третій незалежний напрямок. З трьома вільно вибраними коефіцієнтами ця конструкція може досягти будь-якого вектора в $\mathbb R^3$. Початкові значення $a=3$, $b=5$ і $c=2$ досягають цільового $(3,5,2)$. Перемістіть $c$, щоб змінити його третю координату, не змінюючи перших двох.

Reset

Flat plane · 2D

v₁ = (1, 0, 0)v₂ = (0, 1, 0)

3(1, 0, 0) + 5(0, 1, 0)
= (3, 5, 0)

Full space · 3D

v₁ = (1, 0, 0)v₂ = (0, 1, 0)v₃ = (0, 0, 1)

3(1, 0, 0) + 5(0, 1, 0) + 2(0, 0, 1)
= (3, 5, 2)

a · scale v₁

3

b · scale v₂

5

c · scale v₃ (right plot)

2

З точки зору аналізу представлень, спільний підпростір, у цьому випадку площина, може розповісти нам щось про колекцію представлень. Щоб підключити цю геометрію до нейронної мережі, подумайте, що відбувається, коли вона обробляє кілька різних вхідних даних. Ми можемо зібрати вектори активації з одного шару в матрицю активації з одним входом на рядок і одним нейроном на стовпець. Аналіз цієї матриці може виявити, чи лежать зібрані активації в спільному підпросторі меншої розмірності.

Припустимо, три зображення утворюють вектори активації $(1,1,0)$, $(2,0,2)$ і $(3,1,2)$. Усі три можуть бути побудовані з тих самих двох фіксованих векторів, $v_1=(1,1,0)$ і $v_2=(1,-1,2)$:

$$\begin{aligned} (1,1,0)&=v_1,\\ (2,0,2)&=v_1+v_2,\\ (3,1,2)&=2v_1+v_2. \end{aligned}$$

Тому всі три активації лежать в одній площині, незважаючи на те, що кожна має три координати. Охоплюючі вектори залишаються фіксованими; тільки їхні коефіцієнти змінюються від зображення до зображення.

Коли ми пропускаємо різні зображення через один і той же шар, кожне зображення створює свій власний вектор активації. Щоб перевірити, чи мають ці вектори спільну площину, ми запитуємо, чи можуть однакові два охоплюючі вектори побудувати кожен із них. Знаходження площини, яка містить вектор активації одного зображення, не говорить нам про те, чи лежать у ній також вектори активації з інших зображень.

Далі подивимося, що станеться, якщо ми організуємо наші будівельні вектори як стовпці матриці.

Лінійні комбінації: побудова виводу зі стовпців

Уявіть два набори можливих векторів. Ми називаємо їх вхідним простором і вихідним простором. Матриця $W$ визначає функцію відображення між ними: вона приймає вхідний вектор $x$ і створює вихідний вектор $Wx$. Це відображення є лінійним перетворенням.

Якщо ми поглянемо на те, як $W$ будує вихідні дані, ми побачимо, як кожен стовпець вносить компонентний вектор. Кожен стовпець знаходиться у вихідному просторі та масштабується за відповідною координатою $x$ — вихід одного нейрона в попередньому шарі. Раніше ми бачили, як активації нейронів масштабують базові вектори координат для формування вектора активації шару. При переході до наступного рівня ті ж самі активації масштабують стовпці $W$, які служать векторами, які ми об’єднуємо для створення результату. Сума цих масштабованих стовпців становить $Wx$, що робить вихід лінійною комбінацією стовпців матриці.

Записуючи стовпці як $w_1,\ldots,w_n$ і вхідні координати як $x_1,\ldots,x_n$, ми можемо представити цю конструкцію так:

$$Wx=x_1w_1+x_2w_2+\cdots+x_nw_n.$$

У нейронній мережі $W$ — це вагова матриця шару, а $x$ — вектор активації, наданий попереднім шаром. Кожна координата $x_i$ масштабує відповідний стовпець $w_i$, утворюючи компонентний вектор $x_iw_i$ виходу.

Наведений нижче віджет дотримується цієї конструкції по одному стовпцю за раз. Кожна координата вхідного $x=(5,3,2)$ масштабує відповідний стовпець для створення компонентного вектора. Виберіть Наступна колонка, щоб прослідкувати, як кожна вхідна координата масштабує свій стовпець. Відповідна стрілка підкреслює цей крок, тоді як усі три внески додають до трансформованого виходу $Wx=(19,8,2)$.

Column 1Column 2Column 3Next column →

5 × (2, 1, 0) = (5 × 2, 5 × 1, 5 × 0) = (10, 5, 0)

Ці компоненти дозволяють відстежувати, як окремі вхідні координати впливають на результат. Щоб вивчити функцію, розподілену за декількома координатами, ми можемо замість цього розкласти вхідні дані за напрямками, пов’язаними з цією функцією, і дослідити, як $W$ перетворює ці компоненти.

Простір стовпців: які результати може охопити матриця?

Матриця не обов’язково досягає кожного вектора у вихідному просторі; він може відображати всі вхідні вектори в менший підпростір, такий як площина в тривимірному просторі. Раніше ми бачили, як фіксований набір векторів-компонентів може будувати лише вектори, що лежать у межах їхнього діапазону, який утворює підпростір. Для матриці цей підпростір досяжних виходів називається її простором стовпців.

Назва походить від того факту, що стовпці матриці є фіксованими векторами, що охоплюють підпростір можливих виходів.

У попередньому віджеті ми побудували той самий вектор $h=(5,3,2)$, використовуючи три різні набори компонентних векторів. Давайте тепер розглянемо кожну конструкцію як матричне перетворення: вектори, які ми вибрали, стають стовпцями $W$, їхні коефіцієнти стають вхідним вектором $x$, а $h$ є вихідним $Wx$.

Усі три конструкції дають $h$ із вибраними коефіцієнтами, але не всі вони можуть давати однаковий діапазон інших виходів. Зберігаючи кожну матрицю фіксованою та змінюючи її вхідні дані, ми можемо побачити, які вектори належать її простору стовпців.

Спочатку давайте почнемо з вектора під опцією Координатний базис. Ми створили $h$ як $5(1,0,0)+3(0,1,0)+2(0,0,1)$. Три вектори координат стають стовпцями $W$, а масштабні коефіцієнти $5,3,2$ стають елементами $x$:

$$W=\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}, \qquad x=\begin{pmatrix}5\\3\\2\end{pmatrix}, \qquad Wx=\begin{pmatrix}5\\3\\2\end{pmatrix}$$

Оскільки $W$ є одиничною матрицею, вона залишає вхідні дані без змін: $Wx=x=(5,3,2)$.

Вхідний вектор $x$ має три координати, тому вхідним простором є $\mathbb R^3$. Кожна координата масштабує один стовпець $W$. Ці три стовпці охоплюють весь $\mathbb R^3$, тому ця матриця може досягати кожного вектора у вихідному просторі.

Давайте тепер розглянемо варіант Інша основа. Будуємо той самий вектор, що й $h=2(1,1,1)+1(1,-1,1)+1(2,2,-1)=(5,3,2)$. Тепер стовпці $(1,1,1)$, $(1,-1,1)$ і $(2,2,-1)$ із вхідними коефіцієнтами $2,1,1$:

$$W=\begin{pmatrix}1&1&2\\1&-1&2\\1&1&-1\end{pmatrix}, \qquad x=\begin{pmatrix}2\\1\\1\end{pmatrix}, \qquad Wx=\begin{pmatrix}5\\3\\2\end{pmatrix}$$

Вхідний простір і вихідний простір все ще $\mathbb R^3$. Ці три стовпці також є незалежними, тому їх лінійні комбінації можуть створити кожен вихідний вектор. Ми змінили вектори побудови та вхідні коефіцієнти, але все ще можемо досягти всього $\mathbb R^3$.

Щось цікаве з’являється, коли ми пробуємо варіант Два вектори. Той самий вектор $h$ тепер будується лише за допомогою двох векторів побудови: $h=1(4,1,1)+1(1,2,1)=(5,3,2)$. Це означає, що наша матриця перетворення має лише два стовпці. Його вхідні дані містять два коефіцієнти $1,1$:

$$W=\begin{pmatrix}4&1\\1&2\\1&1\end{pmatrix}, \qquad x=\begin{pmatrix}1\\1\end{pmatrix}, \qquad Wx=\begin{pmatrix}5\\3\\2\end{pmatrix}$$

Простір введення тепер $\mathbb R^2$, оскільки ми надаємо лише два коефіцієнти. Вихідний простір залишається $\mathbb R^3$, тому що кожен вихід все ще має три координати: $(4a+b,\;a+2b,\;a+b)$. Однак є лише два незалежні варіанти, $a$ і $b$, навіть якщо результат має три координати. Форма матриці обмежує досяжний підпростір у вихідному просторі щонайбільше двома вимірами.

Два вектори побудови, які ми обрали, і, отже, відповідні стовпці матриці, незалежні, тому вони охоплюють площину через початок координат, тоді як їхні значення визначають, яка це площина. У попередніх прикладах стовпці охоплювали весь тривимірний вихідний простір. У цьому випадку, маючи лише два вектори, ми все одно можемо досягти того самого вектора $h=(5,3,2)$, але лише тому, що він лежить у площині, яку вони охоплюють — просторі стовпців матриці. Вектори поза цією площиною залишаються недосяжними.

У таблиці нижче порівнюються три конструкції: які вхідні вектори приймає кожна матриця та які вихідні вектори вона може створити. Усі три мають однаковий тривимірний вихідний простір, але лише деякі з матриць можуть створити кожен вектор у цьому просторі.

Варіант віджета	Вхідний простір: коефіцієнти $x$	Простір стовпців: доступні виходи
Координатний базис	$\mathbb R^3$	Усі $\mathbb R^3$
Інша основа	$\mathbb R^3$	Усі $\mathbb R^3$
Два вектори	$\mathbb R^2$	Літак усередині $\mathbb R^3$

Ми бачили, як наявність лише двох стовпців обмежує досяжні виходи щонайбільше площиною. Цікаво, що наявність трьох стовпців не гарантує, що матриця може охопити весь тривимірний вихідний простір. Стовпці також повинні бути лінійно незалежними.

У наведеній нижче матриці перші два стовпці ідентичні, тому другий стовпець не додає нового напрямку. Стовпці $c_1$ і $c_3$ є незалежними і утворюють основу для площини досяжних виходів:

$$W=\begin{pmatrix}1&1&0\\0&0&1\\1&1&1\end{pmatrix}, \qquad c_1=\begin{pmatrix}1\\0\\1\end{pmatrix},\quad c_2=\begin{pmatrix}1\\0\\1\end{pmatrix},\quad c_3=\begin{pmatrix}0\\1\\1\end{pmatrix}$$

Математично ми можемо зрозуміти, чому ці три стовпці дають результати лише у двох незалежних напрямках. Запишемо вхід як $h$, а вихід як $z=Wh$. Починаючи з $c_2=c_1$, перші дві вхідні координати масштабують той самий вектор стовпця:

$$z=Wh=h_1c_1+h_2c_2+h_3c_3 =(h_1+h_2)(1,0,1)+h_3(0,1,1)$$

Якщо взяти $s=h_1+h_2$ і $t=h_3$, кожен можливий вихід матиме вигляд:

$$s(1,0,1)+t(0,1,1)=(s,t,s+t)$$

Ми бачимо, що кожен вихід визначається двома значеннями, $s=h_1+h_2$ і $t=h_3$, причому третя координата завжди дорівнює сумі перших двох. Усі вектори з цим відношенням утворюють площину, яка є простором стовпців матриці. Розмір залежить від кількості незалежних напрямків, а не від кількості стовпців.

Точкові добутки: побудова виводу по одному рядку за раз

У попередньому розділі ми бачили, як стовпці матриці будують свій вихід із масштабованих векторів. Давайте тепер подивимося на те саме перетворення через рядки матриці та розглянемо, як компонентні вектори вхідних даних впливають на кожну вихідну координату. Як пояснюється в як нейрони працюють разом, щоб трансформувати вектор, кожен рядок вагової матриці отримує скалярний добуток із усім вхідним вектором, утворюючи одну вихідну координату.

Віджет нижче виконує обчислення по одному рядку за раз. Виберіть кожен рядок, щоб побачити, що його ваги беруть скалярний добуток із усім вхідним $h=(5,3,2)$, утворюючи одну координату вихідного $Wh=(19,8,2)$.

Row 1Row 2Row 3Next row →

z₁ = 2 × 5 + 1 × 3 + 3 × 2 = 19

Зупинимося на першому ряду. Його скалярний добуток із усіма вхідними даними дає скаляр $19$:

$$(2,1,3)\cdot(5,3,2)=10+3+6=19.$$

Лінійність дозволяє нам виразити цей скалярний добуток як суму вкладів векторів компонентів вхідних даних. Щоб побачити, звідки походять $10$, $3$ і $6$, розділіть вхідні дані на компоненти координат:

$$h=c_1+c_2+c_3, \qquad c_1=(5,0,0),\quad c_2=(0,3,0),\quad c_3=(0,0,2).$$

Для першого рядка, $r=(2,1,3)$, лінійність дає:

$$r\cdot h=r\cdot(c_1+c_2+c_3)=r\cdot c_1+r\cdot c_2+r\cdot c_3.$$

Кожен компонент надає один скалярний внесок у цю вихідну координату:

$$\begin{aligned} r\cdot c_1&=(2,1,3)\cdot(5,0,0)=10,\\ r\cdot c_2&=(2,1,3)\cdot(0,3,0)=3,\\ r\cdot c_3&=(2,1,3)\cdot(0,0,2)=6. \end{aligned}$$

Їх додавання дає $r\cdot h=10+3+6=19$, точно такий же результат, як і безпосереднє обчислення $(2,1,3)\cdot(5,3,2)$.

Повторення цього обчислення для кожного рядка дає один скалярний результат на рядок. Збір цих результатів створює вихідний вектор $Wh=(19,8,2)$. Для кожного рядка скалярний добуток із усіма вхідними даними дає той самий результат, що й додавання скалярних добутків із його компонентами.

Це працює для будь-якої декомпозиції вхідних даних: якщо $h=v_1+v_2$, то $r\cdot h=r\cdot v_1+r\cdot v_2$, навіть якщо компоненти вказують в інших напрямках.

Геометрично ми можемо спроектувати кожен компонент на ту саму пряму — напрям вектор-рядка $r$ — і додати ці проекції зі знаком. Їх сума дорівнює проекції всього входу. Компонент, спрямований частково вздовж $r$, робить позитивний внесок, компонент, спрямований частково проти нього, робить негативний внесок, а перпендикулярний компонент робить нульовий внесок.

Щоб чітко побачити ці проекції, наступний віджет використовує двовимірний приклад із одиничним рядком $r=(1,0)$, спрямованим уздовж горизонтальної осі. Зелений вектор $c_1$ і рожевий вектор $c_2$ є двома складовими векторами. Синій вектор $h=c_1+c_2$ є об’єднаним вектором, який вони будують.

Пунктирні лінії з’єднують кінцеву точку кожного вектора з його проекцією на горизонтальну вісь. Кольорові стрілки уздовж цієї осі показують прогнозовані вектори: зелений для $c_1$, рожевий для $c_2$ і синій для їх суми $h$. Ці стрілки проекцій можуть перекриватися. Проекція, спрямована вправо, робить позитивний внесок, одна, що вказує вліво, негативно, а нульова проекція не дає нічого. Оскільки $r$ має довжину один, кожна довжина проекції зі знаком дорівнює відповідному скалярному добутку на $r$.

Перетягніть кінцеву точку будь-якого компонента або змініть його координати, щоб побачити оновлення об’єднаного вектора та його проекцій. Спробуйте Протилежні знаки, Перпендикулярний і Скасування, щоб побачити негативні, нульові та скасовані внески.

Both positiveOpposite signsPerpendicularCancelling

h = (3, 2) + (1, -1) = (4, 1)

c₁ = (3, 2)

xy

c₂ = (1, -1)

xy

Віджет використовував одиничний рядок, тому довжина проекції зі знаком кожного компонента була його внеском у результат. Рядок вагової матриці не повинен мати довжину один: його довжина масштабує кожен внесок. Щоб зрозуміти, який внесок має кожен компонент, ми повинні враховувати як його довжину, так і його вирівнювання з рядком.

Для одиничного напрямку рядка $u=r/\|r\|$ скалярний добуток $u\cdot c$ є довжиною проекції зі знаком компонента $c$. Використання самого $r$ множить цю довжину на $\|r\|$:

$$u\cdot c=\|c\|\cos\theta, \qquad r\cdot c=\|r\|\,(u\cdot c)=\|r\|\,\|c\|\cos\theta,$$

де $\theta$ — кут між компонентом і напрямком рядка. Для нашого рядка $r=(2,1,3)$, довжина якого $\sqrt{14}$:

• $c_1=(5,0,0)$ має довжину $5$ і вирівнювання $\cos\theta_1=2/\sqrt{14}$, що дає внесок $10$.
• $c_2=(0,3,0)$ має довжину $3$ і вирівнювання $\cos\theta_2=1/\sqrt{14}$, що дає внесок $3$.
• $c_3=(0,0,2)$ має довжину $2$ і вирівнювання $\cos\theta_3=3/\sqrt{14}$, що дає внесок $6$.

З цього ми бачимо, що третій компонент найбільш точно узгоджується з $r$: він має найбільший косинус і, отже, найменший кут до напрямку рядка. Але перший компонент робить більше, оскільки він довший. Кожен вхідний компонент робить внесок відповідно до його довжини та вирівнювання з напрямком рядка, а лінійність дозволяє нам додати ці внески зі знаком, щоб отримати відповідь рядка на весь вхідний вектор.

Рядки та стовпці дають два способи обчислення того самого перетворення:

	Стовпці	Рядки
Де живуть переносники	Вихідний простір	Пробіл для введення
Роль у множенні	Масштабуйте та додавайте, щоб створити результат	Кожен використовує скалярний добуток для обчислення однієї вихідної координати

Пробіл у рядку та нульовий пробіл: що матриця читає та ігнорує

Почнемо з двох векторів $(1,0,0)$ і $(0,1,0)$. Вони незалежні, а їх лінійні комбінації мають вигляд

$$a(1,0,0)+b(0,1,0)=(a,b,0)$$

Їхній розмах є площиною $xy$, усі її вектори мають форму $(a,b,0)$, як показано у віджеті нижче.

Тепер уявіть, що ми маємо синій вектор $h=(3,5,2)$ і хочемо побачити, чи лежить він у цьому підпросторі. Один із способів розкласти його на зелений компонент $(1,1,0)$ і рожевий компонент $(2,4,2)$.

Зверніть увагу, що зелений компонент лежить у площині, а рожевий компонент і синій вектор лежать поза нею. Зелений компонент лежить у площині, оскільки його можна побудувати з двох векторів $(1,0,0)$ і $(0,1,0)$, які охоплюють його.

Тепер припустимо, що ми використовуємо два фіксовані вектори $(1,0,0)$ і $(0,1,0)$ як рядки матриці:

$$W=\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}$$

У цьому випадку кожен рядок надає вектор, який ми можемо використовувати в лінійній комбінації. Разом ці вектори охоплюють підпростір вхідного простору, відомий як простір рядків. Отже, площина у віджеті є простором рядків цієї матриці.

Давайте тепер спробуємо інше розкладання того самого синього вектора, використовуючи зелений компонент $(3,5,0)$ і рожевий компонент $(0,0,2)$. Зелений все ще лежить у площині простору рядків, але рожевий тепер вказує перпендикулярно до нього, як показано у віджеті нижче.

Давайте розглядатимемо синій вектор $h$ як вхідні дані та перевіримо, як його компоненти впливають на вихідні дані кожного розкладання. Матриця дає однаковий результат в обох випадках, але компоненти в кожному розкладанні роблять різний внесок у нього.

У першому розкладанні ми можемо обчислити внесок кожного компонента, взявши його скалярний добуток на кожен рядок $W$. Кожен результат дає одну координату внеску цього компонента у результат.

	Зелений компонент $(1,1,0)$	Рожевий компонент $(2,4,2)$
Скалярний добуток з рядком 1	$(1,0,0)\cdot(1,1,0)=1$	$(1,0,0)\cdot(2,4,2)=2$
Скалярний добуток з рядком 2	$(0,1,0)\cdot(1,1,0)=1$	$(0,1,0)\cdot(2,4,2)=4$
Внесок у випуск	$(1,1)$	$(2,4)$

Третя координата жодного компонента не впливає на результат, оскільки обидва рядки матриці мають нульову третю координату. Відповідно до лінійності, внески зеленого та рожевого додають до результату:

$$Wh=W(1,1,0)+W(2,4,2)=(1,1)+(2,4)=(3,5)$$

У другому розкладанні зелений $(3,5,0)$ дає весь вихід, тоді як рожевий $(0,0,2)$ не дає нічого:

	Зелений компонент $(3,5,0)$	Рожевий компонент $(0,0,2)$
Скалярний добуток з рядком 1	$(1,0,0)\cdot(3,5,0)=3$	$(1,0,0)\cdot(0,0,2)=0$
Скалярний добуток з рядком 2	$(0,1,0)\cdot(3,5,0)=5$	$(0,1,0)\cdot(0,0,2)=0$
Внесок у випуск	$(3,5)$	$(0,0)$

Як і в першому розкладанні, третя координата жодного компонента не впливає на результат, оскільки обидва рядки матриці мають нульову третю координату. Відповідно до лінійності, внески зеленого та рожевого додають до результату:

$$Wh=W(3,5,0)+W(0,0,2)=(3,5)+(0,0)=(3,5)$$

Зверніть увагу на різницю між двома декомпозиціями: перший рожевий компонент все ще сприяє виходу, тоді як другий не робить нічого. Це відбувається тому, що другий рожевий компонент перпендикулярний до обох рядків і, отже, до всього простору рядків. Ми можемо побачити це у віджетах і в обчисленнях скалярного добутку в таблицях. У першому випадку рожевий компонент має скалярний добуток $2$ і $4$ з двома рядками, тоді як у другому випадку обидва скалярні добутки дорівнюють нулю. Це показує, що розміщення поза простором рядка не означає, що вектор повністю ігнорується; бути перпендикулярним до кожного ряду.

Нульовий простір: вхідні дані, які нічого не вносять

Ми побачили, що другий рожевий компонент, $(0,0,2)$, нічого не вносить, тому що він перпендикулярний до кожного рядка. Те саме стосується кожного вектора $(0,0,z)$ вздовж осі $z$: зміна його довжини або реверсування напряму залишає обидва скалярні добутки нульовими.

Набір усіх вхідних векторів, які матриця відображає в нуль, називається її нульовим простором. Для матриці, яку ми використовували в попередніх розділах, цим набором є вся вісь $z$. Перший рожевий компонент має частину в нульовому просторі; другий цілком лежить у ньому.

Компонент нульового простору вхідних даних є $(0,0,2)$ в обох випадках. Друге розкладання явно ізолює його, поміщаючи весь компонент простору рядків зеленим кольором. Вхід має багато можливих розкладів, але його поділ на компонент простору рядків і компонент нульового простору є унікальним.

Тож ми можемо взяти будь-яку матрицю та вхідні дані, які вона приймає, і визначити, яку частину вхідних даних матриця ігнорує, а яка впливає на вихідні дані. Існує лише один спосіб розділити вхідні дані так, щоб одна частина повністю лежала в просторі рядка, а інша повністю в нульовому просторі.

Для нашої матриці та вхідних даних це саме друге розкладання, показане у наших віджетах і таблицях:

$$(3,5,2)=\underbrace{(3,5,0)}_{\text{row-space component}}+\underbrace{(0,0,2)}_{\text{null-space component}}$$

Альтернативна декомпозиція $(1,1,0)+(2,4,2)$ будує той самий вхід, але його другий компонент не повністю в нульовому просторі. Розрахунок для цього прикладу простий; для загальної матриці такі методи, як SVD, дозволяють систематично обчислювати розподіл.

Вектор відображається в нуль, коли він перпендикулярний до кожного рядка — і, отже, до кожного вектора в просторі рядків. Нульовий простір — це перпендикулярне доповнення простору рядка, яке ми записуємо так:

$$\operatorname{Null}(W)=\operatorname{Row}(W)^\perp$$

Символ $\perp$ позначає всі вектори, які перпендикулярні кожному вектору в цьому просторі. Розбиття вхідних даних на ці дві частини дає:

$$h=h_{\mathrm{row}}+h_{\mathrm{null}}, \qquad Wh=Wh_{\mathrm{row}}$$

Отже, $Wh=Wh_{\mathrm{row}}$ показує, що лише компонент простору рядків впливає на результат. Матриця все ще може змінювати свою довжину та напрямок або відображати її у вихідний простір з іншою кількістю координат.

Лівий нульовий пробіл: перпендикулярно до кожного можливого виходу

Припустимо, що матриця ваг шару має третій рядок, що дорівнює сумі перших двох рядків. Це призводить до обмеження на вихід: третя координата завжди дорівнює сумі перших двох. Незалежно від того, який вхід ми йому надаємо, він не може створити $(1,2,4)$, тому що перші дві координати вимагатимуть, щоб третя була $3$. Нульовий простір зліва допомагає нам визначити такі обмеження на виході шару.

Як ми бачили раніше, простір стовпців містить усі можливі виходи. Лівий нульовий пробіл описує напрямки, перпендикулярні до них усіх. Подібно до того, як нульовий простір перпендикулярний простору рядка у вхідному просторі, лівий нульовий простір перпендикулярний простору стовпця у вихідному просторі.

У нашому попередньому прикладі простору стовпців кожен вивід має вигляд $(s,t,s+t)$. Третя координата завжди дорівнює сумі перших двох. Вектор $q=(-1,-1,1)$ фіксує це обмеження:

$$q\cdot(s,t,s+t)=-s-t+(s+t)=0$$

Він лежить у лівому нульовому просторі, оскільки він перпендикулярний до всіх можливих вихідних даних. Така ціль, як $(0,0,1)$, порушує це обмеження, тому жодні вхідні дані не можуть змусити цю матрицю створити його. Одна тільки зміна введення не може виправити цю невідповідність.

Це надає лівому нульовому простору практичну роль: воно виявляє обмеження щодо того, що може створити матриця фіксованої ваги. Для рівня лінійного прогнозування він може сказати нам, що деякі цільові виходи недоступні навіть до того, як ми спробуємо знайти вхідні дані, які їх створюють. Ці обмеження застосовуються до лінійного виходу $Wh$; додавання зміщення зміщує їх до $q\cdot z=q\cdot b$ для $z=Wh+b$, а наступна нелінійна активація може змінити їх ще більше.

Важливо підкреслити, що лівий нульовий пробіл не є місцем, куди йдуть стерті введення; ці входи відображаються на початок координат. Він описує обмеження на стороні виводу.

Поєднання чотирьох підпросторів разом

Тепер ми можемо з’єднати чотири простори в одне зображення. Пробіл рядків і нульовий пробіл розділяють вхідні дані на перпендикулярні компоненти. Матриця надсилає компонент нульового простору до нуля та перетворює компонент простору рядка на вихід у просторі стовпця. Лівий нульовий простір перпендикулярний кожному вектору в цьому вихідному підпросторі.

Зображення показує, як співвідносяться чотири підпростори, але його плоскі ділянки є схематичними: підпростір може бути лінією або площиною, залежно від матриці. Два наведені нижче віджети роблять ці стосунки конкретними. Ви можете змінити вхідні дані та побачити, як вони розбиваються на компоненти простору рядків і нульового простору, а також як кожен компонент впливає на вихід.

Давайте тепер дослідимо ці зв’язки у наведеному нижче віджеті. Він використовує вхідний вектор $h=(5,3,2)$ і матрицю:

$$W=\begin{pmatrix}1&1&0\\0&0&1\\1&1&1\end{pmatrix}$$

Початковий вхід $h=(5,3,2)$ лежить за межами як площини простору рядка, так і лінії нульового простору. У кожному з них є компонент. Три повзунки керують вхідними координатами $h_1$, $h_2$ і $h_3$. Зміна їх змінює вектор, який перетворює матриця, тоді як сама матриця залишається фіксованою.

Reset

Input space · ℝ³

Row space is a plane, Null space is a line

Output space · ℝ³

Column space is a plane, Left null space is a line

Drag either plot to rotate; scroll to zoom. With a plot focused, use the arrow keys to rotate, + and − to zoom, or 0 to reset zoom.

Input h₁

5

Input h₂

3

Input h₃

2

Whole input h(5, 3, 2)→(8, 2, 10)

Row-space component hrow(4, 4, 2)→(8, 2, 10)

Null-space component hnull(1, −1, 0)→(0, 0, 0)

Ось що визначає кожен із чотирьох підпросторів. Параметри $a$, $b$, $d$, $s$ і $t$ можуть бути будь-якими дійсними числами.

Три картки показують весь вхідний сигнал і два його компоненти. Застосування $W$ до компонента простору рядків дає той самий результат, що й застосування до всього введення. Компонент нульового простору вносить нуль, тому його додавання або видалення залишає результат незмінним.

$h_r$ і $h_n$ зображення відповідають $h_{\mathrm{row}}$ і $h_{\mathrm{null}}$ віджета. Спочатку синій вхід розбивається на зелений і рожевий компоненти:

$$\underbrace{(5,3,2)}_{h} =\underbrace{(4,4,2)}_{h_{\mathrm{row}}} +\underbrace{(1,-1,0)}_{h_{\mathrm{null}}}.$$

Стрілки, що перетинають зображення, означають застосування $W$. У віджеті як увесь вхід, так і його зелений компонент створюють $(8,2,10)$, тому їхні вихідні стрілки перекриваються в помаранчевій площині. Рожевий компонент відповідає нулю. Фіолетова лінія з лівим нульовим інтервалом перпендикулярна до вихідної площини; це не те, куди йдуть стерті входи.

Зміна вхідних даних залишає чотири підпростори фіксованими.

Давайте тепер використаємо той самий вхідний вектор $h=(5,3,2)$ із цією альтернативною матрицею:

$$W=\begin{pmatrix}1&1&0\\2&2&0\\3&3&0\end{pmatrix}$$

Він має таку саму форму $3\times3$, але ранг 1: усі його рядки кратні $(1,1,0)$. Проміжки рядків і стовпців є лініями, а обидва нульові проміжки є площинами. Початковий вхід лежить за межами лінії простору рядків і площини нульового простору, з компонентом у кожній. Повзунки змінюють вхідні дані, поки ця матриця залишається фіксованою.

Reset

Input space · ℝ³

Row space is a line, Null space is a plane

Output space · ℝ³

Column space is a line, Left null space is a plane

Drag either plot to rotate; scroll to zoom. With a plot focused, use the arrow keys to rotate, + and − to zoom, or 0 to reset zoom.

Input h₁

5

Input h₂

3

Input h₃

2

Whole input h(5, 3, 2)→(8, 16, 24)

Row-space component hrow(4, 4, 0)→(8, 16, 24)

Null-space component hnull(1, −1, 2)→(0, 0, 0)

Для цієї матриці чотири підпростори містять наступні вектори. Знову ж таки, параметрами можуть бути будь-які дійсні числа.

Тут зміна $h_3$ залишає результат незмінним: третій напрямок координат лежить у нульовому просторі. Лише компонент вздовж зеленої лінії простору рядка сприяє виведенню; кожен вихід лежить на помаранчевій лінії пробілу стовпця.

Ранг матриці та розмірність чотирьох підпросторів

Останнє поняття, яке нам потрібно розглянути, це ранг матриці. Ми бачили, що матриці однакової форми можуть мати різні розміри підпростору. Ранг говорить нам, скільки незалежних напрямків зберігає матриця, і разом із формою визначає розміри всіх чотирьох підпросторів.

Для матриці з $m$ рядками та $n$ стовпцями стовпці $n$ визначають вхідний простір $\mathbb R^n$, а $m$ рядки визначають вихідний простір $\mathbb R^m$. Це розміри повного вхідного та вихідного просторів, визначені формою матриці.

Кожна матриця має властивість під назвою ранг $r$, яка визначає спільний розмір її просторів рядків і стовпців: скільки незалежних напрямків охоплюють рядки та стовпці. Ці два простори завжди мають однаковий розмір, навіть якщо повний вхідний і вихідний простори мають різні розміри.

Так само максимальна кількість лінійно незалежних рядків завжди дорівнює максимальній кількості лінійно незалежних стовпців. Ранг не може перевищувати ні кількість рядків, ні кількість стовпців, формально $r\leq\min(m,n)$.

Розглянемо нашу попередню матрицю $2\times3$:

$$W=\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}$$

Його форма описує перетворення з трьох вхідних координат у дві вихідні координати: $3\to2$. Його два рядки є незалежними, тому його ранг дорівнює 2. Простір рядків — це $xy$-площина всередині $\mathbb R^3$, що складається з векторів $(a,b,0)$. Простір стовпців - це весь $\mathbb R^2$, що складається з векторів $(a,b)$.

Отже, простори рядків і стовпців мають один і той же розмір, хоча повні простори введення та виведення мають різні розміри. Простір рядків все ще містить трикоординатні вектори; тільки дві координати можуть змінюватися незалежно. У просторі стовпців ці дві незалежні координати заповнюють весь простір виводу.

Two independent directions on each side → rank(W) = 2

Input space · ℝ³

The row space is a plane inside 3D.

Row-space dimension: 2

Null-space dimension: 3 − 2 = 1

Output space · ℝ²

The column space fills all of 2D.

Column-space dimension: 2

Left-null-space dimension: 2 − 2 = 0

Заштриховані площини мають однаковий розмір, але живуть у різних навколишніх просторах. Мітки $r_1,r_2$ позначають рядки у вхідному просторі $\mathbb R^3$; $c_1,c_2,c_3$ позначає стовпці у вихідному просторі $\mathbb R^2$, з $c_3=0$ у початку координат. Затінення показує частину кожної нескінченної площини.

У таблиці порівнюються повні простори введення та виведення з просторами рядків і стовпців для цієї матриці:

космос	Де живе	Його розмір
Пробіл для введення	$\mathbb R^3$	3
Простір рядка	Площина всередині $\mathbb R^3$: вектори $(a,b,0)$	2
Вихідний простір	$\mathbb R^2$	2
Простір колонки	Усі $\mathbb R^2$: вектори $(a,b)$	2

Ця матриця зберігає перші дві координати та відкидає третю:

$$\underbrace{\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}}_{W} \begin{pmatrix}h_1\\h_2\\h_3\end{pmatrix} =\begin{pmatrix}h_1\\h_2\end{pmatrix}.$$

Ми можемо записати це як $W(h_1,h_2,h_3)=(h_1,h_2)$, використовуючи кортеж як скорочення для вектора-стовпця. Наприклад, і $(5,3,2)$, і $(5,3,99)$ відображаються на $(5,3)$. Компонент простору рядків $(a,b,0)$ відображається на $(a,b)$, тоді як компонент нульового простору $(0,0,c)$ відображається на нуль.

Це залишає один напрямок нульового простору у вхідних даних: третю вісь координат. На стороні виводу простір стовпця вже заповнює весь $\mathbb R^2$, тому його перпендикулярне доповнення — лівий нульовий простір — містить лише нульовий вектор і має нульову розмірність.

Той самий облік розмірності працює для будь-якої матриці $m\times n$ рангу $r$: простори рядків і стовпців мають розмірність $r$, нульовий простір має розмірність $n-r$, а лівий нульовий простір має розмірність $m-r$.

Форма встановлює межу; записи визначають ранг. Інша матриця $2\times3$ може мати ранг 1. Її повні простори введення та виведення все одно будуть $\mathbb R^3$ та $\mathbb R^2$, але простори рядків і стовпців будуть рядками. Тоді його нульовий простір матиме розмір $3-1=2$, а лівий нульовий простір матиме розмір $2-1=1$.