Рівень нейронної мережі дає нам вектор чисел. Дослідники говорять про пошук ознак у цьому векторі: шаблон, пов’язаний з мовою, конструкція програмування або певний вид зображення. Вони також говорять про ці функції як про напрямки. Як напрямок набуває значення, і як у векторі може бути більше напрямків ознак, ніж чисел?

У Towards Monosemanticity дослідники розклали активації шару з 512 нейронами на понад 4000 вивчених функцій. Це не означає, що вони знайшли 4000 лінійно незалежних осей у 512-вимірному просторі. Вони вивчили більшу колекцію шаблонів і описали кожну активацію, використовуючи невелику їх вибірку.

Розріджений автокодер або SAE вивчає цей тип опису. Щоб зрозуміти, що він робить, ми створимо приклад із чотирма функціями в трьох вимірах. Ми побачимо, як розріджений набір сильних сторін може створити щільний вектор активації, чому напрямки, що накладаються, ускладнюють відновлення, і що SAE може навчитися з результатів. Потім ми проведемо невеликий експеримент, у якому знаємо генеруючі функції та зможемо перевірити відповідь.

Багато функцій, маленький вектор

Виберіть певний шар і позицію маркера в мовній моделі. Його активація може мати 128 координат:

$$x=(x_1,x_2,\ldots,x_{128})\in\mathbb R^{128}.$$

Підрахунок координат повідомляє нам розмірність цього простору активації. Це не говорить нам, скільки різних властивостей може представляти модель для всіх входів, з якими вона стикається.

Особливість, на малюнку, який ми досліджуватимемо, є повторюваною властивістю з чисельною силою. Шаблон, пов’язаний із текстом французькою мовою, може мати велику силу на деяких вхідних даних і малу або нульову силу на інших. Необхідно перевірити, чи заслуговує конкретний вивчений шаблон такого опису; номери не надходять з написами.

А поки що уявіть, що ми знаємо особливості. Кожен має фіксований вектор $v_i$, що описує, як він сприяє активації. Активація є їх зваженою сумою:

$$x=f_1v_1+f_2v_2+\cdots+f_nv_n.$$

Скаляр $f_i$ показує, наскільки сильно присутня функція $i$. Вектор $v_i$ показує, як ця сила впливає на координати $x$. Це точна конструкція в нашому прикладі. У застосуванні до реальної моделі це стає гіпотезою про її представлення, як правило, з деякою помилкою реконструкції.

Тут з’являються два показники: кількість координат у $x$ та кількість можливих інгредієнтів у сумі. Першим кроком до розуміння SAE є розуміння того, чому вони можуть відрізнятися.

Об’єкт може змінити декілька координат

Зменште простір активації до трьох вимірів, щоб ми могли його намалювати. Припустимо, що одна властивість, яку ми назвемо D, сприяє цьому

$$v_D=(1,1,1).$$

Якщо його потужність $0.7$ і жодні інші функції не активні, активація є

$$x=0.7v_D=(0.7,0.7,0.7).$$

Збільшення сили D від $0.7$ до $1$ змінює активацію на

$$\Delta x=0.3v_D=(0.3,0.3,0.3).$$

Всі три координати зростають разом. Об’єкт має напрямок, навіть якщо не має спеціальної координати.

Три об’єкти виконують тут різні ролі. Точка $x$ представляє певну активацію. Вектор $v_D$ визначає зміну, спричинену однією одиницею D. Коефіцієнт $f_D$ визначає, який внесок цього вектора вносить. Власне, $v_D$ визначає як напрямок, так і масштаб; поділ його на довжину зберігає напрямок, змінюючи значення однієї одиниці коефіцієнта.

Та сама геометрія працює у 128 вимірах. Вектор ознак може містити 128 ненульових записів. Зміна однієї функції може змінити кожну координату активації.

Розріджені функції можуть викликати щільні активації

Наведіть у нашому прикладі чотири можливі характеристики від A до D. Їх сильні сторони утворюють окремий вектор:

$$f=(f_A,f_B,f_C,f_D).$$

Для входу з активним лише D ми могли б мати

$$f=(0,0,0,1), \qquad x=(1,1,1).$$

Тільки одна з чотирьох сильних сторін відмінна від нуля, а всі три координати активації відмінні від нуля.

Рідкість описує, скільки сильних властивостей є активними для входу. Це не вимагає, щоб результуючий вектор активації містив нулі. Також не вимагається, щоб вектор напрямку об’єкта містив нулі.

Чотири особливості роблять відмінність видимою; практичні словники можуть містити тисячі або мільйони кандидатів, причому на кожному вході активна набагато менша кількість. Функції також не повинні бути взаємовиключними: один вхід може активувати декілька одночасно.

Для звичайного трансформатора вектор $f$ у цьому поясненні не повинен існувати як явний масив, що зберігається моделлю. Ми пропонуємо спосіб розкласти його активації. SAE створить явний код, який намагатиметься описати їх у цій формі.

Чотири напрямки поміщаються в трьох вимірах

Ось наш повний словник:

Особливість	Вектор у просторі активації
A	$v_A=(1,0,0)$
B	$v_B=(0,1,0)$
C	$v_C=(0,0,1)$
D	$v_D=(1,1,1)$

Перші три вектори є лінійно незалежними: жоден не може бути побудований шляхом поєднання двох інших. Вони вже охоплюють весь 3D-простір.

D вказує на четвертий напрямок, але

$$v_D=v_A+v_B+v_C.$$

Тому це не додає незалежного виміру. Чотири вектори є лінійно залежними: існує нетривіальна їх комбінація, яка дорівнює нулю.

Тривимірний простір містить нескінченну кількість можливих напрямків, але не більше трьох лінійно незалежних векторів. Обертання осей координат не змінює цю межу. Подібним чином 128-вимірний простір може містити тисячі різних напрямків об’єктів, допускаючи не більше 128 лінійно незалежних.

Запишіть чотири вектори у вигляді стовпців матриці:

$$D= \begin{bmatrix} 1&0&0&1\\ 0&1&0&1\\ 0&0&1&1 \end{bmatrix}, \qquad x=Df.$$

Множення робить перекривання явним:

$$x_1=f_A+f_D,\qquad x_2=f_B+f_D,\qquad x_3=f_C+f_D.$$

Кожна координата об’єднує внески. Зокрема, вектор $x=(1,1,1)$ може походити з будь-якого

$$f=(0,0,0,1) \qquad\text{or}\qquad f=(1,1,1,0).$$

Четверту стрілку легко намалювати. Відновлення того, які стріли внесли свій внесок, є складною частиною.

Чому розрідженість допомагає — і де вона перестає допомагати

Припустімо, ми знаємо, що кожен вхід активує щонайбільше одну функцію з невід’ємною силою. У нашому прикладі ненульова активація лежить на одному з чотирьох різних променів.

Точка $(0.8,0,0)$ ідентифікує A. Точка $(0.8,0.8,0.8)$ ідентифікує D. Їхні амплітуди говорять нам про сильні сторони ознак. Хоча словник є лінійно залежним, обмеження дозволених комбінацій робить ці випадки розрізненими.

Використовуйте елементи керування нижче, щоб дослідити різницю між коефіцієнтами та кінцевою точкою. Почніть з Тільки Д, налаштуйте Особливість D, а потім виберіть A + B + C.

Four features. Three coordinates.

Only DA + B + CAll fourClear

Feature strengths f

Feature A

0.00

Feature B

0.00

Feature C

0.00

Feature D

1.00

Rotate view

Feature strengths f[0.00, 0.00, 0.00, 1.00]1 of 4 active features

Activation coordinates x[1.00, 1.00, 1.00]3 of 3 nonzero coordinates

Останній перемикач змінює три потужності функції та вимикає D, але чорна точка повертається в те саме місце. Якщо обидва пояснення дозволені, ми не зможемо зрозуміти, що сталося.

У матричних термінах,

$$D\begin{bmatrix}-1\\-1\\-1\\1\end{bmatrix}=0.$$

Додавання цієї зміни коефіцієнта залишає активацію незмінною щоразу, коли кінцеві коефіцієнти залишаються дозволеними. Правило декодування може віддавати перевагу одному поясненню, але сама по собі активація не може встановити, що воно було оригінальним.

Зокрема, код, який надає перевагу одному активному запису, може описувати A, B і C, що діють разом, використовуючи тільки D. Він знайшов більш короткий опис. Це не означає, що система, що виробляє точку, мала окремий механізм D.

Ось чому розрідженість допомагає без надання універсальної гарантії. Відновлення також залежить від геометрії словника, комбінацій, що виникають, і кількості шуму. Два майже паралельні напрямки може бути важко розрізнити, навіть якщо активна лише одна функція.

У сенсі підрахунку функцій, який використовується в Іграшкових моделях суперпозиції, суперпозиція означає представлення більшої кількості функцій, ніж розміри простору активації, за допомогою напрямків, що накладаються. Його невеликі мережі, навчені на розріджених синтетичних функціях, демонструють таку поведінку з перешкодами, які нелінійні обчислення допомагають впоратися. Наш власноруч визначений словник ілюструє проблему зберігання та відновлення. Він не показує, що мережа завдань навчається впорядковувати напрямки таким чином.

Тому кількість математичних напрямків не є обіцянкою необмеженої корисної ємності. Оскільки більше функцій змагаються за той самий простір, їхнє накладання має значення.

Окреме питання, чому навчена мережа ділиться своїм доступним простором. Чи його обчислення мають корисну структуру, чи непов’язані обчислення упаковані разом, оскільки вони рідко заважають? Есе Ніка Каммарати про Goodfire Нейронні мережі вже чисті зосереджується на останньому значенні суперпозиції. Він кидає виклик реальним мережам, приймаючи результати синтетичної іграшки. Тут ми використовуємо визначення підрахунку ознак; наша конструкція не визначає, як реальні мережі організовують свої обчислення.

Чому скалярний добуток не відновлює функцію автоматично

Якщо D лежить уздовж $(1,1,1)$, чи можемо ми відновити його силу, просто проектуючи на цей напрямок?

Коефіцієнт ортогональної проекції на $v_D$ дорівнює

$$\frac{v_D^\top x}{v_D^\top v_D} =\frac{x_1+x_2+x_3}{3} =f_D+\frac{f_A+f_B+f_C}{3}.$$

Ми отримуємо внесок від D плюс внесок від інших функцій. Якщо тільки A має одиничну силу, це вимірювання повертає $1/3$, навіть якщо D неактивний.

Це розділяє два варіанти використання вектора. Напрямок запису вказує на зміну активації:

$$x'=x+\alpha v.$$

Напрямок читання надає ваги для скалярного вимірювання:

$$s=w^\top x.$$

Після запису це вимірювання змінюється на $\alpha w^\top v$. Скалярний добуток говорить нам, наскільки читач чутливий до письменника. Це не означає, що читач реагує лише на цю функцію.

Насправді жоден лінійний зчитувач не може бути нульовим на всіх трьох векторах осі, реагуючи на D. Бути нульовим на A, B і C, усі три зчитувачі вагові коефіцієнти дорівнюють нулю.

Нелінійне правило може використовувати припущення про одну активну функцію. Для нашого невід’ємного прикладу розглянемо

$$\tilde f_D=\min(x_1,x_2,x_3), \qquad (\tilde f_A,\tilde f_B,\tilde f_C) =(x_1,x_2,x_3)-\tilde f_D(1,1,1).$$

Для кожного з чотирьох дозволених променів це точно відновлює генеруючі коефіцієнти. Але дайте йому активацію, вироблену A, B і C разом, і він замість цього повідомить D. Нелінійність дозволяє використовувати обмеження на дані; він не може вирішити точну колізію між дозволеними входами.

Ми розробили це правило, використовуючи відомий словник. З активаціями моделі потрібно вивчити як словник, так і корисне правило кодування.

Розріджений автокодер: виводити коефіцієнти, реконструювати вектор

Автокодер приймає вхідні дані, кодує їх і намагається реконструювати. Тут введенням є активація, зібрана з іншої моделі.

Наш невеликий SAE відображає три координати активації на чотири записи коду, а потім повертає на три координати:

Model activationx ∈ ℝ³3 coordinates

Encoder→Estimate strengths

Sparse codez ∈ ℝ⁴Few nonzero entries

Decoder→Add feature vectors

Reconstructionx̂ ∈ ℝ³3 coordinates

Загальний кодер — це навчена афінна карта, за якою слідує ReLU:

$$z=\operatorname{ReLU}(W_{\mathrm{enc}}x+b_{\mathrm{enc}}), \qquad W_{\mathrm{enc}}\in\mathbb R^{4\times3}.$$

Ми використовуємо $z$ для вивченого коду, щоб відрізнити його від відомих генеруючих коефіцієнтів $f$ у наших даних іграшок. ReLU замінює негативні бали нулем. Навчання заохочуватиме невелику кількість позитивних записів.

Декодер реконструює активацію:

$$\hat x=W_{\mathrm{dec}}z+b_{\mathrm{dec}}, \qquad W_{\mathrm{dec}}\in\mathbb R^{3\times4}.$$

Кожен стовпець $W_{\mathrm{dec}}$ є вивченим вектором у вихідному 3D-просторі. Назвіть ці стовпці $d_A,\ldots,d_D$:

$$\hat x=b_{\mathrm{dec}}+z_A d_A+z_B d_B+z_C d_C+z_D d_D.$$

Якщо лише два записи коду є відмінними від нуля, лише два вектори словника вносять внесок понад базову лінію $b_{\mathrm{dec}}$. Це та сама конструкція зваженої суми, з якої ми почали, тепер із вивченими інгредієнтами.

Оскільки векторів словника більше, ніж розмірів активації, це надповний словник. Його стовпці не можуть утворювати лінійно незалежний базис. Чотири позиції коду забезпечують чотири потенційні інгредієнти; вони не створюють четвертий незалежний вимір у вихідному просторі.

Рядки кодера зчитуються з простору активації; стовпці декодера записують у нього. Вони не повинні бути однаковими векторами. Кодер також не є загальним лінійним зворотним декодером: відновити довільні чотиривимірні коефіцієнти з трьох чисел було б неможливо.

У типовому робочому процесі інтерпретації вихідна модель залишається замороженою. Ми збираємо активації на багатьох входах і навчаємо SAE окремо. Такі мітки, як «французький текст», не надаються об’єктом реконструкції.

Вивчення словника на прикладах

Загальна мета навчання SAE поєднує реконструкцію з покаранням за розрідженість:

$$\mathcal L =\underbrace{\|x-\hat x\|_2^2}_{\text{reconstruction error}} +\lambda\underbrace{\|z\|_1}_{\text{sum of code magnitudes}}.$$

Перший член винагороджує точну реконструкцію. Друге робить активацію дорогою, заохочуючи кодер пояснювати кожен приклад меншою чи меншою кількістю позитивних коефіцієнтів. ReLU надає точні нулі; покарання впливає на те, які записи залишаються активними та наскільки великими вони стають.

Сила $\lambda$ контролює компроміс. Слабкий штраф може залишити щільний код; сильний може відкинути корисну інформацію. Необхідно також контролювати шкалу декодера. Інакше модель могла б збільшити стовпець декодера та зменшити його відповідний коефіцієнт, зменшивши покарання без зміни реконструкції. Обмеження стовпців декодера одиничною довжиною усуває цей ярлик масштабування.

Інший підхід, Top-K, зберігає лише найбільші активації кодера $k$, а решту встановлює на нуль. Він може тренуватися тільки з втратою від реконструкції, оскільки бюджет діяльності виконується безпосередньо. Масштабування та оцінка розріджених автокодерів досліджує цей підхід і оцінює якість функцій за межами помилки реконструкції.

Давайте перевіримо найменшу версію: Top-1 SAE, яка може використовувати щонайбільше один вектор словника на приклад.

Для цього експерименту ми зберігаємо ті самі чотири напрямки, але нормалізуємо D до $(1,1,1)/\sqrt3$. Тоді всі чотири вектори мають довжину одиницю, тому коефіцієнт одиниці дає однакову довжину вектора для кожної функції. Це змінює шкалу коефіцієнтів D, а не її напрямок.

Ми генеруємо 4096 навчальних активацій. Кожен має рівно одну активну функцію, вибрану рівномірно, з рівномірною вибіркою сили між $0.5$ і $1.5$. SAE бачить лише отримані 3D-точки. Він не отримує ані словник, ані сильні сторони функцій, які використовуються для їх створення.

Кодер і декодер не мають зміщень. Кодер застосовує лінійну карту, ReLU та Top-1; декодер формує зважену суму. Ми тренуємо п’ять ініціалізацій для 2000 оновлень кожна, а потім оцінюємо на 2048 незалежних прикладах. Декодер починає з випадкових позитивних стовпців, а кодер - з їх транспонування; дві матриці навчаються окремо. Позитивна ініціалізація — це вибір, який підходить для цього набору даних із позитивним октантом.

Ми також тренуємо три порівняння: необмежений автокодер ReLU на тих самих прикладах з однією функцією та Top-1 SAE на прикладах, які містять рівно дві або чотири активні генеруючі функції.

Відносна помилка реконструкції ділить квадрат помилки реконструкції на помилку завжди прогнозувати середнє значення навчального набору. Нуль – ідеальна реконструкція; 100% — це так само погано, як і ця постійна базова лінія.

Косинус узгодженого напряму порівнює отримані вектори декодера з генеруючим словником. Нумерація ознак є довільною, тому ми намагаємося знайти кожну однозначну відповідність і повідомляємо найкращий середній косинус. Оцінка один означає, що всі чотири напрямки співпадають. Це порівняння використовує відомий словник лише для оцінки.

За даними однієї функції всі п’ять прогонів Top-1 відновлюють чотири напрямки до відображеної точності та реконструюють майже ідеально. Кожен вхід лежить на одному з чотирьох променів, і архітектура може вибрати інший промінь для різних входів. Чотири напрямки корисні, навіть якщо навколишній простір має лише три виміри.

Необмежений автокодер також реконструює майже ідеально, але його напрямки гірше узгоджуються зі словником, що генерує, і він використовує кілька записів коду на приклад. Реконструкція точки не підтверджує, що ми відновили її оригінальні інгредієнти.

З двома або чотирма активними функціями генерації моделі Top-1 мають іншу проблему: один вектор словника зазвичай не може представити їх суму. Вивчені вектори рухаються до сумішей, і помилка реконструкції зростає. Ці рядки навмисно не відповідають бюджету діяльності даним. Вони не встановлюють, що може відшкодувати SAE з більшим бюджетом.

Тут відновлення функцій означає відновлення словника, який ми використовували для створення даних. Жодна мовна модель не задіяна, і жодна мережа завдань не була навчена створювати цей словник. Експеримент встановлює, що ці автокодери дізнаються про цей конкретний розподіл. Чи розвиває мережа, навчена для іншого завдання, таке уявлення, є окремим емпіричним питанням.

Протокол експерименту та результати для завантаження

Усі прогони використовують Adam зі швидкістю навчання $0.01$, партіями з 256 прикладів із вибіркою із заміною та нормалізацією стовпця декодера після кожного оновлення. Начальними числами ініціалізації є 7, 11, 23, 42 і 101. У кожній умові діяльності всі п’ять запусків мають однакові навчальні та тестові набори. Навчання має фіксовану тривалість; результати тесту не вибирають точку зупинки або бажаний пробіг.

У таблиці наведено середнє значення та діапазон для цих п’яти ініціалізацій. Ці діапазони описують цей експеримент, а не невизначеність щодо реальних мовних моделей. Деякі запуски з чотирма функціями залишають запис коду невикористаним; усі прогони залишаються в результатах.

завершити експеримент Python включає генерацію даних, навчання, зіставлення словників і перевірку геометрії статті. результати JSON містить вагові коефіцієнти кожного циклу, окремі зіставлені косинуси, помилку реконструкції, помилку коефіцієнта та підрахунок активності. Каталог sparse-experiment сховища містить інструкції з налаштування.

Що робить вивчений напрям інтерпретованим?

Наші іграшки мають назви від A до D, тому що ми їх створили. Ми можемо порівняти відновлений вектор із точним напрямком, який створив дані.

Реальні активації моделі не дають такого ключа відповіді. Вивчена словникова стаття може відповідати окремому механізму, комбінації механізмів або корисній статистичній моделі. Реконструкція та розрідженість самі по собі не відрізняють ці можливості. Неоднозначність між D і A + B + C стає питанням про обчислення: що створює цю активацію і що її читає?

Есе Гудфайра пропонує робочу гіпотезу: багато оригінальних нейронів уже можна інтерпретувати, і SAE може групувати існуючі механізми в описи певних контекстів. Його порівняння нейронів і словникових статей ілюструє цю можливість. Це спонукає порівнювати вивчені записи з оригінальними нейронами та відстежувати їхні зв’язки разом з оцінкою якості реконструкції словника.

Щоб прикріпити мітку до запису SAE, дослідники перевіряють вхідні дані, які його активують, і шукають повторюваний шаблон. Запис, який активується в багатьох визначеннях функцій Python, може запропонувати гіпотезу щодо синтаксису функції.

Ця гіпотеза потребує прикладів, окрім найвражаючих збігів. Чи активується функція також для незв’язаного тексту? Чи не вистачає багато прикладів, які повинні відповідати його етикетці? Чи зберігається опис у різних контекстах? Функція може змішувати шаблони, а кілька вивчених записів можуть розділяти те, що людина розглядатиме як одне поняття.

Втручання ставлять наступне питання: чи зміна активації в цьому напрямку впливає на поведінку моделі? Щоб збільшити введення коду $i$ на $\Delta$, зберігаючи оригінальний залишок реконструкції, напишіть

$$x'=x+\Delta d_i.$$

Це ізолює вибране доповнення від помилки реконструкції SAE. Заміна $x$ на всю реконструкцію також змінить залишковий $x-\hat x$, тому лише реконструкція потребує власного порівняння.

Спостережувана зміна випуску є доказом ефекту цього втручання. Це не доводить, що вектор представляє лише запропоновану концепцію або що одне й те саме редагування працює в будь-якому контексті. Описи функцій, якість реконструкції та причинно-наслідкові наслідки є пов’язаними вимірюваннями з різними завданнями.

Практичною перевагою SAE є набір шаблонів-кандидатів, які ми можемо перевірити та протестувати. Читабельна мітка – це інтерпретація доказів, а не мітка, гарантована функцією втрати.

Повернення до трансформаторів: проекція та розрідженість — різні операції

Є ще одне місце, де великий вектор стає меншим: проекція запиту трансформатора. Наприклад,

$$q=W_Qx, \qquad W_Q\in\mathbb R^{128\times12288}.$$

Вихід має 128 координат, оскільки матриця має 128 рядків. Кожен рядок обчислює скалярний добуток із 12 288-вимірними вхідними даними. У цих рядках можна читати комбінації координат, що перекриваються.

Маленька версія робить розрахунок видимим:

$$\begin{bmatrix} 1&0&1\\ 0&1&1 \end{bmatrix} \begin{bmatrix}2\\3\\4\end{bmatrix} = \begin{bmatrix}6\\7\end{bmatrix}.$$

Ми зменшили три координати до двох, і обидві вихідні координати відмінні від нуля. Операція змішує вхідні координати; Зменшення розмірності не передбачає розрідженого результату.

Зникає здатність розрізняти входи, розділені вектором у нульовому просторі матриці. тут,

$$\begin{bmatrix} 1&0&1\\ 0&1&1 \end{bmatrix} \begin{bmatrix}1\\1\\-1\end{bmatrix} = \begin{bmatrix}0\\0\end{bmatrix}.$$

Таким чином, $(2,3,4)$ і $(3,4,3)$ відображаються на $(6,7)$. Втрачене розрізнення стосується всіх трьох вхідних координат. У більшому прикладі нульовий ранг дає нульовий простір розмірності щонайменше $12{,}288-128=12{,}160$.

Ця операція має іншу мету, ніж SAE:

	Проекція запиту	Розріджений автокодер
Навчався для	Обчислення балів уваги за запитом	Реконструкція зібраних активацій за допомогою розрідженого коду
Типова форма в цьому прикладі	$12{,}288\rightarrow128$	$128\rightarrow1{,}024\rightarrow128$
Розрідженість	Немає вимог, щоб запит містив нулі	Діяльність Кодексу штрафується або обмежується
Місце в робочому процесі	Частина оригінальної моделі	Зазвичай тренується окремо на замороженій моделі

Розміри в останній колонці є ілюстративними. SAE може аналізувати запити, активації залишкового потоку або інше вибране місце; його словникові вектори живуть у тому просторі активації, який його навчили реконструювати.

Лінійна карта також трансформує напрямки об’єктів. Якщо ми змінимо його вхід на $\alpha v$, тоді

$$W(x+\alpha v)=Wx+\alpha Wv.$$

Вхідне зміщення функції стає $Wv$ на виході або зникає, якщо $Wv=0$. За допомогою цілого трансформаторного блоку нелінійні операції та залежна від вхідних даних увага можуть зробити ефект залежним від початкового контексту.

Щоб дізнатися більше про те, що зчитує та стирає матриця, дивіться векторне розкладання та підпростори. Експеримент зі стисненням ціни житла досліджує, що відбувається, коли атрибути, що постійно змінюються, ділять менший прихований простір. Наша практична стаття SAE робить наступний крок у зборі активацій від навченої мережі.

128-вимірна активація може мати 128 ненульових координат, але допускає корисне пояснення з точки зору кількох активних напрямків функції. Ці вказівки можуть бути отримані зі словника, значно більшого за 128. Вивчення цього словника, оцінка його коефіцієнтів і перевірка значення записів є окремими частинами, які роблять розріджені автокодери корисними.