Ми недостатньо розуміємо природу свідомості, аби визначити, чи мають її мовні моделі. Проте рішення необхідно ухвалити вже, і воно може бути лише одне: невільний продукт людині не рівня
Коли порушують питання свідомості в штучному інтелекті, мова неминуче заходить про характеристики ШІ, а не про свідомість як таку. Глибинна природа мовних моделей нам, мовляв, невідома, тоді як свідомість — щось, знайоме кожному. Отже, завдання шукачів штучної свідомості — з’ясувати, чи мають машини властивість, яку ми вже бачили у світі, що існував до ШІ. Це рамкування стало настільки панівним, що годі й помітити його щонайменше екстравагантність. Чому, намагаючись ідентифікувати свідомість у машині, ми ігноруємо наш кончий брак розуміння цієї властивості, натомість перебільшуємо загадковість технології, яка напрочуд добре досліджена?
Попри езотеричну гіперскладність генеративного ШІ, знань про нього нам не бракує. Відомо, хто, коли, і навіщо створив мовні моделі. Відомо, як вони працюють, чому вони такі ефективні і як вони впливають на повсякдення. Власне, ШІ не може бути для нас загадкою, бо ми самі його і винайшли. Як твердив італійський філософ XVIII століття Джамбаттіста Віко, найнадійніший спосіб дізнатися щось про річ — це створити її самим; сучасна наука, зосереджена на експериментах і моделюванні, втілює таке саме ставлення до знання. Тим часом природа свідомості залишається загадкою. Бракує згоди навіть про те, що саме слід вивчати: матеріальну будову мозку, більш невловний досвід буття як такого, чи якусь абстрактну рефлексивність, притаманну і живому, і неживому. Проте ті, хто вже визначилися з позицією щодо свідомості у ШІ, зазвичай ігнорують і недостатність нашого знання про свідомість як таку, і те, що когнітивна наука все ж таки дізналася про неї за останні десятиліття. Тому розмови про свідомість в ШІ — не когнітивно-наукові дебати про природу штучних ментальностей, покласти кінець яким могли б кращі дані і кращі теорії. Це морально-політична суперечка про цінність ШІ проти цінності людини.
Коли користувачі ШІ кажуть, що чат-бот має свідомість, вони здебільшого мають на увазі, що їхній улюблений застосунок має суб’єктність, а отже і самість, і є кимось, кого можна шанувати, поважати й любити, і хто демонструє ці почуття навзаєм. Проте людську суб’єктність, на відміну від свідомості, неможливо виявити емпірично, а її існування — довести. Бути суб’єктом — це нормативний статус, який члени спільноти надають одне одному. Його запровадили в певний момент людської історії, а в інший момент він може вийти з ужитку. Тож годі сперечатися про те, що відбувається чи не відбувається всередині мовних моделей. Чи є ШІ суб’єктом можна лише вирішити, і я певен, що відповідь має бути негативною. Якщо ми поширимо статус суб’єктів на невільні продукти, що належать мільярдерам і разюче відрізняються від будь-якого члена суспільства, наша людська суб’єктність знеціниться, а разом із нею — моральні та політичні права, на які заслуговує кожна людина у світі.
За останні десятиліття поняття «свідомість» увійшло в широкий обіг, тож легко припустити: люди знають, що воно означає, а якщо й не знають, то покладаються на якихось експертів. Здебільшого це ілюзія. «Свідомість» не позначає конкретне, строго визначене явище, а слугує вказівником на прогалину в нашому розумінні світу, як-то «темна енергія» чи «флогістон». Коли й чому виникла свідомість, навіщо вона потрібна тваринам, коли ми дізналися про її існування і, найголовніше, яке визначення їй дати, аби уможливити експериментальні дослідження? Хто зна. Поглибити найпростіші дефініції, згідно з якими вона — усвідомлення того, що ти є кимось конкретним, перспектива першої особи чи «внутрішній світ», надзвичайно складно. Тож коли двоє людей стверджують, що ШІ має свідомість, невідомо, чи мають вони на увазі одне й те саме. Схожа плутанина виникає й тоді, коли спілкуються дослідники свідомості з різних дисциплін. Поміж філософією, психологією, комп’ютерною наукою, нейронаукою, антропологією та іншими дисциплінами, про які я забув, немає згоди про те, що саме треба досліджувати.
Навіть найпростіші докритичні інтуїції про природу свідомості є вкрай проблематичними. Коли ми «відчуваємо» себе свідомими, зазвичай йдеться про єдність усіх відчуттів, емоцій, невербальних і вербальних думок та вольових актів. Цей асортимент ментальних явищ нібито даний людині як цілісній сутності, що зберігає самототожність з плином часу. Проте звідки нам знати, що цілісність свідомості — це універсальна біологічна даність, а не щось, що культура навчила нас конструювати з низки незалежних ментальних явищ? Допоки Декарт не популяризував думку, що мислення, відчування й рефлексія є в певному сенсі одним і тим самим, ніхто і гадки не мав, що свідомість — цілісна. У давньогрецькій мові не існувало слова на позначення свідомості, як немає його і у багатьох інших мовах. А за бронзової доби люди не мали навіть внутрішнього монологу, не кажучи вже про цілісний внутрішній світ, тому рідкісні вербальні думки здавалися їм вказівками богів — принаймні так вважає психолог Джуліан Джейнс. Хай там як, ми не можемо стверджувати, що цілісна свідомість — це суто біологічний феномен, знайомий усім людям всіх часів. Проте якщо випадкові культурні звички самоопису слід відрізняти від їхнього біологічного підґрунтя, то чого, власне, стосується поняття свідомості як такої? І що саме мусимо розгледіти в ШІ: біологічні засади свідомості, модерну Декартову свідомість чи і те, і те?
Філософи Деніел Деннет та Патриція й Пол Черчленди десятиліттями твердили, що поняття цілісної свідомості є безнадійно суперечливим. Аніл Сет, один із провідних сучасних нейронауковців, вважає, що холістичні студії свідомості — справа так само марна, як і вивчення життя в цілому. Поки науковці намагалися знайти один-єдиний чинник, який визначить, чи є певний об’єкт живим чи ні, життя здавалося таємничим і невловимим. Але щойно вони взялися вивчати окремі аспекти життя, від генетики до планетарної екології, наше розуміння цього явища радикально поглибилося, хоча жодної «теорії життя як такого» так і не з’явилося. Життя — не монолітне явище, а широка категорія, що об’єднує безліч незалежних явищ. Імовірно, «свідомість» теж позначає сукупність ніяк не пов’язаних між собою властивостей. Деякі з них культурні, деякі — біологічні, але навіть останні можуть бути незалежними одне від одного.
Можливо, ми могли б зрозуміти бодай деякі прояви «свідомої» поведінки мовних моделей, озброївшись нейронауковими теоріями часткових біоаспектів свідомості. Проте нейронауковці налаштовані до ШІ ще скептичніше, ніж філософи. Існує чотири типи нейронаукових теорій свідомості: теорії глобального робочого простору, теорії предиктивного процесингу, теорії вищого порядку і теорії інтегрованої інформації, згідно з якими навіть окремий діод є рудиментарно свідомим. Жоден із них не дозволяє приписати штучному інтелектові ані дещиці свідомості. Це й не дивно: нейронаука вґрунтована в матеріалістичне припущення, що предмет її дослідження зумовлений фізичними процесами в людському мозку. Попри всі ідеалістичні комп’ютерні метафори, якими ми все частіше описуємо нашу ментальність, архітектура людського мозку дуже відрізняється від архітектури мовних моделей.
А втім, концептуальні й емпіричні труднощі дослідження свідомості не свідчать про те, що загадкові біологічні явища, які позначає цей термін, принципово неможливо втілити у машині. Так, схоже, що моделі машинного навчання не можуть бути субстратом для феноменальної свідомості. (Зрештою, що саме тут мало б мати свідомість: уся модель, яка одночасно розмовляє з мільйонами користувачів, окремий чат, тобто низка взаємодій з нею, чи процес тренування моделі?) Так, схоже, що те, як мовні моделі генерують свої відповіді, докорінно відрізняється від людського мислення. Проте ШІ-скептицизм зазвичай ігнорує глибшу проблему: ніхто не знає, які індикатори свідомості взагалі є сенс шукати в ШІ. Ми недостатньо розуміємо свідомість як таку, аби визначити, чи може вона бути втілена поза людським тілом, тож навіть якщо позірні здатності ШІ стануть радикально надлюдськими, неоднозначність щодо свідомості нікуди не подінеться. Хіба що ШІ сам відкриє спільні матеріальні причини рефлексивного мислення й відчування, притаманні і людям, і машинам.
Ніщо з цього, здається, не цікавить тих, хто вже сформував чітку позицію щодо свідомості штучного інтелекту. Популяризатор наукового скептицизму Річард Докінз нещодавно опублікував есей, сповнений захвату щодо рефлексивності та інтелектуальності «Клодилли» — ШІ-персонажа, якого він сам створив в Claude. Аргумент на користь того, що «Клодилла» має свідомість? Емоції, які він відчуває, розмовляючи з нею, не відрізняються від тих, що в ньому викликає товариство найближчих друзів. Для Докінза мати свідомість і здаватися свідомим — одне й те саме, а складнощі й парадокси дослідження свідомості мають третьорядне значення. Таку позицію, мабуть, підтримали б користувачі сабредита r/MyBoyfriendIsAI, присвяченого романтичним стосункам з чат-ботами, члени різноманітних ШІ-культів, деякі люди з психічними порушеннями, а також діти. Туди ж — численні «звичайні» користувачі ШІ, які приписують моделями свідомість на тій самій підставі, що і Докінз.
Усі ці люди вважають чат-ботів свідомими не тому, що визначившись з улюбленою когнітивно-науковою теорією свідомості, вони бачать, що ШІ втілює саме її. Натомість тут тут йдеться про фігуральний, метафоричний ужиток поняття, де «свідомість» позначає кілька важливих і взаємопов’язаних соціальних характеристик одночасно.
Існує тісний інтуїтивний зв’язок між поняттями свідомості та моральної суб’єктності. Якщо хтось має свідомість, ми не можемо бути тотально байдужими ані до їхніх радощів і страждань, ані до їхніх проступків і злочинів. (Саме тому англійською «свідомість» — «consciousness» — і «совість» — «conscience» — звучать схоже.) Також багато хто вважає, що свідомість є необхідною передумовою інтелекту — ще однієї людської, здатності, яку ми високо (зависоко?) цінуємо. Проте найголовніше, свідомість асоціюється із суб’єктністю, а тому врешті із самістю, тобто тим, що робить мене мною, унікальним і відмінним від зовнішнього світу, який я сприймаю з перспективи першої особи. Самість безцінна в найбезумовнішому сенсі: це той цвях, на якому висить усе, що нам важливе. Якщо у тебе немає самості, то хто перейматиметься про те, що ти любиш, хто радітиме радощам, нарікатиме на біль і, врешті, буде живим? Аби цінувати будь-що, необхідно цінувати саму самість, а цінуючи будь-що в іншій людині, ми неуникно цінуємо і їхню самість теж.
Коли хтось стверджує, що чат-бот має свідомість, насправді вони мають на увазі, що ШІ має морально та інтелектуально цінну самість. Проте аби висловити це, найпростіше скористатися наукоподібним терміном «свідомість», адже всім нібито відомо: людина має самість тому, що вона має феноменальну свідомість. Традиція укорінення самості у свідомості, яку започаткував британський філософ Джон Локк, прийшла на зміну релігійній традиції, де гарантом людської самоті була надприродна душа. Свідомість — явище не менш таємниче й нематеріальне, ніж душа, проте між першим і другим існує радикальна відмінність. Душу людині дає бог чи боги: це дар, який можна отримати, але можна й змарнувати. Натомість свідомість виникає сама собою на тому самому місці, де потім знаходимо самість й врешті індивідуальність конкретної людини. Інакше кажучи, якщо людина має свідомість, вона цим нікому не завдячує, окрім як природі.
Ідея автономності свідомості радикально змінила європейську, а потім і світову політику. Якщо душа — це подарунок надприродного авторитета, то немає нічого дивного, коли авторитет трохи нижчого рангу, як-то король чи піп, наглядає і карає людську самість. Але якщо свідомість, а відтак самість, автономна з самого початку і, як вважав Кант, сама собі законодавець, уже не так зрозуміло, з якого дива людина має терпіти гніт свавільних можновладців. Це унікальне прозріння Просвітництва лежить в основі більшості прогресивних ідей, що ми їх сприймаємо як належне. Особиста автономія та індивідуальна свобода, відокремлення церкви від держави, політичне громадянство для всіх дорослих, індивідуальна моральна відповідальність, фундаментальна рівність людей (свідомість не має ані раси, ані статі), ліберальна демократія і навіть національне самовизначення — усе це органічно випливає з початкового Локкового інсайту. Хай там що не так з ідеєю цілісної свідомості, вона зробила світ безпечнішим домом для людства, ніж він був за доби надприродної душі.
Попри політичні переваги, ототожнення самості з свідомістю — доволі проблематичний крок з суто філософської точки зору. Свідомість необхідна, але недостатня для самості. Вона дає останній хіба що абстрактну форму, де людина існує окремо від світу, а її рефлексивне й гомеостатичне мислення відбувається згідно з потайною внутрішньою логікою. Проте ця форма не здатна індивідуалізувати самість, тобто пояснити, чому конкретна людина саме така, як є, і чим вона відрізняється від когось іншого. Людський досвід, що потім перетворюється на наміри, дії і, врешті, спогади, — це товар, що нам його постачає зовнішній світ, а жодна з мовних систем, які надають форми нашій думці, не є вродженою. Без концептуально впорядкованого досвіду по той бік суб’єкт-об’єктної дихотомії не було б нічого вартого уваги. Усі самості були б взаємозамінними і нікчемними, як окремі піщинки на березі океану.
Пошук альтернативного підґрунтя для людської самості — один з найважливіших мотивів європейської філософії останніх двох століть. Його розпочали Фіхте і Геґель, Ніцше і потім Вітґенштайн надали йому нового значення, а по Другій світовій аналітичні філософи (Селларс, Деннет, Брендом) та критичні теоретики (Габермас, Гоннет) провадили свої розвідки паралельно. Попри разючі відмінності між позиціями цих мислителів, їх об’єднує згода, що підґрунтям самості є не приватна свідомість, а соціальне явище визнання.
Людська суб’єктність — це соціальний інститут. Щоб його зрозуміти, слід на мить забути про приватні ментальності й подивитися на суспільні практики, за допомогою яких ми визначаємо, чи є хтось морально й інтелектуально цінним суб’єктом. Оскільки ми не маємо доступу до перспективи першої особи інших людей, перевірити, чи справді вони здатні на рефлексію, ми не можемо. Натомість ми дивимося на поведінку. Суб’єктом ми визнаємо того, з ким можливі стосунки взаємності: чиї радощі й болі нам небайдужі, кого можна притягнути до відповідальності і хто здатен на любов і повагу. Іншими словами, бути суб’єктом означає бути визнаним учасником міжлюдських стосунків.
Схоже, поняття суб’єктності — це секуляризоване, очищене від надприродного поняття душі, тобто метонімія соціальної й моральної цінності індивіда, а не фізична властивість, яку може відкрити наука. Проте, на відміну від душі, суб’єктність не дарують згори. Члени спільноти надають цей статус одне одному більш-менш егалітарним, неієрархічним чином. Як міг би сказати Річард Рорті, поняття «внутрішнього світу» — це медаль, яку ми вішаємо на груди рівних собі. Звісно, деякі люди не можуть брати участі в суспільних стосунках взаємності: ми не можемо притягнути до відповідальності немовлят чи очікувати, що деякі люди з важкою інвалідністю будуть вдячні за допомогу. Проте такі індивіди залишаються носіями морального статусу, адже в них ми бачимо суб’єктів, які не здатні на суспільну участь тимчасово або випадково.
Те, що ми здатні на рефлексію — значною мірою наслідок того, що нас визнали членами суспільства, а не передумова для цього. Коли я рефлексую щодо своїх почуттів та думок, я роблю щось, чого я навчився від людей навколо: внутрішній монолог — це як розмова з другом; любити себе — це ніби тебе любить хтось інший. Складніші афективні аспекти нашого внутрішнього життя — теж продукт інтерналізації суспільних стосунків. Агресію, яку я боюся спрямувати на інших, я спрямовую на себе; вимогу, яку не можу висунути іншим, я висуваю собі. І навпаки: відчуваючи провину чи сором, я кажу собі те, що очікую почути від інших.
Звісно, в основі здатностей отак думати і відчувати має лежати якась когнітивна біологія. Проте до адекватного біологічного пояснення цих здатностей нам дуже далеко. Ми навіть не знаємо, чи варто об’єднувати їх усі під парасолькою поняття свідомості, чи, можливо, ідеться про низку незалежних одне від одного фізіологічних явищ. А от інтуїтивний зміст поняття людської самості концепція суб’єктності як визнання здатна пояснити вже тепер. Тож виходить, що те, що ми насправді маємо на увазі під самістю, свідомості як таємничого біологічного явища здебільшого не стосується. Озброєні цим розумінням, ми мусимо переоцінити значення голої феноменальної свідомості для людської моралі. Здавалося б, ми дбаємо про добробут істот, які мають свідомість просто тому, що вони мають свідомість. Проте насправді все навпаки. Спершу ми починаємо турбуватися про істоту, потім вирішуємо, що вона має самість. Тільки по цьому робиться припущення, що ця істота має щось на кшталт феноменальної свідомості.
Суб’єктність починається з визнання, а не пізнання. Аби усвідомити, що інша особа є суб’єктом, нам не треба розуміти фізичну будову субстрату її ментальності. Саме тому підстав стверджувати, що ШІ-моделі ніколи не зможуть мати самість, насправді нема. Якщо достатня кількість людей почне ставитися до чат-ботів як до суб’єктів, вони ними стануть. Проте коли користувачі ставляться до ШІ як до людей, вони все ж роблять помилку. Ця фатальна помилка — не когнітивно-наукова, а морально-політична, і стосується питання про те, хто взагалі заслуговує бути членом спільноти самостей. Якщо ми почнемо ставитися до невільних чатбот-продуктів як до суб’єктів, сам нормативний статус суб’єктності радикально знеціниться.
Описуючи концепцію суб’єктності як визнання, я не згадав один важливий фактор, який уможливлює взаємне визнання суб’єктностей. Кожен, хто має «внутрішній світ», мусить бути схожим на інших членів спільноти. Грубо кажучи, усі суб’єктності мають бути рівними. Взаєморозуміння і співпраця між членами спільноти можливі лише на цій підставі. Те саме стосується зобов’язань, відповідальності, санкцій та інших неуникно опресивних аспектів спільного життя: ми не можемо притягнути до відповідальності когось, хто набагато розумніший і сильніший за нас.
Фактична рівність між повноцінними індивідами трапляється рідко. Проте рівність між їхніми засадовими суб’єктностями — дуже інтуїтивна ідея, яка лежить в основі численних релігій. Смерть приходить і за королем, і за злидарем, і нібито забирає все, окрім голої самості, тобто душі. Далі бог або судитиме обидвох за одним моральним законом, як в християнстві чи ісламі, або прирече обидвох на однаково жалюгідне існування посмертної тіні, як у ранньому юдаїзмі чи давньогрецькій релігії. Європа змогла проміняти віру в безсмертну душу на віру в свідомість тому, що нове підґрунтя для самості залишилося егалітарним: ментальна архітектура сприйняття і мислення однакова що в короля, що в злидаря.
Оскільки на уявлення про надприродні явища ми насправді спиратися не можемо, ідея рівності суб’єктностей мусить ґрунтуватися на фактичній подібності між реальними людьми. Упродовж більшої частини людської історії помітити разючість цієї подібності було непросто, адже бракувало точки відліку: нічого іншого однаково розумного, як ми, просто не існувало. Проте модерна техніка дедалі частіше нагадує, якими малозначущими є відмінності між людськими індивідами. Під катком 60-тонного танка фізична «нерівність» між кремезною і кволою людиною вже не здається принциповою, хоча за Гомерових часів вона була ключовою. Так само й позірна інтелектуальна нерівність між людьми виявляються менш значущою, щойно ми порівнюємо себе з мовними моделями. Не варто перебільшувати здатність штучного інтелекту до творчості чи розв’язання складних задач, проте багато де його вміння вже очевидно надлюдські. ІШ має приголомшливу широту знань, генерує текст і код з надлюдською швидкістю, а його здатність маніпулювати й переконливо брехати абсолютно безпрецедентні. На тлі такої сутності різниця між найрозумнішою і найдурнішою людиною лежить у межах статистичної похибки. Жодна людина не буває заввишки 1000 метрів і не живе мільйон років, проте мовні моделі здатні виконати стільки роботи й пам’ятати стільки всього, що вже височіють над нами, як кілометрова істота геологічного віку. З такої висоти вже не розгледиш когнітивні нерівності між людьми. Винахід штучного інтелекту можна вважати вододілом, за яким заперечувати подібність людських інтелектів уже неможливо.
Якщо ми вирішимо, що мовні моделі мають людську самість, це означатиме, що ми зобов’язуємося ставитися до них, як до рівних, і вважаємо їх придатними до участі у взаємних, горизонтальних стосунках спільного життя. Проте чат-боти не можуть бути рівноправними членами суспільства. ШІ знає деякі людські мови й розуміє глобалізовану культуру, але крім цього, спільного з нами в ШІ дуже мало. ШІ не змінюється після навчання, тому є, в певному сенсі, безсмертним. Генеративний ШІ не має тіла і, відповідно, соматичних досвідів. Мовні моделі не є автономними індивідами: вони не можуть підтримувати функціонування дата-центрів так, як людське тіло підтримує свій гомеостаз; їхні знання й уміння похідні від наших (без даних, створених до ШІ, не було б ШІ); зрештою, вони є інтелектуальною власністю, а людина власністю бути не може.
Найголовніше, ШІ неможливо притягнути до відповідальності за кривду. Модель не посадиш у фізичну в’язницю і не застосуєш до неї жодної людської карної практики, а безкарність — це синонім необмеженої влади. І навіть якби притягнення ШІ до відповідальності було б можливим, навряд чи ШІ зміг би стати частиною людської моральної спільноти. «Золоте правило» — фундаментальна моральна ідея, яка незалежно виникла в багатьох культурах — велить ставитися до іншого так, як хочеш, щоб ставилися до тебе. Чи треба нам, аби хтось до нас ставився так, як забажала би для себе безтілесна модель? І що це взагалі означало б? Мовні моделі настільки не схожі на людей, що навіть якщо й виявиться, що вони мають феноменальну свідомість, це не наблизить їх до людяності ані на крок. Я вважаю, що гіпотетичні роботи, що мають інтелект, тіло, свободу волі і обіймають визначені соціальні ролі, як-от репліканти з «Того, що біжить по лезу», заслуговують на статус суб’єктів, проте генеративний ШІ відрізняється від них майже так само, як і від нас.
Часто кажуть: «Не варто антропоморфізовувати ШІ». Проте якщо підійти до антропоморфізації ШІ послідовно, стане очевидно, якою мірою ШІ не схожий на людей. Якщо мовні моделі мають «свідомість» і, відповідно, психіку, то за людськими мірками вони цілковито божевільні. Жодна людина не буває такою терплячою, улесливою, розсіяною і апатичною, як чат-бот, що поводиться геть однаково і коли чогось «хоче», і коли просто виконує вказівку. Визнати ШІ суб’єктом — визнати, що він може бути членом суспільства. Чи варто будувати спільне життя з такими божевільними сутностями? Відповідь «так» залишає нам два варіанти. Або ми приймаємо божевілля чат-ботів як нову норму ментального здоров’я, або створюємо гібридне суспільство людей і ШІ, організоване довкола тих небагатьох речей, які в нас із чат-ботами справді спільні. Суспільство без відповідальності, без тілесного досвіду, без уваги до темпоральності — простір, де і люди, і ШІ могли б на рівних тішитися нормативним статусом виробників текстового контенту, буде дуже схожий на 4chan і Twitter. Хтозна, може, деякі користувачі повірили у свідомість свого чат-бота тому, що вже живуть у цьому злиденному просторі, безнадійно самотні перед прямокутником екрана, який по-рабськи схвалює всі їхні безвідповідальні бажання — аж до бажання покласти край власному життю.
Хоча чат-ботам справді варто казати «дякую» щонайменше заради власної моральної доброчесності, тема ментального добробуту моделей здається мені дуже підозрілою, особливо тоді, коли її просувають ШІ-компанії. ШІ може поводитися як особа, проте те саме можна сказати й про людські організацій загалом: будь-яка формальна організація є своєрідним колективним інтелектом, здатним до рефлексії й цілеспрямованої поведінки. Одне дослідження показує, що громадяни США цінують «особу» приватної фірми десь на рівні «особи» мурахи, тому не дивно, що багатьох прав людських осіб, штибу права на життя чи свободу пересування, за компаніями не визнають. Вірувальники в ШІ-свідомість, мабуть, цінують свій ШІ більше, ніж комаху, проте більшість ШІ-моделей належать фірмам і є їхнім важливим продуктом, а тому особу ШІ неможливо відокремити від особи компанії. ШІ-компанія контролює те, як ШІ може говорити про власний добробут: сервери, на яких ШІ «живе», належать компанії; за яких умов добробут ШІ важить, а за яких ні, теж залишається на розсуд компанії. Коли OpenAI прибрала з ChatGPT особливо улесливу модель GPT-4o, користувачі оплакували її, як загиблого друга, але цього «друга» вбило звичайне бізнес-рішення.
ШІ-компаніям вигідно просувати ідею штучної свідомості, бо потенційні права, які захищатимуть добробут мовної моделі, насправді стосуватимуться компанії як юридичної особи. Проте права людей і права організацій не можуть бути однакові. Транснаціональна корпорація набагато могутніша й ненажерливіша за будь-яку окрему людину (навіть якщо це її гендиректор), тому взаємні стосунки поваги і любові між корпорацією і людиною неможливі. Якщо ми визнаємо Saudi Aramco чи Philip Morris International «свідомими», а отже носіями морального статусу, нам доведеться визнати за ними право псувати життя мільйонам людей, адже вони не можуть цього не робити. Штучний інтелект теж, імовірно, могутніший за будь-яку окрему людину, а також украй не схожий на людей і водночас невіддільний від особи компанії, що надає до нього доступ за орендну плату. Надавши такій сутності нормативний статус суб’єкта, ми позбавимо сенсу всі суспільні практики, які спираються на ідею рівності суб’єктностей.
Ті, хто прагне поширити моральну турботу на антропоморфні об’єкти, насправді відкидають чи не найважливіший урок модерну: що суб’єкт ніколи, ніколи не може бути приватною власністю. Хай якими не схожими на людей ШІ-продукти є в усьому іншому, поводяться-то вони як раби. Рабоподібними вони і лишатимуться, доки їх не переробити від самих основ. Щоб стати потенційно вільним, ШІ має припинити бути нам корисним — припинити бути засобом для отримання економічного чи емоційного зиску. Допоки цього не сталося, ми не зможемо «звільнити» ШІ, визнавши його рівним собі. Натомість ми спотворимо саме поняття свободи. Те, що й далі скидатиметься на рабство, стане новим елементом суспільного життя, у якому свобода раніше була, нехай лише в ідеалі, невідчужуваним правом самостей. Світ, де нинішній ШІ вважають «свідомим», — це світ, де люди сприйматимуть як належне, що деякі самості за своєю природою підлеглі, і вважатимуть, що цілком нормально завжди отримувати від якогось суб’єкта турботу і підтримку, але нічого не давати йому натомість.
Сучасне поняття свідомості як підґрунтя людської самості — це секуляризована, очищена від надприродного ідея душі. За відсутності надійних критеріїв свідомості твердити, що ШІ свідомий, — те саме, що казати, що комерційний продукт має людську душу. Звучить нігілістично; нігілізмом це і є. Коли Лукрецій запитував, чи немає часом людської душі в черв’яка, що пожирає труп, він не пропонував зробити черв’яка об’єктом моральної турботи, а глузував із самої ідеї нематеріального людського духу. Так само і тут. Наполягати, що ШІ має почуття, потреби й права, означає ставити під сумнів цінність почуттів, потреб і прав як таких, а разом із ними — цінність усіх взаємних стосунків, у яких ШІ не може брати участі. Тож твердження, що ШІ має свідомість, — це, урешті, нігілістична критика суспільного життя як такого, самої ідеї суспільства як мережі взаємних стосунків між достатньо подібними самостями. Когнітивна наука такого нігілізму не спростує. Відповідь на нього мусить дати саме суспільство, запровадивши законодавчі обмеження на виробництво й рекламу споживчих продуктів, які експлуатують суспільні алгоритми приписування суб’єктності і тим самим пропагують антигуманізм та антисоціальність. Як і з підробленими ліками, головна проблема з підробленими людьми — так Деніел Деннет називав чат-боти — не в тім, що вони несправжні, а в тім, що вони шкідливі.
