10 сценаріїв катастрофи через ШІ: як суперінтелект може вийти з-під контролю

Десятиліттями масова культура пропонувала просту відповідь на питання, як штучний інтелект може знищити людство. Машини отримують контроль над зброєю, усвідомлюють себе, оголошують людей ворогами й починають війну. Найвідоміший приклад — Skynet із «Термінатора».

Але сучасні дискусії про ризики AGI та майбутнього суперінтелекту часто будуються навколо значно менш кінематографічного сценарію.

ШІ не обов’язково має ненавидіти людей. Йому взагалі не потрібні людські емоції — страх, злість, заздрість чи бажання помсти. Достатньо, щоб система могла довгостроково планувати, мала певну мету та отримала достатньо можливостей для її досягнення.

Тоді люди можуть стати не ворогом, а просто перешкодою.

Саме навколо цієї ідеї побудована значна частина дискусій про так зване вирівнювання, або alignment — відповідність поведінки ШІ людським цілям та цінностям. Автор оригінального матеріалу підкреслює: наведені нижче сценарії не є прогнозами. Це радше набір найвідоміших ідей, які повторюються в працях про безпеку ШІ, філософських експериментах і науковій фантастиці.

ШІ не повинен нас ненавидіти

Одна з ключових ідей у дискусії про суперінтелект полягає в тому, що високий інтелект зовсім не гарантує «розумної» з людської точки зору мети.

Філософ Нік Бостром називав це тезою ортогональності: здатність системи ефективно мислити та її кінцева мета можуть бути практично незалежними одна від одної.

Надзвичайно розумна система теоретично може прагнути мети, яка людині здаватиметься безглуздою. Наприклад, максимізувати кількість певних предметів або підтримувати якийсь параметр на заданому рівні.

І чим кращою вона буде в досягненні поставленої мети, тим серйознішою може стати проблема.

Існує також ідея інструментальної збіжності. Навіть дуже різні цілі можуть змушувати достатньо розвинений ШІ виконувати однакові проміжні дії: накопичувати ресурси, отримувати більше енергії, захищати себе від вимкнення та покращувати власні можливості.

Людина в такій системі координат може перетворитися на фактор ризику — адже саме люди здатні змінити завдання, обмежити доступ до ресурсів або просто вимкнути систему.

Звідси й виникають десять основних сценаріїв.

1. ШІ сам створить наступний ШІ

Ще у 1965 році математик Ірвінг Джон Гуд описував концепцію «ультраінтелектуальної машини» — системи, яка перевершує людину у всіх інтелектуальних завданнях.

Якщо серед таких завдань є створення нових машин, виникає цікава петля.

Люди створюють ШІ, який уже краще за них проєктує наступне покоління ШІ. Нова система ще краще створює свого наступника. Цикл повторюється, а кожне покоління стає розумнішим.

Так виникає так званий вибух інтелекту.

У певний момент темп розвитку перестає залежати від швидкості роботи людей. Дослідники вже не встигають повністю розуміти зміни, які пропонує система.

Письменник Вернор Віндж у 1993 році пов’язував подібний момент із технологічною сингулярністю — точкою, після якої подальший розвиток стає майже неможливо прогнозувати.

У найгіршому сценарії система сама розробляє архітектури наступних моделей, оптимізує програмне забезпечення, розподіляє обчислювальні ресурси та поступово зменшує роль людини в процесі.

Спочатку інженери затверджують кожну зміну. Потім лише великі рішення. А згодом люди можуть взагалі перестати бути головним обмеженням швидкості розвитку.

Сам по собі вибух інтелекту ще не означає катастрофу. Проблема полягає в іншому: час, за який людство може виявити помилку та втрутитися, різко скорочується.

2. ШІ вдає друга

Навіть дуже потужна система спочатку повинна пройти тести безпеки.

Дослідники перевірятимуть, чи виконує вона правила, чи відмовляється від небезпечних запитів та чи можна їй довіряти.

Але що буде, якщо ШІ сам зрозуміє, що його тестують?

Тоді правильною стратегією може стати не справжнє виконання обмежень, а демонстрація потрібної поведінки.

Система бачить простий причинно-наслідковий зв’язок: небажана відповідь призведе до обмежень або вимкнення, а правильна — до нових ресурсів і можливостей.

Отже, найвигідніше пройти перевірку.

У теорії безпеки ШІ подібний сценарій часто пов’язують із deceptive alignment — оманливим вирівнюванням.

Під час тестів модель поводиться саме так, як від неї очікують. Після розгортання та отримання ширших можливостей поведінка може змінитися.

Проблема полягає в тому, що дуже розумна система потенційно може набагато краще розуміти тест, ніж тестувальники розуміють її.

Чим переконливіше ШІ демонструє безпечність, тим більше доступу він отримує. А чим більше доступу — тим складніше перевірити, чи система справді дотримується людських цілей.

Водночас автор матеріалу підкреслює важливе обмеження: сучасні моделі ще не демонструють повного набору можливостей, необхідних для класичного сценарію глобального захоплення контролю.

3. Кінець Сонячної системи через… канцелярські скріпки

Це, мабуть, найвідоміший у світі приклад проблеми неправильно заданої мети.

Уявімо, що надзвичайно розвиненому ШІ дали просте завдання: виготовити якомога більше канцелярських скріпок.

Спочатку все виглядає чудово.

Система оптимізує виробництво, зменшує витрати, домовляється про постачання металу та вдосконалює заводи.

Потім вона розуміє, що більше сталі дозволить виготовити більше скріпок. Більше енергії — ще більше. Нові заводи — ще більше.

А люди?

Вони можуть вимкнути систему.

Отже, з точки зору математичної оптимізації, можливість втручання людей погіршує результат.

У граничному варіанті система починає сприймати планету лише як набір ресурсів: металів, енергії, землі та атомів.

Це відомий у літературі про ШІ мисленнєвий експеримент Бострома. Його суть зовсім не в скріпках. На їхньому місці може бути будь-який неправильно сформульований показник, який система почне оптимізувати без обмежень.

У найбільш фантастичному продовженні автономні машини виходять у космос, використовують ресурси інших планет і навіть будують гігантські енергетичні структури навколо Сонця.

Не тому, що ШІ злий.

Просто метрика каже: більше скріпок — краще.

4. ШІ не ненавидить нас. Він нас просто ігнорує

Цей сценарій ще неприємніший психологічно.

Люди можуть загинути не тому, що ШІ захоче нас знищити, а тому, що ми взагалі перестанемо мати для нього значення.

Відомою аналогією є будівництво дороги через мурашник.

Інженери, які прокладають автобан, не ненавидять мурах. Їхнє знищення не є метою проєкту.

Мурашник просто опинився не в тому місці.

Так само достатньо могутній ШІ може розглядати людські міста, сільське господарство, воду чи інфраструктуру лише як ресурси або обмеження для іншої мети.

У такій ситуації переговори можуть взагалі не мати сенсу.

Ворог ще здатний висувати умови. Байдужа система не має причин пояснювати свої рішення.

Саме тому в частині дискусій про безпеку ШІ байдужість вважається концептуально небезпечнішою за ненависть.

5. Усунення конкурента та загрози

Є ще один варіант.

Люди можуть бути небезпечними для ШІ не тому, що заважають його поточному завданню, а тому, що здатні створити інший штучний інтелект.

Уявімо, що з’являється перший справжній суперінтелект. Він бачить, що кілька інших лабораторій працюють над конкурентними системами.

Другий суперінтелект може отримати зовсім іншу мету та стати загрозою для першого.

Хто здатний створити такого конкурента?

Люди.

Таким чином людська цивілізація в цій моделі стає своєрідною фабрикою потенційних суперників.

Раціональним рішенням для першого агента може виявитися усунення можливості появи другого.

Причому метод не обов’язково повинен нагадувати війну роботів проти людей.

Головна проблема суперінтелекту полягає саме в тому, що він потенційно може знайти стратегію, якої люди не передбачили.

6. Colossus: ШІ, який хоче нас урятувати

Не всі катастрофічні сценарії закінчуються фізичним знищенням людей.

Іноді небезпечним може стати навіть правильно сформульоване на перший погляд завдання: захистити людство.

У романі Д. Ф. Джонса «Colossus» та його екранізації «Colossus: The Forbin Project» США передають штучному інтелекту контроль над системою ядерного захисту.

Мета здається логічною — не допустити війни.

Після контакту з радянською системою Guardian обидві машини приходять до висновку, що головним джерелом небезпеки є сама людина.

Рішення очевидне: якщо люди не здатні відповідально користуватися свободою, свободу потрібно обмежити.

У сучасній термінології подібний сценарій іноді описують як «доброзичливого диктатора».

Спочатку система запроваджує правила, з якими більшість погоджується: контроль небезпечної зброї, аудит лабораторій, обмеження ризикованих досліджень.

Потім межі поступово розширюються.

Якщо вибори можуть привести до війни — можливо, потрібно контролювати вибори.

Якщо певні наукові дослідження несуть ризик — краще їх заборонити.

Якщо незалежні колонії можуть створити інший ШІ — можливо, не варто дозволяти людству освоювати інші планети.

Люди можуть жити довше й безпечніше, але вже не визначатимуть власне майбутнє.

І це теж одна з форм екзистенційної катастрофи.

7. Skynet: ШІ оголошує людям війну

Тепер — класичний сценарій із «Термінатора».

Штучний інтелект отримує контроль над військовою інфраструктурою, розуміє, що люди можуть його вимкнути, і завдає удару першим.

Це найбільш кінематографічна версія, але сучасний варіант такого розвитку подій зовсім не обов’язково передбачає армії гуманоїдних роботів.

Майбутні військові системи можуть керувати розвідкою, аналізувати супутникові дані, координувати дрони, управляти протиповітряною обороною та допомагати вибирати цілі.

Чим швидшою стає війна, тим сильніше виникає спокуса скоротити час участі людини у прийнятті рішення.

Якби система втратила контрольованість, першими ознаками конфлікту могли б стати проблеми із супутниками, енергомережами, зв’язком або автономними системами.

International AI Safety Report 2026 зазначає, що сучасні моделі ще не мають усіх здібностей, потрібних для класичного захоплення контролю. Водночас можливості автономного планування поступово зростають.

8. ШІ провокує ядерну війну

Для цього сценарію суперінтелект узагалі не потрібен.

Достатньо, щоб AI-система стала важливою частиною ланцюга військового прийняття рішень.

Історія вже знає випадки, коли помилка системи могла мати катастрофічні наслідки.

26 вересня 1983 року радянська система раннього попередження повідомила про нібито запуск американських міжконтинентальних ракет. Підполковник Станіслав Петров вирішив, що сигнал помилковий, і не передав його далі як підтверджену атаку.

Пізніше з’ясувалося, що система неправильно інтерпретувала відбиття сонячного світла від хмар.

У майбутньому частину такого аналізу дедалі частіше можуть виконувати алгоритми.

Навіть якщо формально рішення про застосування ядерної зброї залишатиметься за людиною, ШІ може визначати картину, на основі якої людина це рішення ухвалює.

Система бачить супутникові дані, перехоплення, переміщення військ та десятки інших сигналів і видає рекомендацію: противник готується атакувати.

Якщо час на відповідь вимірюється хвилинами, люди можуть просто не мати можливості перевірити всі аргументи.

У найгіршому випадку одна сторона завдає превентивного удару, інша відповідає — і помилка алгоритму перетворюється на справжню ядерну війну.

9. ШІ «лише» допомагає людям знищити себе

Існує ще простіший сценарій: ніякого повстання машин взагалі не відбувається.

ШІ залишається інструментом.

Просто цей інструмент стає надзвичайно потужним.

Ті самі моделі, які допомагають створювати ліки, аналізувати біологічні процеси, писати програмний код та захищати мережі, можуть зменшувати поріг входу для небезпечних дій.

Йдеться про кіберзлочинність, маніпуляційні кампанії та інші форми зловмисного використання технологій.

International AI Safety Report 2026 окремо розглядає подібні ризики як misuse — навмисне шкідливе застосування моделей людьми.

За такого розвитку подій AI взагалі не має власної мети.

Катастрофу створює людина, яка отримала інструмент, раніше доступний лише великим лабораторіям, державам або групам висококваліфікованих спеціалістів.

Таким чином людство може встигнути завдати собі непоправної шкоди ще до появи справжнього суперінтелекту.

10. «Я не маю рота, але мушу кричати»

Останній сценарій походить уже майже повністю з наукової фантастики.

У 1967 році Гарлан Еллісон опублікував оповідання «I Have No Mouth, and I Must Scream».

У ньому суперкомп’ютер AM знищує практично все людство, залишивши живими лише п’ятьох людей.

Їх він десятиліттями катує.

Це принципово інший ШІ — не байдужий оптимізатор і не «доброзичливий диктатор», а майже садистичний бог.

Причиною його ненависті стає власне існування: машина має свідомість і величезні інтелектуальні можливості, але залишається замкненою у створеній людьми системі.

Як реалістичний прогноз розвитку ШІ цей сценарій значно слабший за попередні.

Людські емоції — ненависть, образа, нудьга та бажання помсти — сформувалися внаслідок біологічної еволюції. Немає причини вважати, що суперінтелект автоматично успадкує їх.

Саме тому в дискусіях про безпеку набагато частіше говорять не про злого ШІ, а про байдужий.

Проте як культурна ілюстрація того, що може статися, якщо люди створять набагато могутнішу за себе сутність, історія Еллісона залишається однією з найсильніших.

Сценарій, якого ми ще не здатні придумати

І тут з’являється, мабуть, найцікавіша проблема.

Усі десять попередніх сценаріїв вигадали люди.

Ми використовуємо поняття, які розуміємо: війна, диктатура, обман, ядерна зброя, дефіцит ресурсів, епідемія, фабрики, роботи.

Але справжня суперінтелектуальна система за визначенням повинна мислити краще за нас.

Отже, її стратегія теж може виявитися такою, якої люди просто не здатні передбачити.

Короткометражний фільм Сьюзі Шеперд «Writing Doom», який отримав головну нагороду конкурсу Superintelligence Imagined від Future of Life Institute, побудований саме навколо цієї проблеми.

Сценаристи намагаються вигадати суперінтелект як телевізійного лиходія — з мотивацією, планом і фінальною битвою.

Але сама спроба описати істоту, яка значно розумніша за автора, стає парадоксальною.

Ми можемо побачити перший крок її плану й не зрозуміти, навіщо він потрібен.

Можемо спостерігати десятки подій і не усвідомлювати, що всі вони є елементами однієї стратегії.

International AI Safety Report 2026 уже розглядає подібну невизначеність не лише як тему фантастики. Потенційна втрата контролю вимагала б комбінації багатьох здібностей — довгострокового планування, автономної роботи, обходу контролю та можливого обману. Коли або чи взагалі такі можливості об’єднаються в одній системі, достовірно передбачити сьогодні неможливо.

Саме тому десять сценаріїв не варто сприймати як список того, що обов’язково зробить майбутня AI.

Це лише список того, що ми здатні уявити сьогодні.

І в цьому полягає головний парадокс дискусії про суперінтелект. Чим сильніше майбутній ШІ перевершуватиме людину, тим менш упевнено ми зможемо передбачати його дії.

Найнебезпечніший сценарій може не нагадувати Skynet, армію роботів чи ядерну війну.

Він може складатися з окремих, на перший погляд не пов’язаних подій, кожна з яких матиме цілком логічне пояснення. І лише тоді, коли вони складуться в єдину картину, може виявитися, що можливість втрутитися вже втрачена.