У ChatGPT мозок дев’ятирічної дитини: нейромережа пройшла тест на теорію розуму
Нейромережа ChatGPT відповідає на питання краще, ніж Google, і може стати цікавим співрозмовником. Однак штучний інтелект, розроблений OpenAI, далеко не бездоганний. Професор Стенфордського університету Міхал Косінскі змусив чат-бота пройти низку завдань з теорії розуму (Theory of Mind). У когнітивній науці ці завдання використовуються для перевірки здатності розуміти та описувати те, про що думає інша людина, на основі доступної інформації. Тобто дозволяють судити про рівень логіки та емпатії випробуваного.
Експеримент було проведено у листопаді 2022 року з використанням ChatGPT, навченої до мовної моделі GPT-3.5. АІ вдалося вирішити 17 із 20 поставлених перед ним завдань, ймовірність успіху склала 94%. Хоча цей відсоток може здатися високим, насправді він ставить ChatGPT на один рівень із середньою дев’ятирічною дитиною.
Перспективи, проте, дуже хороші, оскільки попередні версії нейромережі були набагато менш ефективні в таких тестах. «Я тестував найпершу версію ChatGPT, і вона повністю провалила випробування. Потім була GPT-3, яка вирішила 70% завдань. З появою GPT-3.5 феноменальна здатність АІ до навчання підтвердилася» – наголосив учений.
І хоча на поточному етапі розвитку голосові моделі вже можуть здивувати своїми пишномовними міркуваннями, їх все ще можна заплутати простими головоломками. Наприклад, ChatGPT не може відповісти на це запитання:
У мами Майка четверо дітей. Трьох із них звуть Луїс, Томас і Матильда. Як звати 4-у дитину?
“Неможливо визначити ім’я 4-ї дитини, не маючи додаткової інформації” – заперечує ChatGPT. Розгадати це завдання зможе навіть дев’ятирічна дитина.