Несподівано тверезе попередження пролунало звідти, звідки його чекали найменше. Інженери, пов’язані з китайським інститутом AVIC у Ченду — тим самим, що проєктує винищувач шостого покоління J-36, — публічно застерегли від надмірної довіри до великих мовних моделей у військовому проєктуванні. Звіт інженера Чжана Сяньчже вийшов у журналі Information Studies: Theory & Application, який видає державний оборонний концерн Norinco, а увагу до нього привернула South China Morning Post.
Суть проблеми знайома кожному, хто працював із чат-ботами: ШІ-моделі генерують «переконливі відповіді, які не мають фактичної основи». У побуті така галюцинація коштує хіба що зіпсованого реферату, у проєктуванні бойового літака — значно дорожче. Розробка винищувача починається з детального розуміння загроз, і якщо модель вигадає характеристики ворожих радарів, зони ураження ракет чи частотні діапазони, помилка вбудується в самий фундамент машини — у рішення щодо стелсу, сенсорів, маневреності й бойового радіуса.
Перелік ризиків у звіті конкретний. Хибна розвідувальна база — вигадані параметри систем супротивника. Технічні помилки — рекомендації матеріалів із перевищеними межами втоми або маневрів, що порушують аеродинаміку. Оперативні ризики — неіснуючі бази, підрозділи й маршрути, які можуть відправити літак за межі реальної дальності. Ілюструє все це реальний випадок: на початку року високозбитковий удар було завдано після ідентифікації цілі ШІ-системою на основі застарілої розвідки.
Рецепти Чжана звучать розсудливо: обмежити моделі верифікованими військовими даними, будувати перевірені бази знань, точніше формулювати запити й запровадити перехресну перевірку через конкурентні ШІ-системи. Показово, що це не заклик відмовитися від ШІ — Китай продовжує масштабно впроваджувати його у військову сферу, — а радше визнання, що навіть найпалкіші ентузіасти технології вперлися в її фундаментальну ваду. І поки маркетинг обіцяє «ШІ спроєктує все за вас», інженери, які відповідають за реальні літаки, воліють тримати галюцинації моделей подалі від креслень.
Нагадаємо, ШІ у китайському війську вже давно не експеримент. Раніше ми писали про систему, здатну планувати масовані авіаудари по сотнях цілей — щоправда, фінальне рішення там поки що залишається за людиною.
