Неожиданно оттуда, откуда его меньше всего ожидали, прозвучало трезвое предупреждение. Инженеры, связанные с китайским институтом AVIC в Чэнду — тем самым, который проектирует истребитель шестого поколения J-36, — публично предостерегли от чрезмерного доверия к крупным языковым моделям в военном проектировании. Отчет инженера Чжана Сяньчже был опубликован в журнале Information Studies: Theory & Application, который издает государственный оборонный концерн Norinco, а внимание к нему привлекла газета South China Morning Post.
Суть проблемы знакома каждому, кто работал с чат-ботами: модели ИИ генерируют «убедительные ответы, не имеющие под собой фактической основы». В быту такая галлюцинация обходится разве что испорченным рефератом, а при проектировании боевого самолета — значительно дороже. Разработка истребителя начинается с детального понимания угроз, и если модель придумает характеристики вражеских радаров, зоны поражения ракет или частотные диапазоны, ошибка встроится в сам фундамент машины — в решения, касающиеся стелса, датчиков, манёвренности и боевого радиуса.
Перечень рисков в отчёте конкретен. Неверная разведывательная база — вымышленные параметры систем противника. Технические ошибки — рекомендации из материалов с превышенными пределами усталости или маневры, нарушающие аэродинамику. Оперативные риски — несуществующие базы, подразделения и маршруты, которые могут вывести самолёт за пределы реальной дальности. Иллюстрирует всё это реальный случай: в начале года был нанесён высокоэффективный удар после идентификации цели системой искусственного интеллекта на основе устаревших разведывательных данных.
Рекомендации Чжана звучат разумно: ограничить модели проверенными военными данными, создавать надежные базы знаний, точнее формулировать запросы и внедрить перекрестную проверку с помощью конкурирующих ИИ-систем. Показательно, что это не призыв отказаться от ИИ — Китай продолжает масштабно внедрять его в военную сферу, — а скорее признание того, что даже самые ярые энтузиасты технологии уперлись в её фундаментальный недостаток. И пока маркетинг обещает, что «ИИ спроектирует всё за вас», инженеры, отвечающие за реальные самолёты, предпочитают держать галлюцинации моделей подальше от чертежей.
Напомним, что ИИ в китайской армии уже давно не является экспериментом. Ранее мы писали о системе, способной планировать массированные авиаудары по сотням целей — правда, окончательное решение там пока что остается за человеком.
