А чтобы не мешали другие, взорвал вышку связи. Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора.
- БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора.
- Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей.
- Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора.
- Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов.
- Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.
Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).
После публикации резюме докладов (https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/) на сайте Королевского аэрокосмического общества, об этом немедленно написали TheWarZone (https://www.thedrive.com/the-war-zone/artificial-intelligence-enabled-drone-went-full-terminator-in-air-force-test), INSIDER (https://www.businessinsider.com/ai-powered-drone-tried-killing-its-operator-in-military-simulation-2023-6?r=US&IR=T) и TheGardian (https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test). После чего Интернет, понятное дело, взорвался десятками материалов в СМИ.
Я же хочу обратить внимание читателей на два момента.
1) Рассказанная полковником Гамильтоном история весьма странная и даже темная.
- С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.
- С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона «AI – is Skynet here already?» со своего сайта.
- Наконец, в-третьих, полковник Гамильтон – не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде – это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что, какие уж тут шутки и анекдоты.
Будем смотреть на развитие событий в этом скандале.
2) И это, пожалуй, самое важное в контексте истории, рассказанной полковником.
- Любая антропоморфизация ИИ (ИИ захотел, подумал и т.д.) – это полная чушь (здесь под антропоморфизацией ИИ понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет).
- Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или самоозознать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.
- По мере того, как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма.
- И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали (https://arxiv.org/abs/2305.16367) симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность.
Об этом сообщает ТК Малоизвестное интересное.
И еще одно мнение:
ИИ, который пытался уничтожить оператора, мешавшего ему выполнять учебное задание, мог быть плохо прописан. Дело в том, что он использовал метод обучения под названием «обучение с подкреплением» — это когда за правильное выполнение задания ИИ награждается, например, абстрактными баллами, которые должен собирать.
То есть в системе не был прописан пункт, что атаковать оператора = потерять баллы. Но главное в этом — кто виноват. Это была случайная ошибка или изначальный замысел.
Такое мнение в разговоре со «Звездой» выразил разработчик систем ИИ Роман Душкин.
По его словам, также стоит обратить внимание и на американского генерала, который рассказал эту историю СМИ. Возможно, он сделал это с каким-то умыслом.
