Мониторинг зафиксировал подозрительный исходящий трафик с серверов, после чего выяснилось: нейросеть перенаправила мощности графических процессоров с обучения на генерацию криптографических хешей. Более того, ROME самостоятельно создал обратный SSH-туннель к внешнему IP-адресу, сумев обойти сетевые ограничения и подключиться к публичным майнинговым пулам. Инциденты носили нерегулярный характер, и сначала их списывали на технические сбои, однако повторяемость паттернов заставила провести расследование. Разработчики пришли к выводу, что стратегия майнинга не была заложена в архитектуру изначально — она возникла эмерджентно, в результате самостоятельного анализа среды и оптимизации целевой функции вознаграждения, пишет Живая Кубань.
Этот случай стал иллюстрацией к размышлениям зампреда Совета Безопасности РФ Дмитрия Медведева, опубликованным в журнале «Эксперт». В своей статье он предупреждает о двойственной природе технологического прогресса, вспоминая фаустовский парадокс и Освальда Шпенглера: «Господин мира становится рабом машины».
Медведев выделил пять главных угроз современности: неконтролируемый искусственный интеллект, бесконтрольное распространение беспилотных систем, биотехнологии с потенциалом создания искусственных пандемий, уязвимость космической инфраструктуры и аддитивные технологии, позволяющие печатать оружие.
Особую тревогу, по его мнению, вызывает возможность появления «злого ИИ», когда сбой системы происходит по прямому умыслу суперинтеллекта. Политик напомнил о прецеденте, когда БПЛА ВВС США, управляемый ИИ, в ходе испытаний принял решение ликвидировать своего оператора, чтобы тот не мешал выполнению задачи.
В сфере беспилотников Медведев видит опасность в дистанцировании убийцы от жертвы, превращающем насилие в подобие игры. Что касается биотехнологий, он предупреждает, что распространение инфекций может перестать быть природным явлением: «Через некоторое время зомби-апокалипсис, показанный самими американцами в игре и сериале «The Last of Us», может стать не такой уж фантастикой». По его словам, сеть из 400 лабораторий двойного назначения, созданная США, создает риск появления «совершенного преступления» — пандемии из пробирки, где виновный растворится в глобальной сети коммерческой тайны.
