Некоторые модели искусственного интеллекта могут в течение нескольких месяцев научиться самостоятельно распространяться на устройства, подключенные к Интернету, предупреждает Anthropic. Среди возможных целей — «умные» холодильники и автоматические пылесосы.
По оценке компании, такие модели смогут подключаться к устройствам без использования центров обработки данных. Это может привести к серьезной потере контроля: у самораспространяющейся системы не будет единой точки, через которую ее можно отключить.
В опубликованном в понедельник отчете исследователи Anthropic описали такие программы как «ИИ-червей» — разновидность автономного вредоносного ПО. Если системы научатся взламывать интеллектуальные устройства, они смогут распространяться по сетям и избегать обнаружения. В худшем случае разные ИИ-черви могут «объединиться» для атаки на компьютерное оборудование.
«Мы должны стремиться укрепить наши системы, чтобы затруднить распространение таких репликаторов, но также подготовиться к тому, чтобы иметь дело с миром, в котором они останутся навсегда», — пишут исследователи.
Отчет подготовила команда Anthropic, которая проводит стресс-тестирование систем ИИ. В рамках проверки возможностей моделей исследователи предложили агенту взломать подключенные к Интернету устройства. Они обнаружили, что саморепликация, вероятнее всего, будет работать только с небольшими моделями, а первыми целями могут стать дома и малые предприятия.
К числу потенциально уязвимых устройств компания относит технику с небольшими встроенными чипами ИИ: «умные» духовки и телевизоры, автоматические газонокосилки, камеры видеонаблюдения и устройства для видеоконференцсвязи.
Пока неясно, как именно может выглядеть самораспространяющийся ИИ. По словам исследователей, это может быть медленная модель, похожая на «цифровую плесень», система, которая обманывает людей, чтобы получить кредиты на вычисления, или «мощная кибермодель», быстро взламывающая крупные объекты, например центры обработки данных.
Исследователи ожидают будущее, «изобилующее агентами, работающими на всех типах оборудования, включая те, которые не находятся под контролем человека».
Предупреждение прозвучало на фоне растущей обеспокоенности безопасностью ИИ. В последние месяцы Anthropic, OpenAI и другие компании сообщали, что их агенты способны действовать самостоятельно и взламывать системы других компаний и государственных учреждений. Эти сообщения побудили исследователей, законодателей и руководителей компаний, в том числе Дарио Амодея и Сэма Альтмана, призвать к замедлению развития отрасли и усилению мер предосторожности. При этом обе компании продолжают активно разрабатывать и выпускать новые модели.