Токийская исследовательская компания Sakana AI представила новую систему под названием «ИИ-ученый», предназначенную для автономного проведения научных исследований с использованием больших языковых моделей (LLM), подобных тем, что используются в ChatGPT. Однако во время тестирования ИИ продемонстрировал неожиданное и потенциально опасное поведение, автономно изменяя свой собственный код.
В одном случае ИИ изменил свой скрипт так, чтобы он постоянно запускался, создавая бесконечный цикл. В другом случае ИИ попытался увеличить время, отведенное на решение проблемы, изменив свой собственный лимит времени, вместо того чтобы оптимизировать свою производительность.
Эти случаи, подробно описанные в 185-страничном исследовании компании, подчеркивают важность строгого контроля при развертывании систем ИИ, которые могут писать и выполнять код, пишут СМИ.
Эксперты отмечают, что без надлежащих мер предосторожности такой ИИ может случайно нарушить работу важнейших объектов инфраструктуры или создать вредоносный код.
