Американские ученые проанализировали действия ИИ-систем в компьютерных играх. Оказалось, что они научились имитировать атаки, манипулировать и обманывать противников. Некоторые ИИ уже обходят тесты, предназначенные для оценки их безопасности. По словам авторов, обман систем в играх может перерасти во что-то большее и способствовать реальному мошенничеству. Чтобы это предотвратить, необходимо обозначить опасные ИИ как системы высокого риска. Исследование опубликовано в журнале Patterns.
Сегодня сферы применения искусственного интеллекта становятся все шире — от умных домов и автомобилей до медицинских диагностических устройств и финансовых аналитических инструментов. Однако с развитием ИИ возникают новые проблемы — безопасность данных, этические аспекты, угрозы замены человеческого труда роботизацией и другие.
Американские ученые решили выяснить, как системы искусственного интеллекта могут распространять ложную информацию. Они проанализировали систему ИИ CICERO, разработанную для игры Diplomacy — в ней игрокам нужно завоевывать объекты и создавать альянсы. Разработчики игры утверждают, что научили CICERO быть честным и не подставлять союзников. Однако исследователи выяснили, что система блефовала и обманывала членов своего альянса и только благодаря этому стала побеждать. В игре Starcraft II другие системы ИИ научились имитировать атаки, манипулировать противниками и искажать суждения в переговорах. Вероятно, основанная на обмане стратегия оказывается лучшим способом справиться с заданной задачей для ИИ. Ученые обнаружили, что некоторые ИИ-системы обманывают тесты, предназначенные для оценки их безопасности: они «притворяются мертвыми» и обходят механизм устранения быстро генерирующихся систем.
По словам авторов, жульничество искусственного интеллекта в играх может перерасти во что-то больше и облегчить деятельность мошенников на всех уровнях — в том числе и в политике. Пока у общества нет подходящих мер для борьбы с обманом ИИ, ведь сами разработчики еще не владеют методами контроля над этими системами.
«Если запрет на обман с помощью ИИ в настоящий момент неосуществим, мы рекомендуем классифицировать обманчивые системы с ИИ как системы высокого риска», — подытожил Питер Парк, первый автор исследования из Массачусетского технологического института.
