Ученые из Университета Калифорнии в Сан-Диего провели тест Тьюринга, чтобы проверить способность языковых моделей, таких как GPT-4, имитировать человеческое поведение. В результате эксперимента выяснилось, что людям часто сложно отличить ответы GPT-4 от тех, которые дает настоящий человек.
Идея исследования возникла в ходе обсуждения классических работ по тесту Тьюринга на курсе, организованном Беном и Камероном Джонсом. Первоначальное исследование показало, что GPT-4 успешно подделывает человеческие ответы в половине случаев. Однако дальнейшие эксперименты, описанные в их недавней публикации, продемонстрировали, что определить, кто перед ними — человек или искусственный интеллект, людям не всегда удается даже при случайном выборе.
Результаты подчеркивают, что современные языковые модели становятся все более непохожими на машины в краткосрочных чат-беседах. Это может повлиять на доверие пользователей в онлайн-среде, где они могут оказаться в неопределенности, общаясь с людьми или ботами.
Исследователи планируют обновить тест Тьюринга и провести дополнительные эксперименты, чтобы более глубоко изучить способность людей различать между человеком и языковыми моделями.
