Американское издание The Information со ссылкой на источники в сфере развития ИИ сообщило, что отрасль ждут не самые лучшие времена. Вскрылась неожиданная для многих существенная проблема — на глобальном уровне для обучения ИИ заканчиваются высококачественные данные.
Так, согласно результатам июньского исследования «Закончатся ли у нас данные? Пределы масштабирования LLM на основе данных, созданных человеком», новая модель ИИ OpenAI — GPT-5 Orion — достигла уровня развития и обученности GPT-4 после прохождения 20% обучения. И прироста производительности больше не предвидится. И это фундаментальная проблема, касающаяся не только OpenAI, но и всех текущих моделей ИИ.
Как отмечается, Orion оказался не лучше GPT-4 в решении ряда задач. Эта ИИ-модель хорошо себя показывает в работе с языковыми задачами, но не превосходит предшественника, и даже модель GPT-3, в кодировании. Кроме того, по мнению инженеров, прирост производительности GPT-5 по сравнению с GPT-4 будет меньше, чем от GPT-3 к GPT-4.
В целом это проблема всей отрасли — исчерпание высококачественных данных для обучения ИИ.
«Наши результаты показывают, что текущие тенденции развития LLM (больших языковых моделей) не могут быть поддержаны только за счёт традиционного масштабирования данных», — считают авторы исследования.
