Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research создали нейросеть ReBased, способную ускорить обработку длинных текстов и сократить расходы на использование ИИ без потери качества, сообщает Т-Банк. По заявлениям ученых, разработка позволит шире применять языковые модели в бизнесе.
Также открытие поможет компаниям уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов за счет снижения потребления энергии.
Нейросеть ReBased представляет собой новую архитектуру языковых моделей. Ученые отмечают, что выбор подходящей архитектуры, как и в проекте здания, важен для эффективности и точности работы модели. За основу ученые из T-Bank Research взяли модель Based, представленную в Стэнфорде в декабре 2023 года. Специалисты оптимизировали механизм извлечения информации из текста и добавили новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей в тексте.
Также ученые упростили алгоритм выделения текстовой информации, увеличив производительность. В среднем понимание взаимосвязей у ReBased улучшилось на 10%.
В ходе тестов ученые экспериментировали на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению (ассоциативному запоминанию).
Как отметил исследователь обработки естественного языка в T-Bank Research Ярослав Аксенов, одновременно с открытием российских специалистов исследователи из Стэнфорда выпустили исследование на ту же тему, но с другим подходом к решению. "Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: языковые модели "Трансформер" слишком медленные, но линейные модели уступают им по качеству", — рассказал он.
