На январском Форуме исследований Microsoft Дипендра Мисра, старший исследователь в Microsoft Research Lab NYC и AI Frontiers, представил метод Layer-Selective Rank Reduction (LASER), способный повысить точность больших языковых моделей.
Суть LASER заключается в замене одной матрицы весов на приблизительно меньшую. Веса представляют собой контекстуальные связи в моделях. Обычно, чем выше вес, тем больше модель на нем зависит. Исходя из результатов тестов, замена матрицы более маленькой, но точной, не снижает точность модели, а, наоборот, в некоторых случаях улучшает ее на 20 30 процентных пунктов.
Мисра утверждает, что его команда успешно применила LASER к трем различным открытым моделям: RoBERTa, Llama 2 и Eleuther’s GPT-J. Например, после вмешательства LASER производительность GPT-J в предсказании пола на основе биографий выросла с 70,9% до 97,5%.
Точность языковых моделей всегда оставалась проблемой, и новый метод может быть шагом к ее решению, особенно в контексте уменьшения числа фактических ошибок, которые могут причинить серьезный вред.
