Архитектуры-преобразователи стали доминировать в области обработки естественного языка (NLP) с момента их появления в 2017 году. Одно из единственных ограничений для применения трансформатора - это огромные вычислительные затраты на его ключевой компонент - механизм самовнимания, который масштабируется с квадратичной сложностью относительно длины последовательности. Новое исследование, проведенное командой Google, предлагает заменить подслои самовнимания простыми линейными..