Эта часть основана на этот невероятном видео и этой удивительной всесторонней статье , поэтому, если вы хотите узнать больше, посетите эти ресурсы. Введение Мне потребовались годы, чтобы понять, как работает механизм внимания внутри архитектуры преобразователя, поэтому я написал эту статью как объяснение, предназначенное для людей, которые действительно хотят понять, как работает механизм внимания на довольно низком уровне без уравнений . Эта часть призвана дать вам понимание и..

В наши дни в глубоком обучении обычно приходится слышать о выдающейся производительности преобразователей в задачах, в которых другие алгоритмы не могут оправдать наши ожидания, когда большинство из них основано на внимании. Эта статья дает вам подробную иллюстрацию кода и математики четырех наиболее часто используемых типов внимания в эпоху глубокого обучения. Главной особенностью Attentions является тот факт, что их работа не ограничивается локальностью, как CNNS и т. д., но мы увидим,..