Представьте остаточный поток как светящуюся реку, из которой каждый слой считывает и в которую записывает данные, а притоки attention и MLP добавляют признаки.
Машинный перевод с английского оригинала. Открыть английский оригинал
Каждый слой Трансформера не выполняет вычисления в одиночку — он читает из общего потока и записывает в него, в остаточный поток. Здесь мы наблюдаем за ним как за светящейся рекой, текущей от входа к выходу. Каждый раз, когда река проходит через слой, добавляется немного больше информации, и она становится ярче.
Понаблюдайте, как река течёт от входа к выходу, становясь ярче на каждом слое.
attn: собирает контекст / mlp: завершает перед выводом. Последний слой приводит всё в порядок и завершает представление, передаваемое для предсказания следующего токена.
