잔차 스트림을 모든 층이 읽고 쓰는 빛나는 강으로 바라보세요. 어텐션과 MLP라는 지류가 특징을 더해가요.
영어 원문에서 기계 번역되었어요. 영어 원문 열기
트랜스포머의 각 레이어는 혼자서 계산하지 않아요 — 하나의 공유된 흐름, 즉 잔차 스트림을 읽고 거기에 써넣어요. 여기서는 이 흐름을 입력에서 출력까지 흐르는 빛나는 강으로 지켜봐요. 강이 레이어를 지날 때마다 정보가 조금씩 더해지며 더 밝게 빛나요.
강이 입력에서 출력까지 흐르며 레이어를 지날 때마다 밝아지는 모습을 지켜보세요.
attn: 맥락 모으기 / mlp: 출력 전 마무리. 마지막 레이어가 전체를 정돈해서 다음 토큰 예측에 넘길 표현을 완성해요.
