728x90
2022년 여름에 transformer 를 공부하고 기억이 가물가물하여 다시 한 번 정리합니다!
Self Attention
Cross Attention
Key Value 는 같은 곳에서, Query 만 다른 곳에서 가져옴
728x90
'AI > Deep Learning' 카테고리의 다른 글
| Object Pose Estimation, 6DoF, BOP challenge (0) | 2024.07.26 |
|---|---|
| Convolutional Neural Networks (CNN) (0) | 2024.07.06 |
| Autoregressive Model (0) | 2024.03.08 |
| Variational Auto-Encoder (VAE) (0) | 2024.02.28 |
| Generative Adversarial Nets (GAN) 수식으로 이해 (0) | 2023.09.13 |