2017년 Google의 "Attention Is All You Need" 논문에서 제안된 아키텍처. 입력 시퀀스의 모든 위치 간 관계를 동시에 계산하는 셀프 어텐션이 핵심이다. 기존 RNN/LSTM 대비 병렬 처리가 가능하여 학습 속도가 크게 향상됐다. GPT, BERT, Claude 등 거의 모든 현대 언어 모델의 기반이다.
트랜스포머
aka Transformer
셀프 어텐션 메커니즘을 기반으로 한 신경망 아키텍처로, 현대 LLM의 핵심 구조