[NeurIPS-2017] Attention is all you need

https://limitsinx.tistory.com/293

[NIPS-2017] Attention is all you need

이전에 한번 디테일하게 다룬적이 있지만, 구관이 명관이라 다시한번 재정리해보았습니다.

Attention Is All You Need

NeurIPS 2017 · Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
arXiv: https://arxiv.org/abs/1706.03762 · NeurIPS abstract: https://papers.nips.cc/paper/7181-attention-is-all-you-need

Attention is All you Need

 

한 줄 핵심
이 논문은 RNN/CNN 없이 attention만으로 시퀀스를 처리하는 Transformer를 제안해, 현대 생성형 AI와 LLM 시대의 기반 아키텍처를 만든 역사적 분기점입니다.

---

1. 문제 정의

2017년까지 시퀀스 모델의 주류는 RNN, LSTM, GRU, 그리고 일부 CNN 기반 encoder-decoder였습니다. 성능은 좋았지만 긴 의존성 처리, 순차 계산으로 인한 병렬화 한계, 학습 속도 문제가 컸습니다. 이 논문은 질문을 아주 공격적으로 바꿉니다. 정말 recurrence가 필요한가? (RNN, LSTM, GRU... Recurrent 계열을 지워버린 혁신의 시작)

핵심 질문
시퀀스 모델에서 recurrence와 convolution을 없애고, attention만으로 더 잘, 더 빠르게 학습할 수 있는가?

---

2. 이 논문의 핵심 novelty

• Transformer라는 attention-only 아키텍처 제안
• Self-attention을 중심으로 토큰 간 관계를 직접 계산
• Multi-head attention으로 서로 다른 관계를 병렬적으로 포착
• Positional encoding으로 순서 정보를 recurrence 없이 주입 (개인적으로 별로 마음에 들지 않음)

이 논문의 위대함은 성능 숫자만이 아니라, 이후 거의 모든 대형 언어모델과 멀티모달 모델의 기본 골격을 바꿨다는 점에 있습니다.

Figure 1 — Transformer 전체 구조

출처: arXiv HTML Figure 1

무엇을 보여주나: encoder-decoder 기반 Transformer의 전체 구조를 요약합니다. 각 층에서 self-attention과 feed-forward가 반복됩니다.

왜 중요한가: 이 그림 한 장이 이후 GPT, BERT, T5, ViT, diffusion transformer까지 이어지는 아키텍처 계보의 출발점입니다.

핵심/novelty 연결: recurrence를 완전히 버리고도 sequence transduction이 가능하다는 것을 구조 수준에서 처음 명확히 보여줍니다.

Figure 2 — Scaled Dot-Product Attention과 Multi-Head Attention

출처: arXiv HTML Figure 2

무엇을 보여주나: attention 계산의 핵심 블록과 multi-head attention이 병렬로 작동하는 방식을 보여줍니다.

왜 중요한가: Transformer의 진짜 엔진이 바로 여기 있습니다. 토큰 간 관계를 압축된 hidden state를 거치지 않고 직접 계산합니다.

핵심/novelty 연결: multi-head는 단순 ensemble이 아니라 서로 다른 표현 공간에서 관계를 동시에 읽게 해, 의미·문법·장거리 의존성을 더 풍부하게 잡습니다.

---

3. 왜 세상을 바꿨는가

Transformer는 단순히 번역 점수를 높인 모델이 아니었습니다. 더 본질적인 변화는 GPU/TPU 병렬화 친화적인 학습 구조를 제시했다는 점입니다. RNN은 순차 처리라 길이가 늘수록 병목이 커지지만, self-attention은 전체 시퀀스를 병렬적으로 다룰 수 있습니다. (알고리즘으로 HardWare 한계점을 돌파, LSTM이 1999년에 나온논문임에도 2010대까지도 알고리즘이 매우 무거웠음)

• WMT14 En-De: 28.4 BLEU
• WMT14 En-Fr: 41.8 BLEU (abstract 기준)
• 더 적은 학습 시간, 더 좋은 병렬화

이 설계 덕분에 모델 크기와 데이터 규모를 폭발적으로 키우는 오늘의 LLM 스케일링이 가능해졌습니다.

Table 2 / Figure 3 계열 — 성능과 병렬화 trade-off

출처: arXiv HTML Figure 3

무엇을 보여주나: self-attention, recurrent, convolutional layer의 계산 복잡도와 path length 차이를 비교합니다.

왜 중요한가: 이 논문이 왜 단지 정확도 개선이 아니라 확장 가능한 컴퓨팅 구조를 제안한 것인지 보여줍니다.

핵심/novelty 연결: 짧은 path length는 장거리 의존성을 더 직접적으로 학습하게 해주고, 병렬화 가능성은 대규모 사전학습 시대의 토대를 깔았습니다.

---

4. 실무적으로 가져갈 포인트

• 현대 LLM, encoder-only, decoder-only, encoder-decoder 모델 대부분이 Transformer 계열
• 텍스트를 넘어 비전, 음성, 생물정보, 로보틱스로 확장
• 모델 설계의 중심이 recurrence에서 attention으로 이동

요즘 AI를 이해하려면 사실상 이 논문을 이해해야 합니다. GPT류 생성모델도, BERT류 이해모델도, ViT류 비전모델도 이 논문이 만든 문법 위에서 자랐습니다.

---

5. 한계

• 원 논문은 긴 시퀀스에 대해 attention의 O(n²) 메모리/연산 비용 문제를 남겼습니다.
• 당시 기준으로는 번역 중심 검증이었고, 초대형 사전학습은 이후 세대의 발전입니다.
• positional encoding, context length, 효율화 문제는 후속 연구가 크게 보완했습니다.

Final Summary

이 논문의 핵심 한 줄
RNN 없이 attention만으로 시퀀스 학습을 재정의한 논문입니다.

이 논문만의 novelty

• attention-only Transformer 제안
• multi-head attention과 positional encoding으로 recurrence 제거
• 성능뿐 아니라 병렬화와 확장성의 새 기준 제시

실무적으로 가져갈 포인트

• 오늘의 LLM과 생성형 AI 구조의 직접적 출발점
• 모델 스케일링 시대를 연 아키텍처 혁신

주요 한계
attention 비용 O(n²), 긴 문맥 처리와 효율성은 후속 연구 과제였습니다.

 

후세에 이 세상을 바꾼 논문으로 기억될 올타임 레전드 논문입니다.

이 세상에서 몇개의 AI 논문을 볼 수 있다면 저는 주저없이 이 논문과 GAN을 고를것입니다.