[arXiv-2026] There Will Be a Scientific Theory of Deep Learning

There Will Be a Scientific Theory of Deep Learning

발송 시각 제목: 2026-04-29, 11:43, There Will Be a Scientific Theory of Deep Learning

논문: arXiv:2604.21691v1 (2026-04-23)

저자: Jamie Simon 외

한 줄 핵심

이 논문은 “딥러닝은 영원히 블랙박스일 것”이라는 체념 대신, 이미 여러 이론적·실증적 흐름이 서로 맞물리며 학습 과정의 물리학 같은 정량적 과학—저자들이 부르는 learning mechanics—로 수렴하고 있다고 주장하는 대형 관점 논문입니다.

"딥러닝은 아직 이론이 없는게 아니라, 물리학처럼 설명 가능한 학습 법칙이 이미 만들어지고 있다."

약간...딥러닝계의 통일장 이론 같은느낌

5줄 요약

1. 이 논문은 딥러닝의 과학 이론이 아직 없다는 말에서 한 걸음 더 나아가, 이미 그 이론의 뼈대가 형성되고 있다고 주장합니다.
2. 핵심 novelty는 산발적인 이론 성과들을 하나의 프레임으로 묶어, 딥러닝 이론의 중심을 표현력·일반화의 고전 질문에서 학습 동역학의 정량적 mechanics로 재정의한 점입니다.
3. 저자들은 그 증거로 ① 풀리는 장난감 문제(toy model) ② 무한폭/무한깊이 같은 유용한 극한 ③ 스케일링 법칙·edge of stability 같은 간단한 거시 법칙 ④ 하이퍼파라미터 분리 이론 ⑤ 다양한 모델에서 공통 패턴 존재라는 다섯 축을 제시합니다.
4. 또한 mechanistic interpretability와 경쟁하는 대신 상보적 관계라고 보며, 해석학이 생물학이라면 learning mechanics는 물리학이 되어야 한다고 주장합니다.
5. 실무적으로는 하이퍼파라미터 탐색 감소, 스케일링 예측, 데이터 설계, 안전성 기반 구축에 의미가 크지만, 아직은 통합된 폐쇄형 이론이 아니라 여러 조각 이론의 수렴 단계라는 한계도 분명합니다.

---

무엇을 푸는 논문인가

이 논문은 새로운 아키텍처나 알고리즘을 제안하는 연구가 아닙니다. 더 근본적인 질문을 던집니다. 딥러닝은 과학적으로 이해 가능한가? 즉, 학습 과정·은닉표상·최종 가중치·성능을 설명하고 예측하는 통합 이론이 가능한가를 묻습니다.

저자들의 문제의식은 명확합니다. 오늘날의 신경망은 엄청나게 잘 작동하지만, 실제 훈련 관행은 여전히 경험칙과 trial-and-error에 크게 의존합니다. 그래서 이론이 엔지니어링의 기반이 되지 못하고 있습니다. 논문은 이 상태를 “이론이 아직 없어서”라기보다, 이론의 조각들이 이미 생겨났지만 아직 하나의 과학 프로그램으로 묶여 보이지 않았기 때문이라고 해석합니다.

---

기존 한계: 왜 기존 딥러닝 이론만으로는 부족했는가

• 고전 학습이론의 한계: PAC/VC/일반화 bound는 주로 단순하고 과매개변수화되지 않은 모델에서 강했습니다. 그러나 실제 딥러닝은 non-convex·초과매개변수화·표상학습(feature learning)의 세계입니다.
• 표현력 논의의 한계: “무엇을 표현할 수 있는가”는 중요하지만, 실제로 네트워크가 어떻게 그 해에 도달하는가는 설명하지 못합니다.
• 최악경우 분석의 한계: 신경망 실전은 평균적·거시적 패턴이 중요합니다. 저자들은 worst-case bound보다 정량적이고 검증 가능한 average-case 법칙이 더 중요하다고 봅니다.
• 현대 대형모델과의 거리: LLM·diffusion 규모의 시스템에서는 데이터, 최적화, 초기화, 폭·깊이·학습률이 상호작용합니다. 고전 이론은 이런 상호작용의 거친 통계까지는 잘 설명하지 못했습니다.
•  

---

정확한 novelty

이 논문의 진짜 새로움은 새로운 정리 하나가 아니라 이론 연구의 지형도를 다시 그린 것입니다.

• 딥러닝 이론을 하나의 과학 프로그램으로 재정의: 저자들은 emerging theory를 learning mechanics라고 부르며, 훈련과정의 “운동 법칙”을 찾는 방향으로 프레임을 잡습니다.
• 다섯 종류의 증거를 통합 프레임으로 정리: 그동안 따로 놀던 toy model, infinite limit, scaling law, hyperparameter theory, universality를 한 축 위에 올립니다.
• 이론의 목표를 명시적 desiderata로 제시: fundamental, mathematical, predictive, comprehensive, intuitive, useful, humble이라는 7개 기준을 제시합니다.
• mechanistic interpretability와의 관계를 생산적으로 규정: 대립이 아니라 상호보완이라고 주장하는 점이 중요합니다.

Figure 1(a) — deep linear network에서는 학습 동역학이 정확히 풀리며, 특이값이 큰 모드부터 순차적으로 학습되는 greedy low-rank bias가 나타납니다. 이 그림은 “완전히 풀리는 설정이 실제 학습 직관을 준다”는 첫 번째 증거의 대표 예입니다. 

Figure 1(b) — 비선형 네트워크를 초기화 주변에서 파라미터 선형화하면 NTK로 환원되고, 이때 일반화 성능까지 꽤 정확히 예측할 수 있습니다. 즉 “비현실적이지만 계산 가능한 limit/model이 실제 거시 현상을 예측한다”는 논문의 메시지를 시각적으로 잘 보여줍니다.

---

핵심 주장: 다섯 가지 증거

1) Analytically solvable settings exist

저자들은 물리학처럼 딥러닝도 “완전히 풀리는 대표계”를 축적하고 있다고 봅니다. 대표 예가 deep linear networks와 NTK/linearized networks입니다.

• Deep linear networks는 비록 입력에 대한 비선형성이 없지만, 파라미터 공간에서는 여전히 비선형이라 학습 순서, 초기화 민감성, 모드별 습득 속도 차이 같은 중요한 현상을 보여줍니다.
• Linearized/NTK regime는 비선형 네트워크를 초기화 주변에서 선형화해, architecture가 inductive bias를 어떻게 결정하는지와 특정 타깃 함수에서 일반화오차가 어떻게 나오는지를 계산 가능하게 만듭니다.
• 핵심 의미: “현실을 단순화하면 아무 것도 안 남는다”가 아니라, 오히려 단순화된 setting이 실제 네트워크의 핵심 편향과 학습 순서를 드러낸다는 것입니다.

다만 저자들도 한계를 인정합니다. 선형화 모델은 feature learning과 진짜 non-convex optimization을 충분히 담지 못합니다.

그래서 다음 단계로 fully nonlinear toy model들이 중요해진다고 말합니다.

 

어렵게 얘기하는데, 직관적으로는 간단한 모델은 수학적으로 완전히 이해가된다는것입니다.

쉬운 패턴부터 먼저배우고, 어려운건 나중에 배우는것이 보인다는 점인데 개인적으로 크게 설득력있는지는 모르겠습니다.

2) Insightful limits reveal fundamental behavior

두 번째 증거는 무한폭·무한깊이 같은 극한입니다. 복잡한 시스템은 큰 수의 극한에서 오히려 단순해지고, 그 단순한 구조가 유한계에도 통찰을 준다는 전형적인 물리학적 전략입니다.

쉽게말하면, 모델을 크게만들수록 오히려 행동이 단순해진다(규칙이 생긴다)는 것입니다.

• Infinite width, lazy regime: 통상적 초기화에서는 가중치·표상이 거의 안 변하고 함수만 조금 움직여 NTK dynamics가 나타납니다.
• Infinite width, rich regime: 출력 스케일을 더 줄이면 가중치가 크게 이동하고 feature learning이 살아납니다. 즉 폭을 무한대로 보내도 “학습이 선형적이냐, 풍부하냐”가 초기화/parameterization에 따라 갈립니다.
• Infinite depth limit: residual network에서도 층 기여 스케일에 따라 ODE형 limit와 diffusion형 limit가 갈립니다.
• 핵심 의미: 극한은 단순한 수학 장난이 아니라, 어떤 하이퍼파라미터 조합이 lazy vs rich, smooth vs diffusive 같은 질적 상전이를 만드는지 드러냅니다.

Figure 2 — 같은 유한폭 네트워크도 출력 multiplier α 값에 따라 rich training과 lazy training으로 갈립니다. α가 작으면 student 네트워크의 weight가 크게 움직이며 teacher feature 방향으로 모이고, α가 크면 loss는 줄어도 weight 이동은 미미합니다. 이 그림은 “극한 이론이 실제 finite network에서도 작동하는 organizing principle”임을 보여주는 가장 좋은 예 중 하나입니다.

3) Simple empirical laws capture meaningful macroscopic statistics

세 번째 증거는 복잡한 미시 동역학이 있어도, 거시 수준에서는 놀랄 만큼 간단한 법칙이 반복적으로 나온다는 것입니다.

즉, 모델 크기(scale)/데이터/연산량과 성능이 규칙적인 비례관계에 있다는 점입니다.

• Neural scaling laws: 모델 크기·데이터 크기·연산량과 성능 사이에 power-law 형태가 반복적으로 관측됩니다.
• Edge of stability: gradient descent가 단순히 안정영역 안에서만 도는 것이 아니라 Hessian sharpness가 대략 2/η 부근까지 올라가는 경계 근처에서 움직인다는 패턴입니다.
• Representation/weight statistics: 학습된 표상·스펙트럼·노름 같은 coarse observables가 단순한 수학적 구조를 보이는 경우가 늘고 있습니다.
• 핵심 의미: 모든 파라미터를 이해하지 못해도, 엔지니어링과 예측에 충분한 거시 법칙은 먼저 생길 수 있다는 주장입니다.

Figure 3 — 대형 신경망의 손실이 compute·dataset size·parameter count에 대해 대체로 power law를 따르는 scaling laws를 보여줍니다. 이 논문에서 이 그림이 중요한 이유는, 딥러닝의 거시 예측이 이미 “간단한 법칙” 수준으로 일부 성숙해 있음을 상징하기 때문입니다.

Figure 4 — 서로 다른 아키텍처에서도 학습 중 Hessian sharpness가 2/η 부근으로 상승해 머무는 edge-of-stability 현상을 보여줍니다. 이 그림은 최적화가 단순한 local convexity 그림으로는 설명되지 않으며, 새로운 정량 법칙이 필요함을 잘 보여줍니다.

4) Hyperparameters can be disentangled and understood

네 번째 증거는, 딥러닝의 복잡성이 하이퍼파라미터 때문에 영원히 불가해한 것이 아니라는 점입니다. 저자들은 learning rate, batch size, initialization scale, width/depth scaling, parameterization 등 다수의 하이퍼파라미터가 적절한 좌표계에서 분리 가능하다고 봅니다.

즉, learning rate나 initial value같은 hyper-parameter들은 따로따로 이해가 가능하다는 점입니다.

• 대표적으로 μP(Maximal Update Parameterization)류 작업은 폭이 달라져도 최적 학습률을 거의 유지하도록 해, 작은 모델에서 찾은 하이퍼파라미터를 큰 모델로 transfer할 수 있게 합니다.
• 이런 이론은 “하이퍼파라미터는 그냥 감”이라는 문화를 줄이고, 폭·깊이·초기화가 만들어내는 유효 dynamics를 단순화합니다.
• 저자들의 큰 메시지는, 복잡한 현상 전체를 한 번에 풀지 못해도 하이퍼파라미터를 떼어내기만 해도 남는 동역학이 훨씬 간결해진다는 것입니다.

Figure 5 — 표준 parameterization에서는 폭이 커질수록 최적 learning rate가 달라지지만, μP에서는 거의 일정하게 유지됩니다. 이 그림이 상징하는 바는 분명합니다. 좋은 이론은 사후 설명이 아니라 실제 튜닝 비용을 줄이는 transferable prescription이 되어야 한다는 것입니다.

5) Universal phenomena appear across settings and tasks

다섯 번째 증거는 보편성입니다. 물리학이 성립하려면 현상이 특정 모델 하나에만 국한되지 않아야 하듯, 딥러닝에도 아키텍처·모달리티·데이터셋을 넘는 패턴이 발견되어야 합니다. 저자들은 이미 그런 징후가 늘고 있다고 봅니다.

• Universal inductive biases: 간단한 함수부터 먼저 배우는 경향, 특정 스펙트럼 구조 선호 등.
• Universal structure in data: 자연 데이터 분포가 갖는 반복적 구조가 여러 이론 결과와 연결됨.
• Universality in representations: 서로 다른 시스템에서도 representation geometry의 공통 통계가 나타남.

이 축의 의미는 “무엇이 설명되어야 하는가”를 고르는 기준이 생긴다는 점입니다. 보편적으로 반복되는 현상은 잡음이 아니라 이론의 핵심 대상이 됩니다.

---

Learning mechanics framing: 저자들이 원하는 ‘과학’은 무엇인가

저자들은 딥러닝 이론을 고전적인 theorem-proving competition으로 보지 않습니다. 오히려 학습의 mechanics, 즉 파라미터·데이터·목적함수·업데이트 규칙의 상호작용이 시간에 따라 어떻게 움직임을 만들어내는지 기술하는 과학으로 봅니다.

물리학에서 힘이 물체의 운동을 결정하듯, 딥러닝에서는 데이터·아키텍처·손실·초기화가 gradient를 통해 파라미터 공간의 운동을 만든다는 관점입니다.

이 framing은 중요합니다. 왜냐하면 딥러닝의 핵심 질문을 “표현 가능성”에서 “학습 동역학”으로 옮기기 때문입니다. 저자들은 최종적으로 이 과학이 다음 7가지 성질을 가져야 한다고 봅니다: fundamental, mathematical, predictive, comprehensive, intuitive, useful, humble.

---

Mechanistic interpretability와의 관계

이 논문에서 개인적으로 가장 인상적인 부분은 mechanistic interpretability를 경쟁 상대로 보지 않는 태도입니다. 저자들은 아주 명확하게 말합니다. mechanistic interpretability가 딥러닝의 생물학이라면, learning mechanics는 그 물리학이어야 한다고요.

• Learning mechanics → mech interp: 어떤 회로가 언제/왜 형성되는지, 어떤 하이퍼파라미터에서 특정 표현이 나오는지에 대한 사전 예측을 줄 수 있습니다.
• Mech interp → learning mechanics: 실제 네트워크 내부 회로와 representation 변화를 관찰해, 역으로 어떤 거시 법칙이 성립하는지 단서를 줍니다.
• 핵심 포인트: 하나는 미시 구조를 읽고, 다른 하나는 거시 법칙을 세웁니다. 둘은 대체재가 아니라 상보재입니다.

이 관점은 안전성 측면에서도 설득력이 있습니다. 내부 회로를 읽는 것만으로는 학습 법칙을 일반화하기 어렵고, 반대로 거시 법칙만으로는 특정 실패 모드를 놓칠 수 있기 때문입니다.

---

실무적 의미

• 하이퍼파라미터 튜닝 비용 감소: 폭/깊이/학습률/초기화의 scaling prescription이 더 정교해질수록 대규모 실험 비용이 크게 줄 수 있습니다.
• 스케일링 예측: 어떤 데이터와 compute budget에서 어느 모델군이 어디까지 갈지 더 정밀하게 예상할 수 있습니다.
• 데이터 설계: 어떤 데이터 구조가 어떤 표상/일반화 편향을 유도하는지 이론적으로 더 잘 설명할 수 있습니다.
• AI safety 기반: 시스템을 규제하고 평가하려면 설명 변수와 메커니즘이 필요합니다. learning mechanics는 그 공통 언어를 제공할 잠재력이 있습니다.
•  

---

한계와 주의점

• 이 논문 자체는 synthesis/manifesto입니다. 새로운 통일 정리를 증명한 논문은 아닙니다.
• 증거들의 이질성: 다섯 축은 서로 강하게 연결되기 시작했지만, 아직 하나의 폐쇄된 수학 체계로 합쳐진 것은 아닙니다.
• 대형모델 직접 설명의 부족: LLM 전체를 first-principles로 정확 예측하는 단계는 아직 멉니다.
• 데이터 문제의 난점: 저자들도 인정하듯, 데이터 분포의 복잡성은 여전히 가장 어려운 변수 중 하나입니다.
• 설득의 성격: 이 논문은 “이미 완성되었다”가 아니라 “이미 충분한 선행 징후가 있으니, 이 방향을 독립적 연구 프로그램으로 받아들여야 한다”는 설득문에 가깝습니다.

이 논문은 특정 결과 하나보다 딥러닝 이론이 어디를 향해야 하는가를 강하게 제시한 논문입니다. 표현력/일반화의 고전 프레임만 붙잡고 있으면 현대 딥러닝의 핵심을 놓치기 쉽고, 반대로 학습 동역학·거시 법칙·하이퍼파라미터 scaling·universality를 함께 보면 “과학으로서의 딥러닝 이론”이 실제로 보이기 시작한다는 메시지입니다.

조금 직설적으로 말하면, 이 논문은 “딥러닝 이론이 실패했다”가 아니라 “이론은 이미 다른 형태로 성공하기 시작했다”는 선언입니다. 아직 완성된 textbook은 없지만, 교과목의 목차는 분명히 보인다는 뜻입니다.

최종 요약

Core: 딥러닝에는 학습 과정을 예측하는 과학 이론이 가능하며, 그 조각들은 이미 축적되고 있습니다.

Novelty: 산발적인 이론 성과들을 learning mechanics라는 통합 프레임으로 재구성하고, 그 근거를 다섯 증거 축으로 체계화했습니다.

Practical takeaway: 좋은 딥러닝 이론은 아름다운 정리집이 아니라, scaling 예측·튜닝 절감·데이터 설계·안전성 언어를 주는 엔지니어링 기반이 되어야 합니다.

Main limitation: 아직은 강한 선언과 훌륭한 synthesis이지, 모든 현상을 통합 설명하는 완성 이론은 아닙니다.

 

쉽게 정리하자면, 이 논문은 기술논문이 아니라 철학논문 같은 느낌입니다.

딥러닝이라는 현재의 AI 학습 방법론 자체가, 데이터의 Represent를 찾는 단기적인 목표에 매진할것이 아니라,

거시적으로 보면 이 학습 방법론 자체가 physical한 (저자의 표현대로라면 learning mechanics) 방식으로 진행되고 있다고 주장합니다.

그에 대한 근거들로 5가지 (toy model/infinite limit/scaling law/hyperparameter/univesality)를 드는데, 개인적으론 크게 와닿지는 않습니다. 저자도 이 부분이 아직은 희미하게 부분적으로 보인다 정도로 주장하는것 같구요

재미로 한번 읽어보면 좋을것 같습니다.

(언젠가 이런 특성이 더우 구체적으로 보인다면 재조명 되겠지만.. 이런 프렉탈식 주장이 딱히 새로운건 아니라..)