Engineering insight

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding저자: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova식별자: arXiv:1810.04805 / DOI: 10.48550/arXiv.1810.04805원문: https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidi..

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer작성 시각: 2026-05-06 22:35 KST카테고리: AI저자: Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean학회: ICLR 2017 PosterarXiv: 1701.06538DOI: 10.48550/arXiv.1701.06538원문 링크:https://openreview.net/forum?id=B1ckMDqlg Outrageously Large Neural Networks: The Sparsely-Gated...The capac..

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learninghttps://www.nature.com/articles/s41586-025-09422-zDeepSeek-AI · arXiv 2501.12948 (2025/2026 versioned preprint) · PDF open accessdense summary이 논문은 인간이 만든 CoT 정답 경로를 대량으로 모사시키지 않고도, 순수 reinforcement learning만으로 reasoning 능력이 emergent하게 생길 수 있다는 주장을 전면에 내세운 매우 영향력 큰 논문입니다.가장 중요한 포인트는 base model에 바로 RL을 적용한 DeepSeek-..

There Will Be a Scientific Theory of Deep Learning발송 시각 제목: 2026-04-29, 11:43, There Will Be a Scientific Theory of Deep Learning논문: arXiv:2604.21691v1 (2026-04-23)저자: Jamie Simon 외한 줄 핵심이 논문은 “딥러닝은 영원히 블랙박스일 것”이라는 체념 대신, 이미 여러 이론적·실증적 흐름이 서로 맞물리며 학습 과정의 물리학 같은 정량적 과학—저자들이 부르는 learning mechanics—로 수렴하고 있다고 주장하는 대형 관점 논문입니다."딥러닝은 아직 이론이 없는게 아니라, 물리학처럼 설명 가능한 학습 법칙이 이미 만들어지고 있다."약간...딥러닝계의 통일장 이론 ..

FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge DevicesarXiv:2601.17063v1 (2026) · Sangyeob Kim et al. · HTML: https://arxiv.org/html/2601.17063v1 FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge DevicesFlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement ..