목록MoE Bottleneck (1)

Engineering insight

[NeurIPS-2025] FlashMoE: Fast Distributed MoE in a Single Kernel

FlashMoE: Fast Distributed MoE in a Single KernelNeurIPS 2025(표기: To appear) · Omotayo A. Yamenja, Divyansh Sharma, Ryan Prout, Yiran Chen · arXiv:2506.04667v3 · 링크: https://arxiv.org/abs/2506.04667v3 · 5줄 요약이 논문은 분산 Mixture-of-Experts(MoE) 추론의 핵심 병목이 expert 수학 자체보다 CPU 주도 실행 구조, 동기식 All-to-All, 잦은 커널 런치에 있다는 점을 겨냥합니다.핵심 아이디어는 gate→dispatch→expert FFN→combine→inter-GPU communication 전체를 하나의 pe..
AI/AI Paper review 2026. 5. 4. 00:38
이전 Prev 1 Next 다음