Engineering insight

FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge DevicesarXiv:2601.17063v1 (2026) · Sangyeob Kim et al. · HTML: https://arxiv.org/html/2601.17063v1 FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge DevicesFlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement ..

본 글은 절대적인 BenchMark나 Arena 비교가 아닌, 실제 사용환경에서의 개인적 경험에 근거한 글입니다.개인의 Task, LLM 활용목적에 따라 결과는 달라질 수 있으며, 참고용으로 재미로 봐주시면 좋습니다. 최근 몇달간 sLLM, Local LLM에 관심이 있어 DGX Spark, MAC studio, MAC Mini 이것저것 써보고 있습니다.OAuth로 클라우드 모델도 연결해보고, Local LLM도 해보며Ollama, LMStudio, vLLM을 모두 사용하고 맥에는 MLX용, gguf용 다써보고, Context길이도 이것저것 다해보며대부분의 가능한 변수에대해 다 직접 구동해보고 있습니다. DGX Spark 같은 고가의 장비에 70b이상의 Dense 모델들을 적용한 후기들은 유튜브나 글들..

FlashMoE: Fast Distributed MoE in a Single KernelNeurIPS 2025(표기: To appear) · Omotayo A. Yamenja, Divyansh Sharma, Ryan Prout, Yiran Chen · arXiv:2506.04667v3 · 링크: https://arxiv.org/abs/2506.04667v3 · 5줄 요약이 논문은 분산 Mixture-of-Experts(MoE) 추론의 핵심 병목이 expert 수학 자체보다 CPU 주도 실행 구조, 동기식 All-to-All, 잦은 커널 런치에 있다는 점을 겨냥합니다.핵심 아이디어는 gate→dispatch→expert FFN→combine→inter-GPU communication 전체를 하나의 pe..