[CVPR-2021] Transfer Learning and Vision Transformer based State-of-Health prediction of Lithium-Ion Batteries

논문 전문 : https://arxiv.org/pdf/2209.05253.pdf

[출처] https://doi.org/10.48550/arXiv.2209.05253

 

※ The picture and content of this article are from the original paper.

---

 

[논문 요약]
Transfer Learning and Vision Transformer based State-of-Health prediction of Lithium-Ion Batteries

 

 

재미있게도 이 논문은 Vision에 관한것이 아닌데도 CVPR에 투고된 논문입니다.

Vision Transformer를 쓴다는 이유때문인것같은데.. 혹은 Pattern Recognition이라서인가... 사실 Pattern Recognition이라는것이 워낙 광범위하게 쓰이는말이라.. 모든 딥러닝 기술에 갖다붙힐수있죠. 문제라는건 아니고 배터리 데이터로 딥러닝을 하는 논문들 중 드물게 CVPR이 출처라 신기해서 적어봤습니다.

 

본 논문은 제목 그대로 Vision Transformer를 활용해 리튬이온배터리의 SOH를 추정하는 논문입니다. 말이 복잡해서 그렇지 LSTM RNN으로 SOH Regression하는 논문은 많죠, 그걸 ViT로 모델만 바꾼것입니다. 즉, 이 논문에서 ViT를 쓴것은 특이한게 아니나 Transfer Learning을 쓴 부분이 메인입니다.

 

배터리에 Transformer를 써서 Domain Adaption을 하는 분야들이 최근 많이 나오고있는것 같습니다. 특히, 21년 이후로 작년/올해에 아주 논문이 많이 publish됬는데요, 제가 평상시 생각하고 있던 부분과 비슷해서 흥미롭습니다.

 

Contents

 

본 논문은 특이하게도 일반 Transformer가 아닌, ViT를 사용합니다.

ViT가 특별한것은 아니고, 기존 이미지 도메인쪽에서 Transformer를 활용하기위해 이미지를 Patch단위로 잘라서 벡터 임베딩을 해서 학습하던것입니다.  NLP나 Tableau 시계열 데이터는 벡터 임베딩을 할 필요가 없기 떄문에, 굳이 ViT를 사용할 필요가 없었는데요. 본 논문에서는 굳이 데이터 형태를 2차원으로 만들어 ViT를 적용하겠다고 합니다.

 

그 이유로는, Data 양과 Feature가 늘어남에 있어 ViT의 연산량 증가보다 Transformer의 연산량 증가가 낮기때문이라고하는데요, 이건 틀린 말입니다. 일반적으로 동일한 사이즈의 데이터를 처리한다는 전제하에선 ViT가 더 복잡합니다. 왜냐하면, Transformer에는 없는 Patch단위로 자르고 Split해주는 과정이 추가로 적용되기 때문입니다.  본 논문에서는 밑도 끝도없이 그냥 ViT를 쓰면 Transformer를 쓰는것대비 연산량이 줄고 Fien Tuning에도 유리하다고하는데, 무슨 근거인지는 전혀 적혀있지 않습니다.

 

 

상기 사양의 배터리 셀을 활용하여, 실험하며 CCCV충전만 진행합니다.

이 부분은 제가 수시로 말하는, 현업필드는 전혀 고려하지않은 논문만을 위한 실험 방식입니다.

그리고 저자는 SOHc와 SOHr을 정확하게 구분하고 있지만, SOHr은 추정하고 데이터셋을 만들기 어려우니 SOHc만 고려한다고 합니다.

 

실험 방식은, 12개의 21700 NCA LIB 셀을 활용하며, CCCV를 진행하고(몇 C인지는 말안함) 50Cycle마다 Capacity Fading을 찍는다고 합니다.

 

그리고 Data PreProcessing에서 SOH와의 Correlation이 있는 인자로 특정 전압구간동안 충전하는 시간(Lv)을 선택했다고합니다. 이건 제가 이전에 정리한 논문과도 아주 흡사합니다. 아무래도 CCCV로 실험함에 있어서 SOH와 가장 높은 Correlation을 보일것이 충전시간/Cycle수이기 때문에 이런식으로 접근하지 않나 예상됩니다.

https://limitsinx.tistory.com/285 

[MDPI-2023] Online State-of-Health Estimation for Fast-Charging Lithium-Ion Batteries Based on a Transformer–Long Short-Term M

 

그리고 이 논문에서 그나마 가장 재미있는 부분은 Transfer Learning 을 사용하겠다는것입니다. Domain Adaption을 하는것에는 아주 많은 방식이 있습니다. 배터리쪽만봐도 Transfer Learning을 하거나, MMD를 통해 분포 유사성을 학습한다던가,... 아주 다양한 방법이 있는데, 본 논문은 Target data의 초기 사이클 데이터만으로도 후기 사이클 SOH변화정도를 예측할수있도록 하는것이 목표입니다. 물론 제가 연구하는것과는 다르게, 본 논문의 Target/Source Domain은 같은셀의 다른 C-rate 데이터인것 같습니다만, 일단은 여러데이터에 대해 학습을 한 이후 ViT부분은 Freezing해놓고 추가 Target Data에 대해 FCNN만 학습하여 빠르게 학습하면서도 Domain Adaption을 진행하겠다는것입니다. 아주 나이브하지만, 가장 직관적인 방식입니다.

 

Results

보기 드물게 CV학회에 나온 배터리 논문이지만, 꽤나 재미있었습니다.

Transfer Learning을 가장 나이브하게 배터리에 적용하는 방식에 대해 소개하고있는 논문입니다.

ViT를 쓴다는것 자체는 크게 의미가 없으며, 이런식으로 쓰고있구나 정도만 보시면 될것같습니다.

 

참조

[1] https://doi.org/10.48550/arXiv.2209.05253