논문 전문 : https://www.mdpi.com/2313-0105/9/11/539
[출처] Fan, Y.; Li, Y.; Zhao, J.; Wang, L.; Yan, C.; Wu, X.; Zhang, P.; Wang, J.; Gao, G.; Wei, L. Online State-of-Health Estimation for Fast-Charging Lithium-Ion Batteries Based on a Transformer–Long Short-Term Memory Neural Network. Batteries 2023, 9, 539. https://doi.org/10.3390/batteries9110539
※ The picture and content of this article are from the original paper.
[논문 요약]
Online State-of-Health Estimation for Fast-Charging Lithium-Ion Batteries Based on a Transformer–Long Short-Term Memory Neural Network
Transformer를 활용해 배터리의 SOH를 추정하는 논문입니다.
올해 나온 따끈따끈한 논문들인데요, GPT의 모델인 Transformer 특히 저는 Transformer Decoder를 사용하는 GPT와 달리 Encoder쪽을 통해 배터리 기술의 혁신을 이끌수있다고 생각하고 연구를 하고 있습니다.
Positional Encoding이라는 컨셉이 마음에 안들어서 이걸 어떻게 배터리에 적합하게 적용할까..도 고민중이긴한데.. 어쨌든 배터리를 연구하는사람들도 딥러닝에 대한 이해도가 많이 올라 이런 논문들도 나오고 있습니다.
저는 원래 Generative AI쪽을 배터리에 접목하는 연구도 제 연구분야중 하나였는데요, 어떠한 AI 연구를 하든 비전을 하든 NLP를 하든 Transformer로 귀결되는게 아닌가라는 생각이 들고있습니다.
LSTM, GRU같은것들을 무진장 많이 써보고 분석하고 고도화도해봤지만 seq2seq 모델들의 근본적인 한계를 돌파하긴 힘들더라구요.. 이부분만 주저리주저리해도 몇시간은 얘기할수있을것만 같은데..
각설하고, 본 논문은 Transformer에 LSTM모듈을 추가하여 배터리의 SOH를 추정하는 논문입니다.
Contents
일단, 이 논문을 이해하려면 AI모델 중 Transformer라는것에대해 완벽하게 이해를 하고있어야합니다.
그런데, 이 Transformer라는 친구가 제대로 이해하려면 조금 시간이 걸립니다. 그 이유가, ANN부터 시작하여 RNN, RNN의 단점을 LSTM이 어떻게 극복했고 GRU에선 어떤식으로 접근을했고... 이런식으로 쭉쭉 가다가 결국에는 이런것들의 총 문제점을 해결하기위해 Transformer라는게 나왔다 라는 스토리도 전부 이해해야할 뿐 아니라, Transformer안의 self-attention이라는 컨셉이 처음하시는분들은 다소 이해하기가 쉽지않을 수 있습니다.
본 논문 정리는 Transformer에 대해서는 완벽하게 이해하고있다는 전제하에 진행하겠습니다.
상기 그림과 같이 일단 열화 데이터는 NASA Prognostic 데이터나 직접실험한것들로 미리 Dataset 구축은 해놓습니다.
이 열화라는것이, 딥러닝 하는 사람 관점에서는 다루기가 아주 쉽습니다. 결과적으론 1차원 Regression을 푸는것이기 때문이죠. 물론, 데이터를 만드는 과정 자체가 많은 실험을 해야해서 오래걸립니다만.. 일단 AI모델개발자 입장에서는 데이터가 있다는 전제하에, 어려운 도전과제는 아닙니다.
본 논문에서 사용하는 Input raw data는 전압, 전류, 온도, 용량(방전) 및 3.4~4.2V구간을 잘게나누어 특정 전압 간격별로 충전하는데 걸리는 시간입니다. 이게 가능한 이유는, 이 논문의 한계점(다른 Transformer를 사용하는 논문 대부분)으로 CC충전 데이터만 사용하기 때문입니다.
즉, 동일한 C-rate로 충전한다는 전제가 있기때문에, 특정한 전압구간별 충전시간이 변화하는것이 SOH와 관련이 있게되는것입니다. 저는 이러한 부분들을 breaktru하고자 연구하고있습니다.
어쨋든, 이 논문은 CC충전 데이터를 사용하고 상기와 같은 인자를 Raw Data로 합니다.
그 다음부터는 상기그림과 같이 학습모델을 구성하는데요,
위 그림이 본 논문의 알파to오메가 입니다.
Raw data를 입력으로 받으면 1D-CNN을 통해 Feature Extraction을 해줍니다.
여기서 Transformer에 대한 이해가 필요합니다. Raw Dataset이 잘 구성되어있는데 굳이 Feature Extraction을 해주기위해 1D-CNN을 단것이 아닙니다.
Transformer 모델 자체가 이러한 형태의 입력을 요구하기때문에 1D-CNN을 달아서 Dimension을 4배 키워준것입니다.
이게 무슨말이냐면, Transformer는 NLP에서 주로 사용되며, NLP는 Word embedding이라는 테크닉을 통해 보통 1개 토큰이 엄청나게 차원이 높습니다. 비전도 마찬가지입니다. Vision Transformer를 통해 Patch형식으로 잘라서 입력으로 변환하게 되면 차원수가 엄청나게 높습니다. 그리고, 이 입력차원수와 Transformer의 multi-head attention크기가 관계가있습니다.
Transformer를 강력하게 만들어주는 학습 Matrix 3개가 Query,Key,Value Matrix인데 이것의 사이즈가 클수록 학습자유도가 높아지고 성능이 전반적으로 올라갑니다.(학습속도 미고려) 하지만, 이 사이즈는 입력데이터 차원수에 비례하고 multi-head 갯수에 반비례하는데, 배터리 Raw data를 Transformer의 입력으로 그대로 넣어주게되면 많아야 4~5차원 정도 데이터밖에 안됩니다. 이렇게되면 multi-head를 2개만써도 Query,Key,Value 사이즈는 2가되기때문에, 아주 작은수의 파라미터밖에 둘수가 없습니다.
이러한 문제를 해결하고자 저차원 Domain 데이터를 쓰는 사람들은 Transformer에 입력하기전에 1D-CNN이든 GRU든 CNN이든 한개의 모듈을 붙여서 강제로 Dimension을 늘려주는 과정을 거치게 되는것입니다.
RawData를 1D-CNN을 통해 Dimension 확장 및 Feature Extraction을 해주고 Transformer의 입력으로 들어갑니다.
그당음 multi-head self attention 및 Feed forward neural network로 구성된 Transformer Encoder를 통과하고, Transformer Encoder단 Transformer Decoder로 넘기고 LSTM 모듈을 지나 FCN을 통해 SOH를 추정하게 학습합니다.
말로 적어서 복잡해보이지만, 이쪽 분야 하시는분들이 보면 그냥 평범한 모델중 하나에 지나지않습니다.
이렇게해서 학습을 완료하면, 사익와 같은 결과가 나온다고 합니다.
Transformer에 이것저것 유명한 모델들을 섞어가며 진행한 결과, 필자가 부르는 T-LSTM이라는것이 SOH Regression 성능이 가장 좋다고하는데요, 저는 개인적으로 RNN계열의 모델에 강한 불신을 가지고 있는지라 Transformer Decoder이후 몇개 FCN으로 바로 사용하거나 하는 방식을 시도해보고있습니다.
Results
사실 기존의 배터리-딥러닝 연계 SOH추정 연구와 크게 차이는 없습니다.
다만, Transformer라는 모델을 직접적으로 활용하고 그것의 입력데이터를 효율적으로 만들어주기위해 1D-CNN을 썼다는것 정도가 재미있었습니다. 물론 이또한 새로운기술은 전혀 아닙니다. 일반적인 스킬입니다.
올해 Nature에도 딥러닝-배터리 연구가 하나 선정됬는데, 최근 이 두개를 섞은 연구들이 아주 핫한것 같습니다.
저도 내년즘 이런주제로 Nature급 수준에있는 저널을 한번 투고해볼까합니다.
참조
[1] Fan, Y.; Li, Y.; Zhao, J.; Wang, L.; Yan, C.; Wu, X.; Zhang, P.; Wang, J.; Gao, G.; Wei, L. Online State-of-Health Estimation for Fast-Charging Lithium-Ion Batteries Based on a Transformer–Long Short-Term Memory Neural Network. Batteries 2023, 9, 539. https://doi.org/10.3390/batteries9110539
댓글