논문 전문 : https://www.sciencedirect.com/science/article/abs/pii/S1568494622009528
[출처] Changcheng Sun, Zhiwei He, Huipin Lin, Linhui Cai, Hui Cai, Mingyu Gao,Anomaly detection of power battery pack using gated recurrent units based variational autoencoder,Applied Soft Computing,Volume 132,2023,109903,ISSN 1568-4946,https://doi.org/10.1016/j.asoc.2022.109903.
※ The picture and content of this article are from the original paper.
[논문 요약]
Anomaly detection of power battery pack using gated recurrent units
based variational autoencoder
칭화대학교에서 나온 논문입니다.
칭화대학교의 Mingyu Gao 교수님 연구실에서 배터리 셀이아닌, 배터리 팩단위에서의 진단 혹은 배터리상태추정 기법에 관한 논문들이 많이 나옵니다.
이전에 제가 정리한 논문들 중에도 Mingyu Gao교수님이 교신저자로 계신 논문이 많은데요,
이 논문을 읽게된 이유는 Mingyu Gao 교수님의 연구실 Spin-off격 회사인 'Thinkenergy'라는 회사의 기술 때문입니다.
Thinkenergy는 충전기에서 배터리의 진단을 한다는 컨셉을 가지고있는 회사중 하나인데, 해당 회사가 딥러닝 기술을 쓴다고 하는데, AE도 아닌 VAE를 쓴다는 독특한 이야기를 들었기 때문입니다.
하기 논문도, 칭화대/Thinkenergy에서 나온 하기와 같은 VAE 논문도 있습니다.
따라서, 해당 회사가 쓰는 기술을 조금 더 알아보기 위해 Mingyu Gao 교수님의 연구실에서 나온 딥러닝 기반 연구들을 한번 쭉 훑어보고 있습니다.
Contents
본 논문은 제가 예전에 연구했던 방식과 유사한 접근을 합니다.
AutoEncoder의 Reconstruction Error를 통해, 특정 데이터에 대한 불규칙한 특성을 포착하고, 이상치를 판단하는 방식인데요,
저와 다른점은, 저는 보통 1D-CNN 혹은 LSTM을 쓴다면 본논문은 GRU를 썼다는 것과, AutoEncoder가 아닌 Variational AutoEncoder를 썼다는 점입니다.
Reconstruction Error를 구한다는점에선 똑같습니다. 다만, VAE는 본디 Reconstruction Error를 통한 Anomaly Detection을 하기위한 딥러닝 모델은 아닙니다.
VAE는 GAN과 같은 생성모델입니다. 즉, 학습을 완료하고 인코더부분은 버리고 디코더부분을 주로 사용해서 새로운 데이터를 생성하는데 쓰는 모델이죠.
그렇다고해서 꼭 그 용도에만 쓸 필요는 없습니다만, 본 논문은 VAE를 통해 Anomaly Detection을합니다. 논문에서의 말로는, AE보다 VAE가 조금 더 수학/확률적인 데이터 표현방식을 가지기에 성능이 더 좋다고합니다.
사실인진 모르겠지만, VAE가 아무래도 인코더와 디코더 중간 부분에서 Gaussian을 기반으로한 데이터 분포를 모델링하는 과정이 있기에, 어떤면에선 조금 더 복잡해서 그럴수도 있다고 생각합니다. 이건 데이터마다 다르다고 생각합니다.
요런식으로 당연히 저자가 RNN LSTM GRU를 다 분석해놓았으며, 다른 논문에도 흔히 적혀있듯이 LSTM은 Cell이 복잡해서 GRU를 쓰되, 둘의 성능은 큰차이가 없다. 따라서 GRU를 쓰겠다. 이런 방식입니다.
단, 저는 최근 RNN계열의 딥러닝 방식에 대해 회의감을 가지고있는데요, 최근 제가 시계열데이터를 학습시킬땐 1D-CNN을 하는 편입니다. 개인적인 판단으로는 CNN계열이 시계열 학습에 적합하도록 세팅만 잘해준다면, 더욱 성과가 좋은것 같기 때문입니다.(단, Sequence to Sequence에서 데이터가 압도적으로 길어지는 NLP 같은 분야는 제외)
이 글을 저자가 한번 본다면 1D-CNN으로 해서도 한번 GRU-VAE와 성과를 비교해봤으면 좋겠네요
진단은 이런식으로 하는데, 모델을 VAE를 썼을뿐, 이것은 일반적인 AE Reconstruction Error를 통한 Anomaly Detection논문들과 동일합니다. 저도 이런식의 접근으로 진단을 하구요. 딱히 특이한 방식은 아닙니다.
다만, 저자가 말하듯 과연 정말로 VAE가 AE보다 Anomaly Detecting에 있어서 비교우위를 나타내는지는 저도 한번 직접 구현해보려고합니다. 물론, 데이터마다 다르다는 치트키가 있기때문에 논문 자체에 태클을 걸 순 없겠지만, 개인적으로는 Anomaly Detection의 용도로는 AE가 더 나을것 같다는 생각이 들기때문입니다.
VAE 자체가 인코더를 통한 압축데이터 부분을 Gaussian의 형태로 노이즈를 섞어 GAN의 Generator입력부분과 같이 만들어주는 부분이 있는데, 이것이 생성모델이 아닌 Reconstruction Error를 위한 용도로는 학습에 부정적인 영향을 끼칠것 같기 때문입니다.
Results
팩 단위에서 조금이라도 실질적인 필드에서 발생하는 연구를 하신다는 점에서 Mingyu Gao 교수님 연구실 논문은 읽는 재미가 납니다.
배터리 셀로 그냥 랩스케일에서만 의미있는 CC충방전을 통한 어떤것. 이런것이 잘 없기때문이며, 실제로 P2D 혹은 열모델을 통한 진단을 할때도 시뮬레이션만 하시는게 아니라, 직접 셀에 병렬 저항회로를 달아서 Short상황을 모사해서 저항크기별로 케이스를 나누어 논문을 쓰시는 분입니다.
이런점에서, GRU-VAE가 과연 논문에서 말한대로 일반적인 RNN계열의 AE대비 효과가 좋은지는 개인적으로 한번 확인해보고자 합니다.
참조
[1] Changcheng Sun, Zhiwei He, Huipin Lin, Linhui Cai, Hui Cai, Mingyu Gao,Anomaly detection of power battery pack using gated recurrent units based variational autoencoder,Applied Soft Computing,Volume 132,2023,109903,ISSN 1568-4946,https://doi.org/10.1016/j.asoc.2022.109903.
댓글