[CVPR-2014] Image Super-Resolution Using Deep Convolutional Networks

논문 전문 : https://arxiv.org/abs/1501.00092

[출처] https://doi.org/10.48550/arXiv.1501.00092

 

※ The picture and content of this article are from the original paper.

This article is more of an intuitive understanding than academic analysis.

---

 

[논문 요약]
Image Super-Resolution Using Deep Convolutional Networks

 

 

지금으로부터 10년전 나온 논문입니다. Super Resolution(이하 SR)에 딥러닝을 활용한 시조새 격의 논문이라고 할 수 있는데요, EDSR이나 최근 SR 논문들은 multi-scale을 염두에 두지만, 본 논문은 single-scale만 진행합니다.

Citation도 8천회 이상이고, SR을 하시는 분들에게는 Hello world 같은 논문이 아닐까 생각됩니다.

 

Contents

 

지금에 와서 보면, 아주 심플한 컨셉의 SR 모델이지만, 대한민국에 AI 붐을 불게했던 알파고보다도 일찍 나온 논문이라는 것을 생각하면 그 당시에는 아주 센세이셔널한 모델이었을거라 생각합니다.

Low-resolution Image를 입력으로하고, Hgih-resolution Image를 출력으로 하되 그 사이에 CNN을 활용하여 Feature Extraction 및 Reconstruction을 당시 SOTA 수준으로 해냈을테니까요

 

본 논문은 이전에 정리한 EDSR논문보다 몇년 일찍 나온 논문인데, Loss로 MSE를 쓰는것이 효과가 좋다고합니다. 이는 EDSR에서 L1 Loss를 쓰는게 좋다는것과 완전히 반대되는 의견인데, 이런 부분들도 딥러닝 역사의 발전과정이라고 생각하고 보면 상당히 흥미롭습니다.

 

이미지 출처 : https://www.analyticsvidhya.com/blog/2021/05/deep-learning-for-image-super-resolution/

 

그리고 SR을 하는 테크닉에 따라 나뉘지만, EDSR도 마찬가지로 Upsampling을 통한 이미지 사이즈 변경을 대부분 사용하는것 같습니다. 연산량과 trade off인 SR 성능을 생각했을때, 충분히 사용할 수 있을것으로 보이지만 Transpose Convolution(역 컨벌루션)을 사용함년 어땠을까 라는 생각도 듭니다.

 

저도 EDSR에 Upsampling을 한번에 하는것 대신, Transpose Convolution을 붙여가면서 해봤는데, 제가 학습했던 이미지에서는 유의미한 PSNR 증가는 못봤고, 학습량은 엄청나게 늘어나는것을 확인할 수 있었습니다. 애초에 고해상도 이미지를 초고해상도 이미지로 바꾸려는것이기에 그랬을것으로 개인적으로 생각하고있는데,, MNIST나 이런 저해상도를 중해상도로 바꾸거나 할때는 Transpose Convolution이 더 효과적일수도 있지 않을까 생각합니다.

 

 

결과는 PSNR 33dB에 근접할만큼 좋은 복원성능을 보여줍니다.

다만 이렇게 보면 bicubic도 30dB가 훌쩍 넘는것을 볼수있기에, bicubic도 얼마나 좋은 알고리즘인지 한번 생가해 볼 수있습니다.

 

Results

SR계의 시초격인 논문들로, 이쪽 연구를 하신다면 한번 읽어보시면 좋을것 같습니다.

지금봤을때는 아주 심플하고 당연한 컨셉이지만, 10년전에 이런 논문이 나왔다는것을 생각하면서 보면 또 다른 재미와 딥러닝의 발전과정을 느끼실수 있을것 같습니다.

 

참조

[1] https://doi.org/10.48550/arXiv.1501.00092