본문 바로가기

COLAB4

[Colab] 사용 가능한 RAM을 모두 사용한 후 세션이 다운되었습니다. 시계열데이터를 주로 다루다가 최근 Anomaly Detection분야 코드를 짜면서 이미지도 간혹 다루게되었는데요 시계열데이터에서는 몇만개씩 데이터를 다루어도 Feature수가 적을뿐 아니라 2D-CNN을 쓸일이 거의없기에 저에게는 다소 생소한 문제였습니다. Google Colaboratory사용시 발생하는 문제로, Conv2D 혹은 Weighting, bias를 너무 많이 사용하는 모델을 사용시 발생하는 문제였습니다. 저는 Conv2D를 Filter Size를 32개씩 3개 Layer정도로 구성했고, 100X100X3 이미지를 학습하고자했는데요 이미지도 몇장 안됬는데 왜 RAM 최대치 초과가 뜰까.. 고민하다보니 MNIST데이터는 6만장임에도 이런문제가 발생하지 않는것을보고, 혹시 이미지 사이즈에 의해.. 2022. 6. 11.
[Google colab-3] GPU 백엔드에 연결할 수 없음(사용량 초과) -지난글 https://limitsinx.tistory.com/66 2021. 7. 20.
[Microsoft AzureML - 1] 개발 환경 세팅 ※ 이전글 [Microsoft AzureML - 0] Intro https://limitsinx.tistory.com/113 https://studio.azureml.net/ 상기링크를 통해 Microsoft AzureML에 접속합니다. 다음, Microsoft 계정을 통해 로그인을 하게되면 하기와 같은 이미지가 나오게 됩니다. My Experiments를 클릭해주면 본격적으로 Studio에 접속됩니다 :) 뭔가 GUI가 되게 직관적이고 보기좋게 잘 정리되어있네요! 여기까지 오셨다면 정말 간단하게도 개발환경세팅이 완료된것입니다. 구글의 colab이라는 머신러닝용 클라우드서버를 쓸때도 이미 서버내에 텐서플로우가 모두 설치되어있죠 ! 본인 PC에서 개인적으로 텐서플로우를 깔게된다면, 환경변수나 이런 세팅들때.. 2021. 6. 17.
[Google colab-1] 구글 코랩 사용하여 딥러닝 돌리기 보통 딥러닝/머신러닝을 막 입문하신 분들은, GPU를 준비해야하나? RTX, GTX어떤걸 사야하나? 고민이 많으실텐데요 일단 두괄식으로 써드리겠습니다! "이제 막 입문하신분들은 이런것들이 전혀 필요없고 앞으로도 필요없을 가능성이 높습니다!" 누구는 딥러닝하려고 GTX3080을 샀네, 최소 1080은 끼워야되네~~ 이런글들 싹!다 무시하셔도 좋습니다. 데이터들에 따라 정형화 하기 힘들지만, 제가 [코드로 이해하는 딥러닝] 시리즈에 사용했던 MNIST데이터들 있습니다. https://limitsinx.tistory.com/39 [코드로 이해하는 딥러닝 11-EX] - MNIST를 DNN으로 학습해보기/Adam optimizer [코드로 이해하는 딥러닝 0] - 글연재에 앞서 https://limitsinx... 2021. 1. 20.