활연개랑

[ERROR 해결] train loss 'nan' issue 본문

딥러닝

[ERROR 해결] train loss 'nan' issue

승해tmdhey 2023. 6. 11. 03:17
반응형

Train loss 'nan'이 나올 때 확인해 볼 것

 

* input image에 nan값이 들어가는지 체크

* augmentation 이후 nan이 되는 데이터가 있는지 체크

* normalize할 때, min과 max값이 둘 다 0이어서 분모가 0이 되는 경우가 있는지 체크 -> 분모에 작은 값(epsilon) 더하기

* learning rate가 너무 커서 발산할 가능성이 있는지 체크

* Gradient Explosion 또는 Underflow/Overflow 체크 --> Gradient Clipping을 적용하여 폭발적인 gradient를 방지

'딥러닝' 카테고리의 다른 글

[ERROR 해결] Input to reshape is a tensor with 8192 values, but the requested shape requires a multiple of 16384  (0) 2023.06.06
calculation of atrous convolution receptive field  (0) 2023.01.16
Confusion matrix / Segmentation quality metrics  (0) 2023.01.13
[tensorflow] checking weights in checkpoint  (2) 2023.01.13
Function call stack: train_function -> train_function -> train_function (Input to reshape is a tensor with 15360 values, but the requested shape has 7680)  (0) 2022.09.14
'딥러닝' Related Articles more