Warm-up Warm-up 방법은 성능 향상을 위해 Learning rate를 조절하는 방법이다. 해당 방법은 Bag of Tricks for Image Classification with CNN(https://arxiv.org/pdf/1812.01187.pdf)에서 이미지 분류의 성능을 높이기 위한 방법 중 하나로 소개되었다. 시간 나면 다 읽어봐야지... 학습을 시작할 때, 우리는 모든 parameters를 random으로 초기화 해주고 이후에 최적화를 통해 업데이트한다. 이때 Learning rate라는 하이퍼 파라미터를 지정해주는데 만약 매우 큰 Learning rate를 사용하게 되면 최적화된 파라미터에 가까워지지 못하고 수치적으로 불안정한 상태가 된다. 이러한 점을 보완하기 위한 방법이 Wa..