우리는 앞서 Linear Classifiers에 대해 알아보았다. 학습하는 과정에서 Loss Function의 값이 최소화되는 파라미터를 구하는 것이 중요함을 알았다. 본 챕터에서는 해당 파라미터들을 최적화하는 방법에 대해 알아보고자 한다. Loss Function L(w)를 최소화하는 W*를 찾는 것이 Optimization의 목적이다. Random Search 가장 먼저 생각해볼 수 있는 방법은 W값을 Random으로 검색하는 방법이다. 무작위 W를 여러 개 설정하고 그중에서 가장 높은 정확도를 가지는 모델을 선택하는 방법이다. 하지만 정확도가 15.5%로 매우 낮다. Follow the slope: Using Gradient 두 번째 방법은 도함수를 사용하는 방법이다. 도함수를 통해 gradient..

3장에서는 모든 딥러닝 모델의 기본이 되는 Linear Classifiers와 최적의 파라미터를 가지기 위해 필요한 Loss function에 대해 알아보고자 한다. Parametric Approach: Linear Classifier Parametric Approach는 파라미터를 사용한 모델을 의미한다. Train 과정에서 학습 데이터에 대한 요약된 정보를 파라미터 W, b에 담기 때문에 이를 Parametric Approach라고 부른다. W는 우리가 흔히들 부르는 Weights(가중치)이고 b는 bias 값이다. 이제 간단한 모델(함수)을 만들어 보면 f(x, w) = wx + b의 형태인 직선의 방정식으로 만들 수 있다. 모든 값들은 행렬의 형태로 표현되므로 차원의 수를 맞추어 주는 것이 중요하..

cs231보다 최신 버전인 미시간 대학교의 Deep Learning for Computer Vision 강의를 정리하며 Deep Learning 기초를 잡아보고자 한다. 2강에서는 이미지 분류에 대한 기본적인 내용을 다룬다. Image Classification? Image Classification이란 입력으로 이미지가 주어졌을 때 어떤 알고리즘이 출력으로 이미지가 어떤 분류에 속하는지 할당하는 것이다. 위의 예로 입력 이미지에 대해서 알고리즘은 5개의 (cat, bird, deer, dog, truck) label중 하나를 출력한다. Image Classification의 문제 각도가 살짝 바뀐 고양이의 이미지를 찍는다면 같은 고양이 이미지이지만 숫자들의 나열에는 많은 변화가 생긴다. 이와 같이 이미..