[cs231n] 2강 Classification Pipeline

k-Nearest Neightbor

조금 더 부드러운 Classification을 수행한 것으로 인접한 K개를 묶어서 판별하는 것입니다.

 

 

하이퍼파라미터를 설정하기 위해서 여러번의 실험을 해야하기 때문에 여러번의 data를 마련해야 합니다. 일부분으로 하이퍼파라미터를 튜닝하기 위한 validation을 만들어냅니다.

 

트레이닝 데이터 수가 적은 경우에는 Cross Validation을 활용해도 됩니다. 

출처 / cs231n

하지만 최근접아웃 방식은 위의 4개의 사진을 동일하게 인식합니다. 이는 최근접아웃 방식으로 하다 보니 발생하는 문제이며 이렇기에 현재에는 잘 쓰이지 않는 알고리즘입니다.

 

Linear Classifier

파라미터를 들어가는 방식입니다. 이전의 최근접아웃은 파라미터 기반이 아니었습니다. 

 

f(x,W) 

x는 이미지에 속합니다.이것은 우리가 제어할 수 있는 부분이 아닙니다. 우리가 control을 해야하는 부분은 parameter(weight)가 컨트롤 할 수 있는 부분입니다. 3072개의 숫자로 구성된 하나의 이미지가 인풋으로 되었을 때 어떤 클래스에 속하는지 10개의 숫자를 리턴해주는 방식을 취하고 있습니다.

 

여기서 달라진 것은 W가 들어간다는 것입니다. 

f(x, W) = Wx

x가 3072 by 1이고 그 결과로 10개의 숫자를 받아야 하기 때문에 그 결과는 10x1이 됩니다. 선형대수나 행렬에서 배운 것처럼 가데 W는 10x3072가 되어야지만 그 것이 10x1을 얻게 되 것입니다.즉 30720개 +b(bias)의 데이터를 우리가 접근해야 합니다.