[cs231n] 3강 Neural Network NN

Neural network를 보면 히든 레이어에 100개의 히든 노드가 있다고 가정하고  하나의 feature를 감당한다고 할 때, 100개 중에 한개의 히든 노드는 빨간색의 자동차를 담당하는 노드다 이런 식으로 표현할 수 있습니다.

 

하나의 뉴런이 여러개가 연결이 되면서 전달반복이 일어나게 됩니다. 유사하게 본다면 x0이라는 데이터가 들어와서 w0이라는 가중치와 연산을 하고 이것들이 모여서 cellbody 내에서 단순한 합연산이 이루어지게 되고 activation function을 이요해서 axon을 통해 다음 뉴런으로 전달합니다.

이 activation function 중에 전통적으로는 sigmoid function이 많이 쓰였습니다. x가 아무리 작아져도 y값은 0이상이 되고 x가 아무리 커지더라고 y값은 1 이하가 됩니다. 

 

Activation에선 Sigmoid, tanh, ReLU 등이 있습니다. 요즘은 ReLU를 중점으로 사용합니다.

 

기본적으로 weight를 가지고 있는 것만 레이어라고 합니다. input layer는 weight를 가지지 않기 때문에 제외를 합니다. input layer를 제외하고서 레이어를 택해서 3-Layer Neural Net 이런 식으로 부릅니다. 

 

모든 노드들이 연결되어 있는 것을 Fully-connected layers라고 부릅니다.

 

이런식으로 우리가 레이어로 구성을 하는 이유는 기본적으로 효율적으로 계산을 할  수 있기 때문입니다. layer를 해서 연산의 효율성을 가져오는 것이며 하나의 단일 레이어는 단일 연산으로 끝을 낼 수 있는 편의성을 제공합니다.