Hypothesis and Cost

H(x) = Wx + b

이 cost를 최소화하는 Linear Regression을 구하는 것을 목표로 잡습니다. 

 

Simplified hypothesis 작업을 해준다면 b를 빼주고 작업을 해주면 됩니다. 

 

이렇게 W = 1일때, cost(W)는 얼마일까요?

 

W=1일때 cost는 (1 * 1 - 1 )^2 + (1 * 2 - 2 )^2 + (1 * 3 - 3)^2 = 은 0이 됩니다. 

 

W가 1일때 cost(W)은 0이 되는 것을 알 수 있습니다.

같은 방법으로 W가 0일 때는 cost(W) = 4.67이 나오게 됩니다. 

 

Gradient descent algorithm

경사 하강 알고리즘이라고 부르며 이는 최적화 알고리즘 중 하나로 함수의 최솟값(혹은 최댓값)을 찾기 위해 사용됩니다. 주로 머신러닝에서 모델의 매개변수를 학습하는 과정에서 사용됩니다. 최솟값을 찾기 위해 함수의 기울기를 이용하여 현재 위치에서 낮은 값으로 이동합니다.

 

함수의 기울기가 가리키는 방향으로 매개변수를 반복적으로 업데이트하여, 비용 함수를 최소화하는 최적의 매개변수를 찾는 것입니다.