Basic Derivative(추가)

• 단순선형회귀를 이용하여 Binary Classification Prediction을 하고자 한다면,
  단순선형라인에 어떠한 변화를 주면 될까요?

  Binary classification pred를 한다는 말은, 즉 결과값이 0과 1로 구분되는 것에 대한 분류 예측을 하는 것
  그러나 단순선형회귀
  $$y=wx+b$$
  는 우리가 원하는 예측값이 실수이기 때문에 종속변수의 범위가 실수, 그러나 우리가 원하는 종속변수는 binary한 0과 1이다.
  이 때, 우리는 활성화 함수로 Logistic Regression을 사용해야한다.
  
  이렇게 되면 $$wx+b$$에 대해서 0과 1 사이에서 값이 나온다. 이 때, 값이 0.5보다 크면 1, 작으면 0으로 보내는 것으로 binary 분류가 가능하다.

• sigmoid 함수와 Chain rule의 관계를 설명해주세요 !
  위의 결과에서 우리가 기존 단순선형회귀를 f(x)라 하고 sigmoid 함수를 g(x)라 했을 때
  $$F(x)=g(f(x))$$ 로 결국 우리가 loss fuction을 최소화할 때, chain rule 을 적용하여 F(x)의 도함수를 구해야한다.

• 우리가 가지고 있는 cost funcion의 모양이 convex function일 때, 어떻게 gradient descent가 미분을 통해 최소값을 찾을까요? 이를 미분을 통해 얻은 기울기와 관련해 설명해보세요.

• 💡 보기)

convex function일 때 기울기(도함수)값이 0이 되는 지점에서 원함수가 최솟값을 갖게 되기 때문입니다.
단, 보기2와 같이 극소점이 여러개일 경우, 설정한 파라미터에 따라 수렴하게 되는 지점이 달라져 '진짜' 최솟값을 찾지 못할 수 있습니다. 이 때는, 다양한 optimizer를 이용하게 됩니다.