[LG AiMERS] Linear Classification

Part module 4내용은 기존 pytorch 내용과 일부 내용은 pytroch ML 부분에 보강하여 작성하였습니다. 
Classificaiton에 관해 기존에 정리한바 있지만 전체적인 흐름을 따라가면서 다시 정리하였습니다.
본 내용은 Module 4 이화여자대학교 강제원 교수님의 강의 내용을 요약한 것입니다

Linear Classfication 

Make a Hyperplane(which is linear) to classify Discrete output(classification). 

우선 Classification 문제이기에 Discrete한 output을 가지면서 동시에 그 수식은 linear한 수식을 가지는 것이 Linear Classification문제이다. 

따라서 수식은 위의 그림에서의 2번째 식과 같은 형식일 것이다. 

 

그러면 Output은 어떻게 Discrete하게 변경할 수 있을까? 

강의 영상에서는 sign함수를 이용하였다. 해당 함수는 z의 값이 양수이면 1, 음수이면 -1을 출력하는 함수이다. 

이전에 정리한 Pytorch관련 내용에서는 Logistic Regression, 즉, Sigmoid함수를 사용하였다. 

https://secundo.tistory.com/54

[PyTorchZerotoAll 내용정리] 06 Logistic(sigmoid) Regression = Linear classification

 

즉 classification 문제에 따라서 Output함수는 다양한 것 같다. 

 

Zero-one Loss & Score

결과를 판정하는 Score에 있어서 Zero-one Loss를 이용하면, output이 1과 같은 경우, 즉, 1인 경우는 1을 아닌 경우는 0을 score로 가진다. 

그럼 해당하는 Score를 통해 Margin을 구할 수 있다. 

Score는 Model이 얼마나 신뢰가능한지(confident) 보여주고, Margin은 Model의 정확성에 관한 지표가 된다. 

Margin의 경우 y와 Score가 같은 경우는 양수를 가지게 되고, 아닌 경우에는 음수를 가진다. 

하지만 Zero one loss를 이용하면 상수 값을 가지기에 gradient가 0이 되어 학습에 적합하지 않다는 단점이 있다. 

이를 해결하기 위해 Hinge Loss를 이용한다. 

Hinge Loss

Hinge Loss 수식을 보면, classification에 실패하였을 때는 gradient가 존재하고, 아닌 경우 0임으로 update가 되지 않음을 쉽게 확인 가능하다. loss가 0이 아닌 경우, 해당 loss를 줄이는 방향으로 학습이 진행될 것이다. 

 

Cross Entropy Loss

사실 가장 많이 사용하는 Loss는 엔트로피에서 유래된 Cross Entropy Loss 수식이다. 

 

Cross Entropy는 확률값을 서로 비교하게 된다.  즉, Score의 실수값을 확률로 mapping해야하는데, 이를 위해 Sigmoid함수를 이용한다(Sigmoid함수의 유용성)

 

즉, Corss Entropy를 Loss function으로 이용하고, Sigmoid를 이용해 우리의 ouput과 label의 차이를 mapping해준다고 이해하면 된다. 

 

Croess Entropy에 관한 정리글을 첨부한다

https://secundo.tistory.com/68

[ML] Entropy와 Likelihood관점에서의 Loss function

Multi Class Classification

 

각각의 class에 속하는지 아닌지에 관한 여러 linear classification 모델을 합하여 비교하는 방식인 one-vs-all을 이용해 multi class classification을 사용가능하다. 

 

혹은 softmax함수, sigmoid함수의 일반형을 적용하면 쉽게 가능하다. 

관련 내용을 아래의 첨부한다

https://secundo.tistory.com/57

[PyTorchZerotoAll 내용정리] 09: Softmax Classifier

 

Linear Model의 장점: 해석가능성 

위의 이미지와 같이, 특정 변수가 우리가 궁금한 사항에 얼마나 영향을 끼치는지 바로 parameter w로 알 수 있다.