곰곰의 일지 곰곰의 일지

ML&DL 이야기/Pytroch

• [PyTorchZerotoAll 내용정리] 04 Back propagation

  ML&DL 이야기/Pytroch 2023. 8. 16. 10:10

  Why Backpropagation? Neural Network 학습의 최종적인 목표는 Cost를 최소화시키는 Neural Network 내의 모든 Unit의 가중치 W 를 찾는 것이다. 우리가 익히 아는 Gradient Descent Algorithm을 이용해 이를 최적화한다고 하다. 이를 위해서는 간단히 인공지능의 역사를 알아야하는데, 간단하게 말하면, 이전에 우리가 흔히 아는 퍼셉트론(NN의 한 unit)으로 문제를 해결하려고 했지만, 1969년, MIT의 마빈 민스키와 시모어 패퍼트는 저서 에서, 퍼셉트론이 선형 분리가 불가능한 데이터들을 분류할 수 없음을 증명하면서 인공지능의 겨울이 찾아왔다. 해당 저서에서 다층 퍼셉트론으로는 XOR 연산을 할 수 있다고 밝혔지만, ‘지구 상의 그 누구도 이를 ..

  Read More
• [PyTorchZerotoAll 내용정리] 03 Gradeint Descent

  ML&DL 이야기/Pytroch 2023. 8. 15. 15:52

  우리는 가중치 값에 따라서 에러를 가장 줄이는 w를 찾아보고 싶다. 이를 알기 위해서는 물론 미분을 해서 최적값을 찾아도 되지만, 우리가 앞으로 다룰, 또 대다수의 함수들은 여러가지 변수로 구성되어있기에 이런 방법으로는 최적값을 찾는 것이 불가하다. 그럼으로 적용가능한 알고리즘이 필요한데, 그 이름도 유명한 gradient desecent 알고리즘이다. 이 알고리즘은 산을 타면서 한 step마다 가장 가파른 방향으로 이동한다라고 생각하면 된다. 왜 Gradient 방향이 가장 가파른가? gradient와 방향도함수의 정의를 각각 먼저 살펴보자. Gradient란? f(x,y,z)의 기울기 벡터 또는 gradeint는 다음과 같이 정의된다. $$ \nabla f = \frac{\partial f}{\par..

  Read More
• [PyTorchZerotoAll 내용정리] 02 Linear Model

  ML&DL 이야기/Pytroch 2023. 8. 15. 14:36

  Supervised Learning supervised learning이란 지도학습으로 답이 이미 존재하는 labled dataset으로 모델을 훈련시키는 경우를 의미한다. 지도 학습 알고리즘의 일반 유형 지도 학습 알고리즘에는 크게 두 가지 유형이 있다. 1. 분류 기법(Classification techniques) 분류 기법은 입력 데이터를 특정 클래스 또는 그룹의 구성원으로 식별하기 위해 알고리즘에 이산 값을 예측하도록 요청한다. 다음과 같은 알고리즘의 예시가 있다 1.1) 로지스틱 회귀 1.2) 선형 분류 1.3) KNN 알고리즘 1..4) 트리 1.5) SVM 2. 선형 회귀 (Linear regression) 선형 회귀분석은 연속 데이터를 사용한다. 대수학 문제처럼 x의 값을 알고 있다면, ..

  Read More
• [PyTorchZerotoAll 내용정리] 01 Overview

  ML&DL 이야기/Pytroch 2023. 8. 10. 15:23

  출처: 본 내용은 아래의 Sung Kim(HKUST)님의 PyTorchZerotoAll의 내용을 기반으로 Pytorch 공식문서의 내용과 함께 정리한 것입니다. 영상: https://youtu.be/SKq-pmkekTk Code: https://github.com/hunkim/PyTorchZero... Slides: http://bit.ly/PyTorchZeroAll What is ML? ML에 관해 알아보기 전에 Human Intelligence에 관해 알아보자. 사람들은 결정을 내릴 때, information(정보)에서 output을 생각해낸다. 예를 들어 점심에 무엇을 먹을지 결정할때(내가 항상 고민하는 거다), 우리는 우리가 무엇을 좋아하는지, 싫어하는지, 오늘 점심 메뉴는 뭔지 등 여러 정보를 ..

  Read More