ML&DL 이야기/ML
-
[LTR] Learning to Rank, Pointwise, Pairwise, Listwise rankingML&DL 이야기/ML 2024. 7. 17. 10:43
Decision Focused learning: Through the lens of learning to Rank 리뷰를 준비하던 중 LTR에 관한 내용을 잘 몰라서 ..ㅎㅎ 따로 정리한 내용이다. 읽다보니 추천시스템에서 사용되는 기술답게 많은 공통점이 있는걸 발견해서 관련 개념을 기반으로 이해하니 조금 이해가 수월했다. 추가적으로 현재 읽고 있는 논문이 LTR의 basic한 방법론들을 DFL에 적용한 논문인데 기존 추천시스템 분야에서 사용되던 기술들을 잘 적용한다면 어떨까..? 하는 생각중이다. 사설은 여기까지 하고 이제 글을 정리해보자. https://otzslayer.github.io/ml/2022/02/13/learning-to-rank.html#approaches-to-ltr 을 기반으로 작성..
-
Mahalanobis Distance(마할노비스 거리)ML&DL 이야기/ML 2024. 7. 3. 15:25
Mahalonobis Distance는 맥락을 고려한, 분포를 고려한 거리를 의미한다. 우선 참고한 내용들에 따라 본 글에서도 행벡터를 기본적인 기본방향으로 하겠다. 이는 아래와 같이 데이터가 구성되기 때문이다. 보통 선형대수 등 수학에서는 column vector, 열벡터를 기본 방향으로 하고, 이에 따라 행과 벡터의 곱 등 많은 부분이 정의되기에 곱의 순서 등에 있어서 행벡터를 기본방향으로 한다는 것은 많은 부분이 변형된다는 것을 의미한다. 즉, Matrix D가 표본의 수가 n이고 Feature가 d라고 한다면, D를 n * d 차원의 행렬로 표현한다. 맥락은 표준편차다아래의 그림을 보자. 보면 주황색과 노란색 점끼리의 거리는 L2 norm 혹은 유클리디안 거리 관점에서는 원점으로부터 동일한 거리..
-
Norm에 관한 정리 L1, L2, Frobenius normML&DL 이야기/ML 2024. 7. 3. 13:46
기계학습 및 딥러닝에 관한 일부 자료들을 보다보면, loss에서 Mahalnobis distance를 이용하는 경우가 있다. 해당 내용을 정리하면서 동시에 Norm들에 관해 정리하려고 한다(Norm에 관한 내용도 많이 나온다) NormNorm, 노름 이라고 불리는 것은 벡터의 크기(혹은 길이)를 측정하는 함수이다. 다시 말해 두 벡터 간의 거리를 측정할 때에도 사용가능하다. Norm은 거리이기에 거리의 다양한 속성들을 만족해야하며 이는 아래와 같다. 1. Subadditivity/Triangle inequality: 𝑝(𝑥+𝑦)≤𝑝(𝑥)+𝑝(𝑦) for all 𝑥,𝑦∈𝑋.2. Absolute homogeneity: 𝑝(𝑠𝑥)=|𝑠|𝑝(𝑥) for all 𝑥∈𝑋 and al..
-
Decision-Focused Learning: Foundations, State of the Art,Benchmark and Future Opportunities 리뷰 1 (DFL 개론)ML&DL 이야기/ML 2024. 7. 2. 14:30
https://arxiv.org/abs/2307.13565 Decision-Focused Learning: Foundations, State of the Art, Benchmark and Future OpportunitiesDecision-focused learning (DFL) is an emerging paradigm that integrates machine learning (ML) and constrained optimization to enhance decision quality by training ML models in an end-to-end system. This approach shows significant potential to revolutionizearxiv.org Decisio..
-
[Time-series] Long term time-series forecasting 연구동향ML&DL 이야기/ML 2024. 4. 6. 14:23
본 내용은 장기 시계열 예측 연구 동향 영상(https://www.youtube.com/watch?v=GeWsvyEe0h8)을 참고하여 작성하였습니다. What is LTSF? Longeterm time series forcasting은 time series forcasting 과제 중에서도 장기적인 동향을 예측하는 task로 보통 장기라 하면 96 step에서 부터 많게는 720 step까지를 말한다. DataSet for Time series 시계열에서 사용되는 dataset은 대부분 공개된 dataset으로 dataset마다 특성이 존재한다. 즉, 어떤 시계열 데이터는 계졀성이 뚜렷하고, 어떤 것은 매우 불규칙한 등 다양한 특성의 시계열 data에 모델이 잘 적합한지를 보고자 함이다. 벤치마크로 사..
-
[Time-series] Time-series Analysis, 시계열 알아보기ML&DL 이야기/ML 2024. 3. 22. 17:29
시계열..? 통계부터 시작하자 시계열 머신러닝, 딥러닝 방법론들이 최근 많이 화재가 되고 있지만 실무적 관점에서는 여전히 통계적 기반의 시계열 분석은 주요한 위치를 차지하고 있으며, 사실 딥러닝, 머신러닝 기법들 또한 해당 방법론을 기반으로 발전된 것들이 많다. 또한 통계학적 방법론의 가장 큰 장점은 바로 설명력을 기반으로 신뢰성을 가진다는 것이다. Alieen Nielsen의 저서 Practical Time Series Analysis을 인용하면 산업용 시계열 분석은 위험이 낮은 분야에 적용하려고 노력합니다. 광고나 미디어 상품의 출시에 따른 이익을 예측하는 문제에서는 예측의 완전한 검증이 크게 중요하지 않습니다…….(중략)… 통계가 위험이 높은 예측에서 보다 근본적인 역할을 할 수 있기를 바랍니다. ..
-
[Graph] Graph Neural Networks 개론(개념정리)ML&DL 이야기/ML 2024. 3. 4. 23:10
GCN 논문 리딩을 진행하던 중, Graph에 관한 전반적인 지식이 부족하다고 느껴서, 간단히 개념 등을 정리하려고 한다. 자연어처리 관련 논문들을 읽었을 때도 느낀거지만, 전체적인 흐름을 알고 논문을 읽으면 훨씬 수훨하게 리딩이 되었기 때문에, 이번 정리를 통해 전반적인 개념과 흐름을 잡는 것을 목표로 하였다. 이번 내용정리는 "A comprehensive servey on Graph neural networks"와 이를 정리한 thejb.ai님과 glaceyes님의 블로그 whatsup의 velog을 참고, 왓챠 Medium의 글을 기반으로 정리하였고, 추가적인 출처들은 따로 기재하였다. Graph Graph는 wiki에 따르면 아래와 같다(이산수학에서의 graph) In discrete mathem..
-
[NLP processing] 자연어 데이터를 전처리해보자!ML&DL 이야기/ML 2024. 2. 23. 19:09
자연어 처리과정 자연어처리 과정은 아래의 단계를 거친다. 1. Preprocessing: 자연어를 정리하는 과정, token화가 포함됨 불용어 제거(Stopwords removing), 형태소 분석(Stemming), 표제어 추출(Lemmatization) 2. Vectorization: 정수 인코딩으로 변형하는 과정(임베딩 시키기 위한 전과정) One-hot Encoding, Count vectorization, Tfidf, Padding 3. Embedding(실제 측정 차원으로 임베딩 시키는 과정) Word2vec, Doc2vec, Glove, Fasttext 4. Modeling(자연어를 입력하고 원하는 task를 수행하는 과정) GRU, LSTM, Attention Preprocessing & ..