ML&DL 이야기
-
[LTR] Learning to Rank, Pointwise, Pairwise, Listwise rankingML&DL 이야기/ML 2024. 7. 17. 10:43
Decision Focused learning: Through the lens of learning to Rank 리뷰를 준비하던 중 LTR에 관한 내용을 잘 몰라서 ..ㅎㅎ 따로 정리한 내용이다. 읽다보니 추천시스템에서 사용되는 기술답게 많은 공통점이 있는걸 발견해서 관련 개념을 기반으로 이해하니 조금 이해가 수월했다. 추가적으로 현재 읽고 있는 논문이 LTR의 basic한 방법론들을 DFL에 적용한 논문인데 기존 추천시스템 분야에서 사용되던 기술들을 잘 적용한다면 어떨까..? 하는 생각중이다. 사설은 여기까지 하고 이제 글을 정리해보자. https://otzslayer.github.io/ml/2022/02/13/learning-to-rank.html#approaches-to-ltr 을 기반으로 작성..
-
Mahalanobis Distance(마할노비스 거리)ML&DL 이야기/ML 2024. 7. 3. 15:25
Mahalonobis Distance는 맥락을 고려한, 분포를 고려한 거리를 의미한다. 우선 참고한 내용들에 따라 본 글에서도 행벡터를 기본적인 기본방향으로 하겠다. 이는 아래와 같이 데이터가 구성되기 때문이다. 보통 선형대수 등 수학에서는 column vector, 열벡터를 기본 방향으로 하고, 이에 따라 행과 벡터의 곱 등 많은 부분이 정의되기에 곱의 순서 등에 있어서 행벡터를 기본방향으로 한다는 것은 많은 부분이 변형된다는 것을 의미한다. 즉, Matrix D가 표본의 수가 n이고 Feature가 d라고 한다면, D를 n * d 차원의 행렬로 표현한다. 맥락은 표준편차다아래의 그림을 보자. 보면 주황색과 노란색 점끼리의 거리는 L2 norm 혹은 유클리디안 거리 관점에서는 원점으로부터 동일한 거리..
-
Norm에 관한 정리 L1, L2, Frobenius normML&DL 이야기/ML 2024. 7. 3. 13:46
기계학습 및 딥러닝에 관한 일부 자료들을 보다보면, loss에서 Mahalnobis distance를 이용하는 경우가 있다. 해당 내용을 정리하면서 동시에 Norm들에 관해 정리하려고 한다(Norm에 관한 내용도 많이 나온다) NormNorm, 노름 이라고 불리는 것은 벡터의 크기(혹은 길이)를 측정하는 함수이다. 다시 말해 두 벡터 간의 거리를 측정할 때에도 사용가능하다. Norm은 거리이기에 거리의 다양한 속성들을 만족해야하며 이는 아래와 같다. 1. Subadditivity/Triangle inequality: 𝑝(𝑥+𝑦)≤𝑝(𝑥)+𝑝(𝑦) for all 𝑥,𝑦∈𝑋.2. Absolute homogeneity: 𝑝(𝑠𝑥)=|𝑠|𝑝(𝑥) for all 𝑥∈𝑋 and al..
-
Decision-Focused Learning: Foundations, State of the Art,Benchmark and Future Opportunities 리뷰 1 (DFL 개론)ML&DL 이야기/ML 2024. 7. 2. 14:30
https://arxiv.org/abs/2307.13565 Decision-Focused Learning: Foundations, State of the Art, Benchmark and Future OpportunitiesDecision-focused learning (DFL) is an emerging paradigm that integrates machine learning (ML) and constrained optimization to enhance decision quality by training ML models in an end-to-end system. This approach shows significant potential to revolutionizearxiv.org Decisio..
-
[Time-series] Long term time-series forecasting 연구동향ML&DL 이야기/ML 2024. 4. 6. 14:23
본 내용은 장기 시계열 예측 연구 동향 영상(https://www.youtube.com/watch?v=GeWsvyEe0h8)을 참고하여 작성하였습니다. What is LTSF? Longeterm time series forcasting은 time series forcasting 과제 중에서도 장기적인 동향을 예측하는 task로 보통 장기라 하면 96 step에서 부터 많게는 720 step까지를 말한다. DataSet for Time series 시계열에서 사용되는 dataset은 대부분 공개된 dataset으로 dataset마다 특성이 존재한다. 즉, 어떤 시계열 데이터는 계졀성이 뚜렷하고, 어떤 것은 매우 불규칙한 등 다양한 특성의 시계열 data에 모델이 잘 적합한지를 보고자 함이다. 벤치마크로 사..
-
[ML] Decision Tree, 의사결정트리ML&DL 이야기 2024. 4. 3. 20:55
Decision Tree는 의사결정트리라고도 불리며 흔한 White box 계열의 모델이기에 실무에서 많이 쓰이는 모델 중 하나이다. 정의는 아래와 같다. 기계학습(machine learning) 중 지도학습(supervised learning)의 한 종류로 의사 결정규칙(decision rule)을 도표화하여 관심대상이 되는 집단을 몇 개의 소집단으로 예측(prediction) 혹은 분류(classification)을 수행하는 방법. 모형의 구조가 tree 형태를 지니기에 Decision tree라고 불린다. 위 그림은 Decision tree의 예시이다. 보면 특정 질문에 따라 기준을 세우고, 그 기준에 따라 그룹을 분할 하는 것을 알 수 있다. 한번의 분기 때 마다 변수 영역은 두개로 구분되며, 해..
-
[Finance, Naver D2] 금융과 딥러닝 - 금융 영역에서의 딥러닝은 어떻게 다른가?(문효준 (크래프트테크놀로지스))ML&DL 이야기/기타 2024. 3. 31. 11:22
https://www.youtube.com/watch?v=dB8cpsnZ5FA&t=646s 금융관련 프로젝트를 하며 NAVER D2에서 금융데이터의 특성에 관해 잘 정리해둔 영상이 있어서 이를 정리하게 되었다. 사용된 자료들은 모두 영상에서 발췌하였다. 금융 + 딥러닝 = ? 금융데이터에는 다른 데이터와 다른 다양한 특성들이 있어서 딥러닝 접목이 힘들다고 말씀해주신다. 그 특성과 이에 맞는 크래프트 테크놀로지에서 해결한 방법을 소개해주신다 문제점1 : 시계열 feature의 Noise 일반적으로 주가모델링은 흔히 말하는 기하브라운모형을 가정한다. 이는 AR(1)과 매우 유사하기에 편의를 위해 AR(1)을 통해 주가의 정보를 표현하면 아래와 같다(차분을 통해 정보와 노이즈를 표시해보자) 문제는 입실론, 즉..
-
[Time-series] Time-series Analysis, 시계열 알아보기ML&DL 이야기/ML 2024. 3. 22. 17:29
시계열..? 통계부터 시작하자 시계열 머신러닝, 딥러닝 방법론들이 최근 많이 화재가 되고 있지만 실무적 관점에서는 여전히 통계적 기반의 시계열 분석은 주요한 위치를 차지하고 있으며, 사실 딥러닝, 머신러닝 기법들 또한 해당 방법론을 기반으로 발전된 것들이 많다. 또한 통계학적 방법론의 가장 큰 장점은 바로 설명력을 기반으로 신뢰성을 가진다는 것이다. Alieen Nielsen의 저서 Practical Time Series Analysis을 인용하면 산업용 시계열 분석은 위험이 낮은 분야에 적용하려고 노력합니다. 광고나 미디어 상품의 출시에 따른 이익을 예측하는 문제에서는 예측의 완전한 검증이 크게 중요하지 않습니다…….(중략)… 통계가 위험이 높은 예측에서 보다 근본적인 역할을 할 수 있기를 바랍니다. ..