전체 글
-
[LG Aimers] 영업성공률 예측 모델 개발기 1(해커톤)전공&대외활동 이야기/2024 LG AIMERS 4기 활동 2024. 2. 21. 20:44
LG Aimers는 phase1은 강의 phase2는 해커톤으로 이루어지는데, 이번 4기에서 저는 팀원 4명과 함께 해당 해커톤에 참석하였습니다. 그리고 해커톤을 진행하면서 일부 자료를 기록해보았습니다. 개요 및 목표 이번 해커톤에서는 B2B 마케팅에서 전환율을 예측하여 마케팅 업무에 도움을 주기 위한 예측 모델을 개발하는 것이 목표로, 아마 영업 과정에서 전환 가능성이 높은 고객에게 영업 자원을 집중하기 위해 고객의 전환 여부를 예측하는 것이 목적으로 보인다. 이에 따라서 고객의 다양한 feature data를 기반으로 해당 고객이 전환고객일지 아닐지를 예측하는 모델을 개발해보았다. 데이터 EDA 및 전처리 데이터는 아래와 같다. 이때 유형은 float는 f로, string은 s 등으로 앞글자만 표시했..
-
[Transformer] Attention is All you need(NIPS 2017)Paper Review(논문이야기) 2024. 2. 19. 14:41
https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org https://github.com/huggingface/transformers?tab=readme-ov-file 공식 transfo..
-
[NLP] BLEU Score(Bilingual Language Evaluation Understudy)ML&DL 이야기/ML 2024. 2. 16. 17:55
기계번역에서 자주사용되는 지표인 BLEU는 연속된 단어의 조합인 문장을 1:1 비교하지 않고, 연속된 단어의 정확도를 측정하고자 하는 방식이다. 그 전에 Precision과 Recall에 관해 알아보자. 본 내용은 https://amber-chaeeunk.tistory.com/94 을 바탕으로 작성하였습니다 Precision & Recall 우선 기본적인 Precision & Recall에 관한 정의를 보기 위해 2*2 matrix를 그려보자. 각 Case를 보면 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 Fals..
-
Beam Search in NLPML&DL 이야기/ML 2024. 2. 16. 16:46
Text 생성을 위한 Decoder에서 우리는 단어들을 연속적으로 생성하는 task를 수행해야한다(sequence data). 모델의 출력은 확률적으로 가장 가능성이 높은 확률을 띄는 조합의 단어 조합으로 결정된다. 즉, 언어 모델은 단어 시퀀스에 확률을 할당하는 모델이며, Decoder의 경우 다음에 나올 확률이 최대인 단어를 선택한다. 이를 수식으로 표현하면 아래와 같다. 무수히 많이 생성되는 후보들 중 어떤 sequence를 선택하라 지 정하는 방법 중 하나가 바로 Beam Search이다. Greedy Search(Decoding) Seq2Seq에서 가장 대표적으로 사용하는 방법으로, 해당 t시점에서 가장 확률이 높은, 가능성이 높은 단어를 고르는 방법이다. Complexity 관점이나 구현 관점..
-
[Attention] Neural Machine Translation by Jointly Learning to Align and Translate(ICLR 2015)Paper Review(논문이야기) 2024. 2. 16. 15:58
https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the tra arxiv.org Attention이라는 개념이 처음 소개된 paper..
-
[Seq2Seq] Sequence to Sequence Learning with Neural Networks (NIPS 2014)Paper Review(논문이야기) 2024. 2. 15. 22:52
Seq2Seq 논문의 의미는 기존의 통계적 기계번역(SMT) 모델보다 딥러닝 기법의 기계번역 모델의 성능이 더 높게 나옴을 보여줌으로서, 그 흐름의 기점이 되었다는데에 중점을 두면 좋은 것 같다. https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot..
-
[NLP] RNN, LSTM과 NLP 개론ML&DL 이야기/ML 2024. 2. 13. 20:46
허민석님의 자연어처리 유튜브 재생목록(https://youtu.be/meEchvkdB1U?si=KHEXvalYlF_RlkE9)과 LgAimers의 주재걸 교수님의 seq2seq with Attention 강의, 나동빈님의 seq2seq 영상을 바탕으로 작성하였습니다. Natural Lenguage = Sequence Data 우리는 자연어, 즉, 문장을 말할때, 문장은 단어의 연속된 집합으로 들어온다. 즉, 순차적인 단어의 구성이 바로 문장이다. 즉, 문장은 가장 최신의 과거 데이터(단어)를 바탕으로 업데이트 되는 시계열적인 특성을 지닌다. 이 점에서 sequence data라고 할 수 있을 것이다. 전통적인 NN의 경우 이러한 지속성을 지니는 데이터를 처리하기에 어려움이 있었는데, 이는 입력값들을 서로..
-
[LG AiMERS] Part 2-3 Principal Component Analysis(PCA)카테고리 없음 2024. 2. 13. 13:55
본 강의는 LgAimers 신진우 교수님의 강의 내용을 바탕으로 작성된 것임을 밝힙니다 Principle component analysis, 주성분 분석은 차원축소를 위한 방법 중 가장 널리 알려진 방법이다. 해당 방법에 관해 matrix decomposition과 eigien value, vector 등에 내용을 기반으로 알아보자. Problem: Curse of Dimension High dimensional data은 Curse of Dimension이라는 용어도 있듯이, Machine Learning모델이 잘 작동하지 않는 문제가 있기에 차원 축소에 관한 문제는 매우 주요한 문제 중 하나이다. 특히 여러 종류의 데이터와 feature를 이용할 수록 주요한 factor들을 뽑아 더 작은 차원에서 학..