Paper Review(논문이야기)
-
[Time-series] Are Transformers Effective for Time Series Forecasting? (AAAI 2023, Ailing Zeng et al.)Paper Review(논문이야기) 2024. 3. 26. 15:36
https://arxiv.org/abs/2205.13504 Are Transformers Effective for Time Series Forecasting? Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr arxiv.org 논문코드: https://github.com/cure-lab/LTSF-Lin..
-
[NLP&Finance] Analyzing Stock Market Movements Using Twitter Sentiment AnalysisPaper Review(논문이야기) 2024. 3. 16. 12:39
https://dl.acm.org/doi/pdf/10.5555/2456719.2456923 오랜만에 arvix에 없는 논문 리뷰다. 큰 흐름만 보고 상세한 내용들은 향후에 필요하면 추가할 예정이다. 순서 부분에서는 편의를 위해 변경이 있었다. BackGround Regression model & R-square Score linear regression is a statistical model which estimates the linear relationship between a scalar response and one or more explanatory variables(출처 wiki) 회귀분석의 경우 특정 변수와 설명하고자 하는 변수(종속 변수나 y)의 관계를 알아내기 위한 식으로 보통 잔차를 최..
-
[AI 논문 다반사] AI 주요 학회지 및 논문 찾아보기Paper Review(논문이야기) 2024. 3. 11. 13:57
최근 ICPBL 캡스톤 수업을 들으며 딥러닝 분야의 2~3개년치 논문들을 읽고 리뷰할 일이 필요해서 주요 학회지에서 논문을찾아보는 법에 관해 간단히 정리하게 되었다. 주요학회 구분 딥러닝의 주요학회지는 다음과 같고, 대략 아래의 구분을 따라간다. (ML/DL 전반) NeurIPS, ICML, ICLR, AAAI, IJCAI (NLP) ACL, EMNLP (Computer Vision) CVPR, ICCV, ECCV (Recommender System) RecSys,SIGIR 각 학회에서 발표된 논문들은 해당 학회 이름으로 검색하면 사이트를 통해 확인 가능하다. 아래는 Nerips의 사이트이다. https://blog.neurips.cc/2023/12/11/announcing-the-neurips-2023..
-
[Transformer] Attention is All you need(NIPS 2017)Paper Review(논문이야기) 2024. 2. 19. 14:41
https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org https://github.com/huggingface/transformers?tab=readme-ov-file 공식 transfo..
-
[Attention] Neural Machine Translation by Jointly Learning to Align and Translate(ICLR 2015)Paper Review(논문이야기) 2024. 2. 16. 15:58
https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the tra arxiv.org Attention이라는 개념이 처음 소개된 paper..
-
[Seq2Seq] Sequence to Sequence Learning with Neural Networks (NIPS 2014)Paper Review(논문이야기) 2024. 2. 15. 22:52
Seq2Seq 논문의 의미는 기존의 통계적 기계번역(SMT) 모델보다 딥러닝 기법의 기계번역 모델의 성능이 더 높게 나옴을 보여줌으로서, 그 흐름의 기점이 되었다는데에 중점을 두면 좋은 것 같다. https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot..
-
[Word2Vec] Efficient Estimation of Word Representations in Vector Space(Mikolov, Skip-gram & CBOW) 2013Paper Review(논문이야기) 2024. 2. 2. 15:02
https://arxiv.org/abs/1301.3781 Efficient Estimation of Word Representations in Vector Space We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best per arxiv.org NLP 쪽 논문을 한번 큰 틀에서 리뷰해보려고 한다. RNN 계열 모..
-
[VAE: Auto Encoding Variational Bayes] 2014 ICLRPaper Review(논문이야기) 2023. 7. 31. 12:27
AutoEncoder와 차이 VAE와 AE는 그 구조가 비슷할 뿐이지, 목적은 정 반대라고 생각하면 된다. AE는 차원 축소에 그 목적이 있고, VAE는 Generative model에 더 가깝다고 생각하자. 목적 구조 Auto Encoder Dimension Reduction (Encoder학습에 집중) Encoder, latent vector(z), Decoder로 구성되어있음 Variational Auto Encoder Generatvie Model (Decoder에 목적이 있음) Auto Encoder와 동일하지만 Encoder에 모수추정 부분이 존재 Generative model VAE의 목적이라고 했던 Generative model의 원리를 간단히 설명하면 아래와 같다. Generative m..