Paper Review(논문이야기)
-
[Transformer] Attention is All you need(NIPS 2017)Paper Review(논문이야기) 2024. 2. 19. 14:41
https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org https://github.com/huggingface/transformers?tab=readme-ov-file 공식 transfo..
-
[Attention] Neural Machine Translation by Jointly Learning to Align and Translate(ICLR 2015)Paper Review(논문이야기) 2024. 2. 16. 15:58
https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the tra arxiv.org Attention이라는 개념이 처음 소개된 paper..
-
[Seq2Seq] Sequence to Sequence Learning with Neural Networks (NIPS 2014)Paper Review(논문이야기) 2024. 2. 15. 22:52
Seq2Seq 논문의 의미는 기존의 통계적 기계번역(SMT) 모델보다 딥러닝 기법의 기계번역 모델의 성능이 더 높게 나옴을 보여줌으로서, 그 흐름의 기점이 되었다는데에 중점을 두면 좋은 것 같다. https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot..
-
[Word2Vec] Efficient Estimation of Word Representations in Vector Space(Mikolov, Skip-gram & CBOW) 2013Paper Review(논문이야기) 2024. 2. 2. 15:02
https://arxiv.org/abs/1301.3781 Efficient Estimation of Word Representations in Vector Space We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best per arxiv.org NLP 쪽 논문을 한번 큰 틀에서 리뷰해보려고 한다. RNN 계열 모..
-
[VAE: Auto Encoding Variational Bayes] 2014 ICLRPaper Review(논문이야기) 2023. 7. 31. 12:27
AutoEncoder와 차이 VAE와 AE는 그 구조가 비슷할 뿐이지, 목적은 정 반대라고 생각하면 된다. AE는 차원 축소에 그 목적이 있고, VAE는 Generative model에 더 가깝다고 생각하자. 목적 구조 Auto Encoder Dimension Reduction (Encoder학습에 집중) Encoder, latent vector(z), Decoder로 구성되어있음 Variational Auto Encoder Generatvie Model (Decoder에 목적이 있음) Auto Encoder와 동일하지만 Encoder에 모수추정 부분이 존재 Generative model VAE의 목적이라고 했던 Generative model의 원리를 간단히 설명하면 아래와 같다. Generative m..
-
Auto Encoder와 VAE 전 내용들 정리Paper Review(논문이야기) 2023. 7. 30. 20:30
VAE 논문을 읽던 도중에 Auto Endcoder 및 VAE 논문에 나오는 기타 개념들을 정리할 필요가 있어서 따로 정리해보려고 한다. 내용 참조는 Auto Encoder의 모든 것이라는 네이버 D2(이활석 발표자님) 강연, KAIST 스마트 설계 연구실 강남우 교수님의 딥러닝 강의를 기반으로 하였다. https://www.youtube.com/watch?v=o_peo6U7IRM https://www.youtube.com/watch?v=9mf4maQU7UY Revisit Deep Neural Networks DNN에 관한 개념적 설명보다는 DNN에서 사용되는 손실함수에 관한 Assumtion을 짚고 넘어간 부분 전통적인 머신러닝의 단계는 다음과 같다. 1. Collect training data: x,..
-
[Martrix Factorization: Netfilx] 리뷰(IEEE 2009)Paper Review(논문이야기) 2023. 7. 24. 21:46
Introduction Modern Consumer are inudated with Choices(현대 소비자들은 선택에 매몰되어있다) Matching consumers with the most appropriate products is key to enhancing user satisfaction and loyality. (소비자를 매칭하는 문제는 소비자 만족과 충성도에 매우 주요한 구성요소 중 하나이다) Customers have proven willing to indicate their level of satisfaction with particular movies, so a huge volume of data is available about which movies appeal to which c..