Transformers
Seq2Seq에서 RNN을 아예 빼버리고 attention으로 구성해보면 어떨까? → Transformer의 구조 현재는 seq2seq + attention에서는 하나의 벡터로…
2025/04/27
NEW POST
Jinsoolve.
Categories
Tags
4월 안에는 꼭...
About
ALL CATEGORIES.
(47)
RNN
언어 모델이라는 건, 사실 다음에 올 단어를 확률로 예측하는 것이다. 이러한 언어 모델들을 어떻게 발전시켜왔는 지 살펴보자. 이미 이전 포스트에서 자세히 살펴보았던 내용이다.…
2025/04/27
NEW POST
Fancy RNN
이전 포스트에서 RNN에서 Vanishing Gradient로 인해 장기 의존성 문제가 있다는 사실을 이야기했다. 이런 Vanishing Gradient를 해결하기 위해 크게…
2025/04/27
NEW POST
Attention
기존 RNN의 병목 현상을 해결하기 위해 Attention이 등장했다. Decoder에서 한 단어를 예상할 때, 해당 단어와 특별히 관련되어 있는 Encoder의 특정 단어를…
2025/04/27
NEW POST
Cross Entropy와 Softmax
Cross-entropy와 Softmax가 자꾸 헷갈려서 정리를 한 번 해보자. +) 추가로 sigmoid와 tanh 도 보자. Softmax(zi)=ezi∑jezj\text…
2025/04/27
NEW POST
Word2Vec과 GloVe의 차이는 무엇일까?
그래서 Word2Vec과 GloVe의 차이는 대체 뭘까? 개인적으로 매우 헷갈리는 topic이라서 내 개인 이해를 정리해 보았다. 먼저 standard한 Word2Vec과…
2025/04/27
NEW POST
Word2Vec
저번에 word vector에 대해서 알아봤는데, 이번에는 word vector의 프레임워크인 Word2Vec에 대해서 좀 더 알아보자. 먼저 Word2Vec이 어떤 식으로…
2025/04/26
NEW POST
Word Vectors
이번 포스트에서는 Word Vector에 대해서 알아보자. 먼저 아래와 같은 고민을 해보자. 우리는 어떻게 컴퓨터에게 단어의 뜻을 이해시킬 수 있을까? WordNet?# 예전에…
2025/04/25
NEW POST
Batch Normalization을 하는 이유는 뭘까?
각 batch 데이터마다 분포가 다르게 되면 모델의 학습이 어렵다. 즉, 전에는 0 ~ 20 데이터가 들어와서 그거대로 학습했는데, 이번 batch에는 2000 ~ 4000…
2025/04/25
NEW POST
