[Paper]Self-Supervisd Learning
Transformer에서 self-supervised learning으로 어텐션 매커니즘이 활용되었습니다. 이러한 방법은 토큰(데이터)에 포함된 구조와 패턴을 이용하여 모델을 학습시키는 것으로 최근에 트랜스포머 기반의 다양한 모델들이 나왔습니다. 따라서, Meta Research의 발행된 내용을 참고하여 해당 내용에 대한 더 자세한 이해를 돕고자 합...
Transformer에서 self-supervised learning으로 어텐션 매커니즘이 활용되었습니다. 이러한 방법은 토큰(데이터)에 포함된 구조와 패턴을 이용하여 모델을 학습시키는 것으로 최근에 트랜스포머 기반의 다양한 모델들이 나왔습니다. 따라서, Meta Research의 발행된 내용을 참고하여 해당 내용에 대한 더 자세한 이해를 돕고자 합...
2017년에 Google Brain 팀에서 발표한 “Attention is all you need”에서 Transformer 기반의 구조를 제안했습니다. 트랜스포머는 NLP에서 대성공을 거두었고, seq2seq 모델. 즉, 순서가 있고, 출력 그 자체가 시퀀스인 모든 문제에 적합하여 DALL-E, GPT3 같은 언어모델의 기반이 되기도 합니다. ...
트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 “Attention is all you need”에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델입니다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서도 RN...
우리는 이전 포스트를 통해 DBN의 학습에 대해 배웠으며 DBN의 pre-trained 부분은 AutoEncoder 형식의 구조로 구성되었다는 것을 알게 되었습니다. 그런데 여기서 AutoEncoder 방식을 정확히 이해하고자 해당 포스트를 작성하게 되었습니다. AutoEncoder는 비지도 학습 방법인 신경망 기반의 기계학습 모델로 차원축소와 최대...
Restricted Boltzmann Machine(이하 RBM)은 심층 확률 모형을 구축하는 데 가장 흔이 사용되는 요소이며 ANN, DNN, CNN, RNN 등과 같은 타겟과 가설 간의 차이를 줄여서 오차를 줄이는 것이 목표인 결정적\(_{Deterministic}\) 모델들과는 다르게 확률 밀도 함수를 모델링 하는 것이 목표이다. Ⅰ. R...
이전에 Vanilla RNN 포스트 다음으로 RNN의 장기 의존성 구조 파악의 단점을 보완한 LSTM에 대해 포스팅을 해보려고 합니다. Ⅰ. LSTM(Long Short Term Memory) LSTM은 “Long Short-Term Memory”이라는 논문으로 1997년에 Hochreiter와 Jürgen Schmidhuber에 의해 개...
자연어 처리 과정을 몇몇 경험해보긴 했었지만, 정확히 자연어 처리가 무엇인지 어떻게 분류되는 지 이해하지 못하고 있었다. 따라서 이번 포스팅을 통해 NLP에 대한 기초적인 개요를 정확히 짚고 넘어가고자 한다. Ⅰ. NLP(Natural Language Processing) 자연어란? 사람들이 일상적으로 쓰는 언어(ex. 영어, 한국...
RNN은 순차적인 데이터와 시계열 데이터를 처리하는 데 특화된 인공신경망 모델이다.RNN은 입력 데이터의 시퀀스에 대해 이전 상태의 정보를 기억하고 현재 상태의 출력을 계산하는 반복적인 구조를 가지고 있습니다. 이를 통해 RNN은 순차적인 패턴과 의존성을 모델링할 수 있습니다. Ⅰ. RNN(Recurrent Neural Network) ...
Ⅰ. 딥워크. 딥워크란? 인지능력을 한계까지 밀어붙이는 완전한 집중의 상태에서 수행하는 직업적 활동. 딥 워크는 새로운 가치를 창출하고, 능력을 향상시키며, 따라 하기 어렵다. ⅰ. 왜 딥 워크인가 1. 대체 불가능한 전문가가 되는 법 기계와의 경쟁에서 살아남는 세 그룹 지능형 기계가 개량되고 ...
이미지 인식 분야에서 거의 모든 딥러닝 기술에 사용되는 CNN이 실질적인 등장을 하는 LeNet-5를 구현하면서 CNN에 대한 이해도를 높여보겠습니다. 1998년, “Gradient-Based Learning Applied to Document Recognition”이라는 논문에서 등장한 LeNet-5은 CNN의 핵심이 되는 합성곱 층(convolit...