[Paper]BERT
2018년에 구굴의 연구팀에 의해 발표된 BERT(Bidirectional Encoder Representations from Transforemr)는 Transfer learning을 통해 NLP에서 SOTA의 결과를 이끌어낸 아키텍처 중 하나입니다. 양방향으로 context를 받아 언어 모델링에 자연스럽게 맞지 않는 이유입니다. 이러한 목적에 관...
2018년에 구굴의 연구팀에 의해 발표된 BERT(Bidirectional Encoder Representations from Transforemr)는 Transfer learning을 통해 NLP에서 SOTA의 결과를 이끌어낸 아키텍처 중 하나입니다. 양방향으로 context를 받아 언어 모델링에 자연스럽게 맞지 않는 이유입니다. 이러한 목적에 관...
2018년에 context를 고려한 단어 표현을 학습할 수 있는 ELMo(Embeddings from Language Models)가 발표되었습니다. 이는 이전의 Word2Vec, GloVe의 context-independent한 단일 표현과 다르게 맥락을 고려하는 단어 표현을 임베딩한다는 것에 큰 의미가 있었습니다. Ⅰ. Introducti...
2016년에 Facebook에서 발표된 논문으로 단어 벡터를 풍부하게 만드는 새로운 임베딩 방법인 FastText1를 발표했습니다. 큰 규모의 라벨링 되지 않은 데이터에서 학습되는 단어 표현 벡터는 많은 NLP 작업에서 유용합니다. 유명한 모델들(GloVe, Word2Vec)은 각 단어로 구별하는 표현 벡터로 형태(?)\(_{morphology}\...
2014년에 나온 GloVe1(Global Vectors for Word Representation)이라는 논문을 통해 단어의 의미를 벡터 공간에 임베딩 하여 단어 간의 유사성과 관계를 표현할 수 있는 Word2Vec과 같은 기존의 기법과 마찬가지로 최근 자연어 처리 분야에서 큰 성공을 거두고 있습니다. 단어를 벡터 공간의 표현으로 변환하는 방법은 ...
NLP의 초기 발전 중 하나는 단어 내부의 표현을 학습하는 것입니다. 이전에 기계학습 알고리즘은 구조화되고 잘 정의된 고정된 길이의 입력을 선호하고, 텍스트보다 숫자가 더 잘 작동합니다. 따라서 기본적인 방법으로 원핫 인코딩이나 bag-of-words로 text를 숫자의 equivalent vector로 정보 손실없이 변환하였습니다. Figure...
이전에 Graph 스터드를 진행하면서 ~한 논문 소개를 보면서 각 모달리티가 가지는 특징 벡터를 활용하여 멀티모달 모델을 만드는 것을 보면서 멀티모달과 최근 트렌드들을 접하면서 멀티모달에 관심이 생겼었습니다. 운이 좋게도 가짜연구소에서 “Multimodal이 가진 Infinite Dimensions 살펴보기”라는 스터디에 참가하게 되었습니다. 멀티...
정규화\(_{Regularization}\)이라고 불리는 해당 방법은 모델이 학습 데이터에 대해 과하게 적합되는 현상을 방지해 일반화 성능을 높이기 위한 방법이라고 합니다. 학습 데이터를 외우는 것을 방지하고 학습이 보다 안정적이고 빠르게 만들어 줍니다. 이번 포스팅을 통해 이전부터 궁금했던 정규화 기법에 대해 공부한 내용을 정리하도록 하겠습니다. ...
이전에 프로덕트를 배포하고 난 후 효과를 측정하기 위한 방법을 고민하다가 인과추론에 대해 접하게 되었고, 간략히 정리한 내용을 작성해보려고 합니다. “상관관계가 인과관계를 설명하지 않는다” 라는 말을 자주 접했으며 이러한 내용으로 ‘심슨의 역설’, ‘Spurious correlation’, ‘Confounder’ 등의 현상과 변수가 생깁니다. 그렇다...
“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer” 논문은 google research 팀에서 발표한 내용으로 Text-To-Text Transfer Transformer(T5)는 전이 학습 기술을 찾는 경험적 연구들의 인사이트에 관한 내용입니다. ...
OpenAI에서 2018년에 발표한 “Improving Language Understanding by Generative Pre-Training”은 GPT(Generative Pre-trained Transformer)라고 불리는 언어 모델을 소개합니다. Ⅰ. Introduction unlabeled data에서 언어의 정보를 얻는 모델은 ...