Eastk1te

[Paper]ViT : Vision Transformer

ViT는 기존의 CNN을 대체하여 이미지에 트랜스포머 아키텍처를 적용하는 milestone이기에 관련된 내용을 한번 다루어 보겠습니다. 트랜스포머 아키텍처가 사실상 NLP 작업의 표준이 되는 동안, CV에서는 제한적인 적용을 보였습니다. 이미지의 전체적인 구조를 유지하면서 어텐션 매커니즘을 컨볼루션 네트워크와 결합하거나 대체하는 방식으로 CNN에 대...

[Study]Chapter 2. Understanding Multimodal Data

멀티모달에서는 아래와 같이 두 가지 주요 과제가 있습니다. 입력을 수적 표현을 어떻게 하는가 머달리티를 어떻게 결합하는가 그 중 첫번째 과제를 다루기 위해 일반적인 딥러닝에서는 이미지나 텍스트를 잠재공간의 벡터로 임베딩하여 수치적으로 표현합니다. 이렇게 수치적인 표현을 가능하게 하려면 데이터셋이 필요하고, 언어모델과는 다르게 Visual...