[Paper]ResNet
ResNet은 2015년에 microsoft 연구원들에 의해 제안된 “Deep Residual Learning for Image Recognition” 논문을 통해 제안된 아케텍쳐입니다. 현재까지 20만회가 넘어가는 인용수를 가지는 논문인 만큼 딥러닝 모델의 주요 기법 중 하나로 그래디언트 소실 문제와 신경망의 성능을 혁신적으로 개선하였습니다. ...
ResNet은 2015년에 microsoft 연구원들에 의해 제안된 “Deep Residual Learning for Image Recognition” 논문을 통해 제안된 아케텍쳐입니다. 현재까지 20만회가 넘어가는 인용수를 가지는 논문인 만큼 딥러닝 모델의 주요 기법 중 하나로 그래디언트 소실 문제와 신경망의 성능을 혁신적으로 개선하였습니다. ...
딥 러닝 모델의 발전으로 하드웨어적인 요구 사항도 높아져 모델 배포 측면에서 이러한 요구사항을 갖추지 못한 곳에서는 큰 제약이 따르게 되었습니다. 이러한 제약을 극복하고자 모델을 압축하는 다양한 방법들이 개발되었는데, 해당 내용들을 다루어 보겠습니다. Ⅰ. Model Compression Methods 상용 LLM 모델 중 하나인 “GPT-...
GPT3에서 사용된 few-shot learning의 이해를 돕고자 그 원리를 조금 더 이해해보고자 합니다. Ⅰ. Meta Learning 메타러닝은 다양한 학습 에피소드(즉, Task)가 주어졌을때 학습 방법 그 자체를 향상시키는데 초점을 둡니다. 해당 논문을 통해 메타러닝을 정의하고 분류체계를 알아보도록 하겠습니다. 메타러닝은 다양한 ...
이전 포스팅에서 explicit regluarization을 소개했습니다. 다음으로 Implicit regularization으로 흔히 사용되는 Data augmentation, EarlyStopping, Batch Normalization, Dropout 등을 소개하겠습니다. Label Smoothing(라벨 스무딩은 모델이 너무 확신하기 쉬운 예측...
다시한번 멀티모달에 대해 간략히하면 최근에 대두된 멀티모달은 Large scale의 데이터들로 LLM 기반의 모델들이 주를 이룬다고 합니다. 관련되어 ‘24년에 Large Multimodal Agent(LMA)에 관한 survey가 있어 짧게 요약하며 시작하겠습니다. Figure 1 : Top AI conference에 발표된 LMAs의 Miles...
ViT는 기존의 CNN을 대체하여 이미지에 트랜스포머 아키텍처를 적용하는 milestone이기에 관련된 내용을 한번 다루어 보겠습니다. 트랜스포머 아키텍처가 사실상 NLP 작업의 표준이 되는 동안, CV에서는 제한적인 적용을 보였습니다. 이미지의 전체적인 구조를 유지하면서 어텐션 매커니즘을 컨볼루션 네트워크와 결합하거나 대체하는 방식으로 CNN에 대...
OpenAI에서 2021년에 “Learning Transferable Visual Models From Natural Language Supervision”라는 이름으로 발표한 논문에서 CLIP이라는 모델을 소개합니다. Figure 1 : Overall CLIP Arcitectures 기존의 CV 시스템들은 추가적인 데이터의 레이블이 필요한 지도...
해당 챕터에서는 같이 스터디를 진행한 종원님의 발표를 기반으로 총 세가지의 융합 기술로 Early, Joint, Late Fusion을 소개합니다. Ⅰ. Fusion Methodology ⅰ. Early Fusion Figure 1 : Early Fusion overview 해당 융합 방법은 멀티모달 입력 데이터를 초기(Earl...
멀티모달에서는 아래와 같이 두 가지 주요 과제가 있습니다. 입력을 수적 표현을 어떻게 하는가 머달리티를 어떻게 결합하는가 그 중 첫번째 과제를 다루기 위해 일반적인 딥러닝에서는 이미지나 텍스트를 잠재공간의 벡터로 임베딩하여 수치적으로 표현합니다. 이렇게 수치적인 표현을 가능하게 하려면 데이터셋이 필요하고, 언어모델과는 다르게 Visual...
2018년 BERT의 성공은 NLP 분야에서 “Gold rush”를 일으켰으며 OpenAI의 세 번쨰 GPT 아키텍처인 GPT-3가 큰 주목을 받았습니다. 원래의 GPT 아키텍처는 12개의 레이어로 구성된 Transformer 디코더로 구성되어 있습니다. 이러한 트랜스포머 언어 모델은 사전 학습된 모델 위에서 softmax 분류기를 초기화하고 미세조...