[Paper]Milestones of CNNs
ILSVRC(ImageNet Large Scale Visual Recognition Challenge)를 통해 이미지 인식 분야의 유명한 대회로 2017년을 마지막으로 공식적인 대회를 마무리했지만, 그동안의 성과들은 컴퓨터 비전분야의 핵심적인 연구 기반이 되었다고 합니다. 따라서, 해당 대회 사이의 논문들을 간략하게 소개해보려고합니다. Figur...
ILSVRC(ImageNet Large Scale Visual Recognition Challenge)를 통해 이미지 인식 분야의 유명한 대회로 2017년을 마지막으로 공식적인 대회를 마무리했지만, 그동안의 성과들은 컴퓨터 비전분야의 핵심적인 연구 기반이 되었다고 합니다. 따라서, 해당 대회 사이의 논문들을 간략하게 소개해보려고합니다. Figur...
U-Net이 2015년에 소개되고 나서 메디컬 이미지 세그멘테이션에서 흔하게 사용되는 벤치마크로 빠르게 발전해왔습니다. 그러나 이러한 방법은 전처리, 학습, 추론 등의 다양한 하이퍼파라미터들의 서치가 필요하게 되어 서로 독립적이지 않고, 순차적으로 종합적인 성능에 영향을 미칩니다. 따라서, ‘no-new-net’이라 불리우는 nnUNet Framewo...
Towards Understanding Mixture of Experts in Deep Learning Huggingface : Mixture of Experts Explained Mistral AI github 간결, 명확, 중복 없게, 충돌 없게, 영어로, Naming에도 정성을 언어모델 학습 시켜보기. 그리고 특정 인풋이 들어갈때 활성화되...
https://www.reddit.com/r/MachineLearning/comments/1aj9swv/repeat_after_me_transformers_are_better_than/?rdt=33854 Repeat After Me: Transformers are Better than State Space Models at Copying 댓글에서는 ...
해당 논문은 메타에서 진행한 Segment Anything Model(SAM) 프로젝트로 이미지 세그멘테이션을 파운데이션 모델의 영역으로 확장하는 내용을 다루고 있습니다. 이 계획의 성공을 위한 세가지 요소로는 아래와 같습니다. 어떤 task가 zero-shot 일반화가 가능한가? 모델 아케텍처 간의 상호작용은 무엇인가? 어떤 데이터가...
이미지 분할은 semantic 과 instance로 분할하는 것으로 형식화가 가능합니다. 의미적 분할은 이미지 픽셀에 대한 객체 카테고리 집합으로 픽셀 수준 레이블링을 진행하는 것이고 인스턴스 분할은 각 객체를 감지하고 구분하는 작업을 추가하여 의미적 분할의 범위를 확장하는 형태로 해당 논문에서는 2019년 까지의 딥러닝 기반 세그멘테이션 방법을 소개...
2015년에 처음으로 제안된 해당 논문은 소량의 데이터로도 높은 성능을 달성할 수 있는 가능성을 제시하여 현재까지도 의료분야에서 segmentation 모델로 널리 사용되고 있는 “U-Net: Convolutional Networks for Biomedical Image Segmentation”을 소개하겠습니다. Ⅰ. Introduction ...
해당 논문은 시간에 따라 변화하는 비평형 통계적 물리학에서 영감을 받아 시작된 디퓨전 절차로 현재 많은 생성형 모델에 사용되고 있습니다. 해당 절차를 간단히 소개하면 반복적인 forward diffusion 절차를 통해 데이터 분포를 천천히 시스템적으로 구조를 파괴하고 나서 reverse diffusion 절차를 통해 데이터의 구조를 회복하는 과정입니...
Git을 다루고는 있지만 Git branch를 어떻게 운용해야하는 지에 대한 내용은 잘 모르던 찰나 아래와 같은 git branch 전략을 소개하는 영상을 보고 흥미를 가지게 되어 정리하게 되었습니다. Ⅰ. Git Branch strategy Git Branch 전략은 팀이 협업하고 소스 코드를 관리하는 방법을 정의하는 것으로 영상에서는...
2021년에 Microsoft 연구팀에서 “LoRA: Low-Rank Adaptation of Large Language Models”라는 논문을 통해 대규모 언어 모델을 효율적으로 조정할 수 있는 기술을 제안하였습니다. 이는 사전 학습된 모델의 가중치를 고정(freeze)시키고, 학습 가능한 분해 행렬을 주입함으로써 작동합니다. GPT-3와 비교하여...