AIML/딥러닝 최신 트렌드 알고리즘

[ 논문리뷰 - PRMI Lab ] - RNN, LSTM

오늘은 경북대학교 PRMI Lab 2023 - summer project를 수행하기 위해, DeTR이라는 논문을 읽고 직접 구현해보기 위해, 사전적으로 읽어야 하는 개념들에 대해 간단히 정리해보겠습니다. 이들은 엄청 오래전에 소개된 논문에서 나온 개념이고 대부분의 SOTA모델들은 DeTR이나 BERT, GPT등의 encoder, decoder 기반이라고 합니다. 하지만 RNN, LSTM, Attention등의 개념이 발전되어서 해당 모델들이 등장하게 된 것이므로, 알아두어야 겠다고 생각해서 한번 정리해보겠습니다. Sequence is important for POS tagging 우리에게 "I work at google", "I google at work" 이라는 단어가 있다고 해 봅시다. 여기에서의 의..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - Mask R-CNN (ICC, 2017)

Mask R-CNN은 기존 object detection task에서 사용되던 Faster R-CNN에 Mask branch를 추가해서 classification, bbox regression, predicting object mask를 동시에 처리하는 모델입니다. FPN ( Feature Pyramid Network) FPN은 Mask R-CNN에서 어떻게 쓰이는지에 관련해서 간단히 살펴보겠습니다. faster rcnn과는 다르게 여러개의 feature map이 생성되고, 각각의 feature map에 맞는 RoI가 생성되는 것을 아래 그림에서 확인할 수 있습니다. 이는 기본적으로 Bottom-up pathway, Top-down Pathway, Lateral connections를 통해 다양한 크기의..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - Fully Convolutional Networks for Semantic Segmentation (CVPR 2015)

Instance segmentation Mask R-CNN의 task인 Instance segmentation이 뭔지 알아야 합니다. 이는 영상/이미지에서 의미있는 부분들을 구별해내는 기술을 이야기합니다. 이미지를 영역별로 나눠준 후, 각 개체에 맞게 합쳐주는 task를 얘기합니다. object detection, classification과 같은 task들과 비교해봤을 때, 정확하게 개체들의 경계선까지 추출해 의미있는 영역들로 나누어져야하므로 더 어려운 작업에 속합니다. 그리고 이는 semantic과 instance로 나뉩니다. Sementic segmentation 위 사진과 같이 segmentation을 진행할 때, class가 같다면 구분하지 않고 같은 영역 혹은 색으로 분할합니다. 같은 클래스의..

[ 딥러닝 논문리뷰 - PRMI Lab ] - SPP-net, Fast R-CNN, Faster R-CNN

Before Fast R-CNN 우선 기존의 R-CNN 방식의 일련의 과정은 위와 같습니다. Image가 있으면 여기서 Selective Search 알고리즘을 통해서 Regional Proposal을 진행해서 후보 Bounding box 영역을 선택합니다. 그리고 Pre-trained된 AlexNet(= CNN) 구조에 넣기 위해 crop을 하고 최종적으로 227x227로 warped image를 생성해 냅니다. 그리고 CNN에 투입된 결과로 Conv features 즉 특징 백터를 생성해 내고 이를 linear SVM 모델에 넣어서 최종 분류를 한 후, 마지막으로 Bounding box regression을 통해 bounding box의 위치를 결정하는 일련의 작업이 R-CNN의 과정이였습니다. 이러..