AIML/딥러닝 최신 트렌드 알고리즘

[ 딥러닝 최신 기술 ] - Adversarial Training, Data augmentation

Adversarial Training 위와같이 어떤 판다에 대한 57.7%의 confidence를 가지는 결과에 0.007의 가중치를 주어 "nematode"라는 noise를 주어보았습니다. 그랬더니 결과물은 전혀 다른 결과인 "giboon"이라는 99.3%의 신뢰도를 가지는 결과가 나오게되었습니다. 이는 입력은 아주 조금 바뀌었으나, 출력이 매우 달라지며, 그때의 기울기가 매우 가파른 경우로 일종의 오버피팅 상태라고 할 수 있습니다. 이러한 현상을 생각해 일종의 노이즈를 섞어 학습을 진행한다면 이는 어떻게 보면 Regularization의 효과가 나오게 될 것입니다. 우리가 각 인풋을 노이즈를 섞어 $\epsilon$만큼 바꿀 때, $\epsilon\|w\|_{1}$변화한다고 할 수 있습니다. 이 때,..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - DETR: End-to-End Object Detection with Transformers

Transformer는 주로 자연어 처리 분야에서 시작하여 뛰어난 성능을 보였습니다. 그 구조와 특성 때문에 이미지 처리 분야에서도 활용될 수 있다고 합니다. 그 이유는 아래와 같습니다. Self-Attention: Transformer의 가장 핵심입니다. 이는 입력 데이터의 모든 부분이 서로 상호작용하는 데에 도움이 됩니다. 이미지 분야에서, 이것은 모든 픽셀이 다른 모든 픽셀과 상호작용 할 수 있게 도와줍니다. 결과론 적으로 이는 전역적인 후보군을 NMS와 같은 preprocessor없이 후보군을 direct하게 추출할 수 있게 돕습니다. 병렬 처리: Transformer는 전체 시퀀스를 한 번에 처리합니다. 이것은 자연어 처리 작업에서 RNN과 비교하여 계산 효율성이 훨씬 뛰어나다는 것을 의미합니다..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - Transformer: Attention is all you need (NIPS, 2017)

이번에는 DeTR을 읽기 위해 "Attention Is All You Need (NIPS, 2017)" 에서 소개된 Transformer에 대해 사전 지식으로서 알아가 보도록 하겠습니다. 먼저 논문과 함께 아래와 같은 자료들을 참고했습니다. https://wikidocs.net/31379 16-01 트랜스포머(Transformer) * 이번 챕터는 앞서 설명한 어텐션 메커니즘 챕터에 대한 사전 이해가 필요합니다. 트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 Attention i… wikidocs.net How faster? 논문에서는 기존에 RNN모델을 사용하지 않음으로써 Transformer를 기존의 자연어 처리 분야에서 더 뛰어난 성능을 내게 할 수 있었다고 합니다. 즉 어떻게..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - seq2seq, Attention, teacher forcing

English and Korean has different word order "I love you" 라는 언어를 한국어로 번역하는 가장 간단한 방법은 "Nan saranghey nul" 이렇게 바꾸는 것입니다. 이는 Input과 Prediction을 그냥 순서대로 1:1 매칭시켜주면 되는 것이겠죠. 하지만 "난(Nan) 사랑해(saranghey) 널(nul)"은 뭔가 좀 이상합니다. SVO순서를 SOV를 아래와같이 바꿔줘야 할거 같습니다. output always have same word count with input, while it should not 또한 위와같이, "How are you"를 번역하면 "Jal jiney?"로 바뀌어질 수 있는데, 단어의 카운트가 다릅니다. 즉 단어별로의 번역은 ..