현서의 개발 일지📚

[ 3D vision - Study ] - The Pinhole Camera Model and Epipolar Geometry - 2

3. The Pinhole Camera Model이전에는 카메라 모델을 통해 3차원을 변환을 알아보기 전에, 2D -> 2D의 Homograpy를 알아보았었습니다. 이번에는 본격적으로 기본적인 카메라 모델인 pinhole camera model부터 살펴보겠습니다. From 2D to 3D가장 먼저 3D가 어떻게 2D영상으로 영상에 매치되는지를 모델링할 필요가 있습니다. 그래서 3D의 $[X, Y, Z]$로 표현되는 물리적인 지점이 거쳐서 카메라에 맺히는 2D의 $[x, y, 1]$과 어떻게 대응되는지 모델링을 해야합니다. 이걸 하기 위해 먼저 카메라와 상이 맺히는 지점의 거리가 1이라 가정합니다. Simplification of how camera work위 그림은 실제 3D에 있는 $[X, Y, Z]$..

[ 3D vision - Study ] - The Pinhole Camera Model and Epipolar Geometry - 1

최근에 3D vision에 관심이 생겨서, 관련 공부를 하고 있었습니다. 해당 포스팅은 Pinhole Camera와 Epipolar Geometry에 관련해서 스터디를 한 내용을 정리하기 위함입니다. 추후에는 Point Cloud Networks와 Nerual Fields(Nerf)에 대해 다루겠습니다. 해당 내용은 Hartley and Zisserman's book의 내용을 참고하였으며, 이광무 교수의 THE RED강의를 수강후 작성하였습니다.  1. Homogeneous Coordinates and 2D Homography먼저 위의 그림상에서 3D 점과, 선을 나타낼 수 있는 Homogeneous coorodinates에 대해 다룰 것이며, 점들과 선분들이 2차원적인 측면에서 어떤 관계를 이루고 있는..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - CLIP: Learning Trasferable Visual Models From Natural Language Supervision

Stable Diffusion Model을 읽기 위해, 저번까지 Diffusion과 관련된 내용을 다루었습니다. 이번에는, OpenAI에서 ICML 2021에 Accept되었던 CLIP에 대해서 다루어보려고 합니다. 현재 OpenAI의 DALLE-2나 StableDiffusion, SORA,.. 다양한 멀티모달 생성형 AI에 CLIP의 개념이 들어가있다고 합니다. CLIP이 무엇이고 어떤점이 Contribution이었는지에 대해 보겠습니다. Abstract기존의 SOTA 모델은 특정 카테고리 내에서 label을 학습해서 예측하게끔 하는 형태였습니다. 이러한 방법은, 이미지의 일반화 성능과 다른 task에서의 사용 가능성을 제한합니다. 따라서 이에 대한 대안으로 CLIP은 이미지를 설명하는 raw-text..

[ 딥러닝 논문 리뷰 - PRML Lab ] - Score-Based Generative Models and Diffusion Models

DDPM, DDIM의 논문을 읽고 리뷰를 했습니다. 그 후에 Diffusion Models Beat GANs on Image Synthesis라는 논문을 리뷰하려고 읽고 있었습니다. 그런데, diffusion에 class guidance를 도입하면서, 학습시에서의 score matching 어쩌고, 샘플링시에 Annealed Langevin dynamics를 이용한는 내용이 너무 많아서 궁금해졌습니다. 그러면서, DDPM, DDIM그 이전에 나온 Score-Based모델과 같은 NCSN과 같은 모델이 있는걸 알 수 있었고, NCSN이 DDPM과 SDE를 통해 통합될 수 있는 논문등이 있음을 확인할 수 있었습니다. 그럼 이번 포스팅을 통해 DDPM이전의 논의되었던 사항들과 개념들에 대해 간단히 짚고가겠습니..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - DENOISING DIFFUSION IMPLICIT MODELS (DDIM)

DDPM을 쓰고 많은 시간이 흘렀습니다. DDPM은 가우시안 분포에서 추출한 noise를 마르코프 체인 과정으로 순차적으로 걷어내며 sample을 생성해내는 Generative Model이였습니다. 하지만 이 방법은, 순차적으로 reverse-process를 진행해야 해서, step에 따른 시간이 많이 소요되었습니다. 그래서 GAN에 비해 sampling quality는 높았지만, 그만큼 sampling속도가 느리다는 단점이 있었습니다. 오늘 살펴볼 DDIM은 이러한 제한을 Non-Markovian Process를 통해 해결했으며, Objective Function은 DDPM과 똑같이 가져가서 DDPM(training) -> DDIM(sampling)이 가능해지게 되었습니다. 논문 링크, 깃허브 링크입니..