전체 글

[딥러닝 논문 리뷰] - Discrete Flow Matching (NeurlPS 2024)

이전시간에는 MDLM에 대해 살펴보았는데, 이번에는 제가 타대 인턴을 할 때 실제로 from-scratch로 구현했고, 실제로 sketch dataset에 적용해보았던 Discrete Flow Matching (DFM)에 대해 리뷰해볼까 합니다. 사실 인턴을 할때에는 그냥 머리박치기로 이해하려고 노력했었는데 이해하기 쉽지 않았습니다. 지금와서 다시 읽어보니 깨닫는 바가 많아서 리뷰를 해볼까 합니다. (아마 다음시간에는 Transition Matching을 리뷰하지 않을까 싶습니다)1. IntroductionDFM은 continuous flow-matching에서의 velocity field와 대응되는 probability velocity를 sampling하는데에 사용합니다. 저자들은 또한, 보다 gene..

[ 딥러닝 논문 리뷰 ] - Simple and Effective Masked Diffusion Language Models (NeurlPS 2024)

이전에 타 대학교 인턴을 할 때, 흥미로웠던 연구주제인 Discrete Diffusion 모델에 대해 다시금 접하게 되었습니다. 그리고 최근 학회에 accept되는 논문들을 보면 discrete space에서의 diffusion모델이 정말 많더군요. 그래서 이참에 논문들을 읽어보고 가장 citation이 많았던 논문은 MDLM (NeurlPS 2024)에 대해서 리뷰를 해보고자 합니다. 기존의 D3PM은 CTMC style로 복잡하지만 일반적인 objective를 만들고, MDLM은 제목에서도 나타나지만 아주 간단하게 discrete diffusion 모델을 설계합니다. 인턴을 하면서는 이해하기 힘들었던 논문이지만, 지금와서야 다시 읽어보니 잘 읽히더군요 이러한 성취감 덕분에 논문을 읽는거 같습니다! ..

[ 딥러닝 논문 리뷰 ] - Diamond Maps: Efficient Reward Alignment via Stochastic Flow Maps (ICML 2026)

거의 학기초에 포스팅하고 포스팅을 하지 않은거 같네요. 포스팅 이후로는 대학원 입시를 치열하게 치르고 카이스트 면접을 최근에 보고와서 이제 결과를 기다리는 중입니다. 정말 붙고싶고 가고싶은 랩실이 있기에 간절해지는거 같네요. 그래서 결과가 나오는 동안에 시간이 붕 뜨기에, 기말고사 이전까지는 보고싶은 논문을 보고 리뷰해보고자 했습니다. 그래서 CVPR 2026, ICML 2026 Oral 논문을 위주로보고 재밌는거 위주로 포스팅하겠습니다. 이번에 포스팅할 Diamond Maps는 GLASS Flows의 후속작으로서, GLASS Flows의 아이디어를 기반으로 one-step posterior sampler를 만듭니다. 필요한 사전 디테일들은 GLASS Flows에서 확인할 수 있으며, 이번부터는 핵심내용..

[ 딥러닝 논문 리뷰 ] - GLASS Flows: Transition Sampling For Alignment (ICLR 2026)

안녕하세요, 벌써 막학기 학부 생활이 시작되었고 학부 연구생 생활도 열심히 해 나가고 있습니다. 최근에는 Diffusion, Flow model에서의 Inference-time scaling에 관심이 많아져서 관련 논문을 보고 있었습니다. 그러던 중 ICLR 2026에 GLASS Flows라고 하는 논문을 찾게 되었고, Flow Matching의 저자인 Lipman형님과, Ricky Chen형님의 논문이라는걸 알았고 재밌어 보여서 읽었다가, 너무 많은 수식에 혼절 직전까지 왔었습니다. 이에 2일정도를 논문 읽는데에 쏟아부었고 재밌는 논문인거 같아서 리뷰를 해보려고 합니다. 이제 곧 대학원 입시이기도 한데, 파이팅 해야겠습니다! paper: https://arxiv.org/pdf/2509.25170gith..

[ 딥러닝 논문 리뷰 ] - TRPO & PPO 의 설명과 코드 구현

생성모델 논문에서 강화학습을 접목한 논문이 최근에 많이 보였습니다. 그래서 이번 방학에 강화학습 예를들어 PPO, TRPO, GRPO등이 뭔지 알아보고 코드까지 세세하게 분석해보려 했습니다. ETRI 인턴을 갔다오면 지쳐서 매번 쓰려져 미뤄왔던 포스팅을 지금에야 하게되었습니다. 이번에는 고려대 오승상 교수님의 강화학습 강의를 차근차근 보고, 가장 관심이 많았던 TRPO와 PPO가 TRPO에서 어떻게 발전된 형태이고 그 중 PPO의 코드는 어떻게 구현되고 결과는 어떤지 알아보겠습니다. 오승상 교수님 강화학습: https://www.youtube.com/watch?v=c15b9AjHxBA&list=PLvbUC2Zh5oJtYXow4jawpZJ2xBel6vGhC&index=27 Trust Region Poli..

[ 딥러닝 논문 리뷰 ] - DreamFusion: Text-to-3D using 2D Diffusion (ICLR 2023)

CS492(D)강의를 들으면서 인상깊었던 논문을 개인적으로 찾아보던중, SDS loss라는 개념이 인상깊어서 해당 논문을 간단하게나마 리뷰하고 정리하겠습니다. DreamFusion의 핵심인 SDS Loss에 대해 알아보고, DreamFusion에서 사용되는 shading기법에 대해 간단히 알아보겠습니다. 논문 링크: https://arxiv.org/pdf/2209.14988참고: https://xoft.tistory.com/39 [논문 리뷰] DreamFusion (ICLR 2023) : Text to 3D 연구DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION, Ben Poole, arXiv2022, Google Resarch Dream Fusion에서는 NeRF와 Diffus..

2025년도 1학기 회고록

꿈에 그리던 전역을 하고, 복학을 한지 벌써 2달이 지났다. 지금 머릿속에서 내가 무엇을 시작해야하고 하지 말아야하는지 명확해 지는 시점인것 같다. 그런김에 회고와 목표의식을 뚜렷하게 하고자 글을 쓴다. 군대SW개발병을 하면서 정말 다양한 만났다. 먼저 내 알동기 2명이 아니였으면 군생활 어떻게 했을까 걱정될 정도로 너무 잘 챙겨줬다. 그 외에도 나랑 같이 놀아주고 공부하고 대화를 나눠준 선임 후임들 모두에게 감사하다. 무엇보다도 뛰어난 사람들과 지내면서 다양한 인사이트를 얻었다. 대학원의 길, 창업의 길, 취업의 길, 프리랜서의 길 등등. 이러한 분들 덕분에 군대에서도 번아웃이 오지 않고 내가 원하는 대학원의 길을 목표로 꾸준히 정진한것 같다. 입대전에는 컴퓨터비전 학부연구생을 막 시작할 터라, De..

[ 딥러닝 논문 리뷰 - PRMl Lab ] - Asyrp: DIFFUSION MODELS ALREADY HAVE A SEMANTIC LATENT SPACE (ICLR 2023)

교수님께서 style transfer논문을 찾아보라고 하셔서, diffusion + style transfer논문을 찾아보는 중에 DiffStyle을 보게되었고 해당 논문의 fundamental엔 Asyrp(Asymmetric reverse process)라는 논문이 있었습니다. 이제 본격적으로 졸업을 위해 SCI에 논문을 써야하기에, 이러한 좋은 논문을 읽으며 논문을 쓰는법을 많이 배운거 같습니다. git: https://github.com/kwonminki/Asyrp_official GitHub - kwonminki/Asyrp_official: official repo for Asyrp : Diffusion Models already have a Semantic Latent Space (ICLR202..

[ 딥러닝 코드 리뷰 - PRMI Lab ] - DDPM 코드 리뷰 및 실행

이번에는 DDPM 공식 레포 코드를 분석하고 그 안에 구현된 디테일들이나 최신 기술들에 대해 알아보려고합니다. 마지막에는 직접 돌려봐서 celeba 데이터셋에 대해서 훈련시키고 샘플링시키는 작업까지 해보겠습니다.논문 링크: https://arxiv.org/pdf/2006.11239 U-Netmodelclass Unet(Module): def __init__( self, dim, init_dim = None, out_dim = None, dim_mults = (1, 2, 4, 8), channels = 3, self_condition = False, learned_variance = False, ..

[ 딥러닝 논문 리뷰 - PRMI Lab ] - COLMAP about SfM (Structure from Motion)

3D-GS, NeRF등을 공부하다보면, COLMAP을 이용해서 3d point cloud도 뽑아내고, camera pose도 뽑아냅니다. COLMAP에서 쓰는 SfM에 대해서는 간단히 공부해서 알고있었지만, 이번 기회에 자세히 정확한 원리에 대해 알면 좋을거 같아서 정리합니다. COLMAP은 오늘 다룰 SfM과 MVS를 사용하기 쉽게 랩핑한 라이브러리입니다. SfM의 주요 결과물은 이미지를 입력으로 받아서 Camera Parameter와 3D Point Cloud를 생성하는 것이고, MVS는 SfM결과를 이용해 3D Reconstruction하는 것에 있습니다. 먼저 SfM 논문인 Structure-from-Motion Revisited (CVPR 2016)을 다루겠습니다. 해당 논문은 SfM을 발전시킨..