Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Super resolution with diffusion models

Super-resolution(이하 SR)은 저해상도 이미지로부터 고해상도 이미지를 복원하는 것을 목표로 한다. 초기 SR 접근법들은 bicubic이나 알려진 매개변수를 가진 blurring 등 미리 정의된 degradation 과정을 가정했다. 하지만 이러한 방법들은 제한된 일반화 능력으로 인해 실제 세계에서는 성능이 크게 저하된다. 따라서 최근에는 다양한 방식들, 특히 GAN 기반의 SR모델들이 다수 등장하였는데 본 세미나에서는 diffusion model 기반의 SR 모델들에 대해 소개하고자 한다. 먼저 SR3의 경우 최초로 diffusion model을 SR 작업에 도입한 논문으로, diffusion model의 기본이 되는 DDPM을 그대로 SR에 도입하였다. SR3+의 경우 SR3 모델에서 실제 세계의 다양성을 더 잘 반영하기 위하여 blind SR 개념을 도입한 연구이다. 마지막으로 Stable SR은 stable diffusion model의 prior knowledge를 가지고 SR을 수행한다. 이와 같은 방법론들을 통해서 diffusion model을 기반으로 하는 SR 모델 발전의 흐름을 알아본다. [1] Saharia, C., Ho, J., Chan, W., Salimans, T., Fleet, D. J., & Norouzi, M. (2022). Image super-resolution via iterative refinement. IEEE transactions on pattern analysis and machine intelligence, 45(4), 4713-4726. [2] Sahak, H., Watson, D., Saharia, C., & Fleet, D. (2023). Denoising diffusion probabilistic models for robust image super-resolution in the wild. arXiv preprint arXiv:2302.07864. [3] Wang, J., Yue, Z., Zhou, S., Chan, K. C., & Loy, C. C. (2023). Exploiting diffusion prior for real-world image super-resolution. arXiv preprint arXiv:2305.07015.