Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Generative Replay for Continual Learning

인공지능 모델이 발전하면서 우수한 성능의 모델들이 만들어지고 있다. 하지만 기존에 학습된 모델을 새로운 클래스나 도메인 데이터에 맞추기 위해 전이 학습을 수행할 때, 기존에 학습된 데이터를 잊는 현상(catastrophic forgetting)이 발생할 수 있다. 이러한 문제를 해결하려면 모든 데이터를 다시 학습해야 하는데, 이는 리소스와 시간 면에서 비효율적이다. 지속학습(continual learning, CL)은 새로운 데이터를 학습할 때 기존 데이터를 일부 사용하거나 사용하지 않더라도 기존 데이터에 대한 성능을 유지하는 것을 목표로 한다. 이를 통해 기존 데이터에 대한 메모리 사용량을 줄이는 등 여러 이점이 있다. 현재 CL은 데이터와 모델 관점에서 활발히 연구되고 있으며, 본 세미나에서는 데이터 관점에서 생성형 모델(generative models)을 활용한 연구들을 소개하고자 한다. 참고자료 : [1] Shin, H., Lee, J. K., Kim, J., & Kim, J. (2017). Continual learning with deep generative replay. Advances in neural information processing systems, 30. [2] Wu, C., Herranz, L., Liu, X., Van De Weijer, J., & Raducanu, B. (2018). Memory replay gans: Learning to generate new categories without forgetting. Advances in neural information processing systems, 31. [3] Gao, R., & Liu, W. (2023, July). Ddgr: Continual learning with deep diffusion-based generative replay. In International Conference on Machine Learning (pp. 10744-10763). PMLR.