Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [DMQA Open Seminar] Fine Tuning for Segment Anything

요약: Segment Anything (SAM)은 segmentation에 특화된 vision foundation 모델이다. 이는 ViT-Huge 기준 6억개 파라미터를 갖는 거대 모델 구조이며, 웹에서 수집된 약 10억개 Mask로 학습되었다. 이에 따라, 일상적인 이미지와 같은 평범한 이미지에 대해서는 추가적인 학습 없이도 우수한 일반화 성능을 보인다. 그러나, SAM은 domain-specific한 이미지에는 어려움을 겪는다. 예를 들어, 복잡한 이미지나 웹에서 수집하기 어려운 의료 이미지에 대해서는 다소 불완전한 성능을 보인다. 따라서, 본 세미나는 SAM fine-tuning을 활용하여 이러한 domain-specific 데이터에 SAM을 적응시킬 수 있는 방법론들을 알아본다. 특히, 본 세미나에서는 파라미터가 매우 많은 SAM을 모두 fine-tuning을 하는 것이 아닌, 일부 파라미터만 효율적으로 학습할 수 있는 방법론들에 대해 집중적으로 탐구한다. 참고자료: [1] Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., ... & Girshick, R. (2023). Segment anything. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4015-4026). [2] Chen, T., Zhu, L., Deng, C., Cao, R., Wang, Y., Zhang, S., ... & Mao, P. (2023). Sam-adapter: Adapting segment anything in underperformed scenes. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 3367-3375). [3] Zhang, K., & Liu, D. (2023). Customized segment anything model for medical image segmentation. arXiv preprint arXiv:2304.13785. [4] Ke, L., Ye, M., Danelljan, M., Tai, Y. W., Tang, C. K., & Yu, F. (2024). Segment anything in high quality. Advances in Neural Information Processing Systems, 36.