Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Vision Language Models

요약: 최근 대형 vision-language model(VLM)은 매우 우수한 일반화 성능을 바탕으로 다양한 downstream task에 적용되고 있다. 그러나 이러한 모델을 의료, 자율주행 등과 같은 안전 중심 응용 분야에 사용하기 위해서는 단순한 분류 정확도뿐 아니라, 예측의 신뢰도를 믿을 수 있게 만드는 calibration 작업 또한 필수적인 요소로 간주된다. 본 세미나는 VLM의 calibration 특성에 대한 분석과 함께, 이를 개선하기 위한 최신 기법 및 실제 적용 시 고려해야 할 요인들에 대해 소개하도록 한다. 참고자료: [1] Guo, Chuan, et al. "On calibration of modern neural networks." International conference on machine learning. PMLR, 2017. [2] Tu, Weijie, et al. "An empirical study into what matters for calibrating vision-language models." ICML (2024). [3] Yoon, Hee Suk, et al. "C-tpt: Calibrated test-time prompt tuning for vision-language models via text feature dispersion." ICLR (2024).