Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Entropy Minimization Revisited Overconfidence Issues in Test Time Adaptation

딥러닝 '모델 학습에 이용한 데이터(source)와 테스트 데이터(target)의 분포가 동일하다 (i.i.d)'는 가정이 깨지는 문제를 해결하기 위해서, source에 대한 접근 없이 target만으로 모델을 실시간 적응시키는 test-time adaptation (TTA) 기술이 대두되었다. TTA의 일반적인 기법은 entropy minimization이며, 이는 모델이 낮은 엔트로피 (높은 확신)를 가질 때 그 예측이 정답일 확률이 높다는 cluster assumption에 기반하여 label이 없는 test-time에도 결정 경계를 최적화 하기 위한 기법이다. 그러나 entropy minimization은 필연적으로 모델의 overconfidence를 유발하는데 [1], domain shift로 인하여 예측이 틀린 상황에서도 이를 확신하는 방향으로 최적화되기 때문이다 [2, 3]. 결과적으로 모델은 입력과 무관하게 모든 데이터를 하나의 class로 예측하는 trivial solution에 빠지고, 학습을 포기하는 model collapse 현상이 일어나는 문제가 일어날 수 있다 [2]. 본 세미나에서는 이와 같은 entropy minimization의 문제점을 짚고, 이를 해결하는 최근 연구 동향을 살펴보는 것을 목표로 한다. 참고자료: [1] Cui, S., Wang, S., Zhuo, J., Li, L., Huang, Q., & Tian, Q. (2020). Towards discriminability and diversity: Batch nuclear-norm maximization under label insufficient situations. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 3941-3950). [2] Niu, S., Wu, J., Zhang, Y., Wen, Z., Chen, Y., Zhao, P., & Tan, M. (2023). Towards stable test-time adaptation in dynamic wild world. International Conference on Learning Representations. [3] Lee, J., Jung, D., Lee, S., Park, J., Shin, J., Hwang, U., & Yoon, S. (2024). Entropy is not enough for test-time adaptation: From the perspective of disentangled factors. International Conference on Learning Representations.