Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Out-of-Distribution Generalization Distributionally Robust Optimization

기계학습 및 딥러닝 모델은 학습 데이터와 테스트 데이터가 동일한 분포에서 추출된다는 가정(i.i.d. assumption)에 기반하여 테스트 데이터에 대한 일반화 성능을 확보한다. 그러나 학습 데이터와 테스트 데이터의 분포가 다를 경우, 분포 차이(distribution shift)로 인해 모델 성능이 저하될 수 있다. Out-of-distribution generalization은 학습 데이터만을 활용해 학습 시 보지 못한 새로운 분포의 데이터에 대해서도 일반화 성능을 확보할 수 있도록 하는 방법론이다. 이번 세미나에서는 distribution shift 및 out-of-distribution generalization의 기본 개념과 더불어, 서로 다른 분포를 가진 데이터들 사이에서 최악의 경우에도 모델 성능을 최대화하는 방향으로 학습을 진행하여 강건한 성능을 확보하는 'distributionally robust optimization' 방법론을 소개하고자 한다. 참고자료 : [1] Sagawa, S., Koh, P. W., Hashimoto, T. B., & Liang, P. (2019, September). Distributionally Robust Neural Networks. In International Conference on Learning Representations. [2] Cao, K., Wei, C., Gaidon, A., Arechiga, N., & Ma, T. (2019). Learning imbalanced datasets with label-distribution-aware margin loss. Advances in neural information processing systems, 32. [3] Cui, Y., Jia, M., Lin, T. Y., Song, Y., & Belongie, S. (2019). Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 9268-9277). [4] Koh, P. W., Sagawa, S., Marklund, H., Xie, S. M., Zhang, M., Balsubramani, A., ... & Liang, P. (2021, July). Wilds: A benchmark of in-the-wild distribution shifts. In International conference on machine learning (pp. 5637-5664). PMLR.