Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Transformer-Based Bayesian Inference for Tabular Data

최근 tabular foundation model의 발전은 소규모 데이터셋에서도 뛰어난 일반화 성능을 보이는 새로운 가능성을 제시하고 있다. 특히, prior-data fitted network(PFN)는 사전 분포로부터 생성한 데이터로 학습된 transformer 네트워크를 활용하여, 실제 데이터셋에 대해 학습과 예측을 동시에 수행하는 구조를 갖는다[1]. 이러한 접근은 사후 확률 분포를 직접 추정하는 전통적인 베이지안 추론과 달리, 사후분포를 직접 근사하여 효율성과 정확도를 모두 확보한다는 장점이 있다. 최근에는 TabPFN의 구조적 한계를 극복하고자 아키텍처가 확장되었으며[2], 이에 더해 다양한 prior를 기반으로 한 높은 강건성도 검증되고 있다. 본 세미나에서는 TabPFN의 기본 개념을 시작으로, 최근 제안된 prior 설계 전략까지 확장한 연구[3]까지 그 발전 양상을 종합적으로 조망하고자 한다. 참고자료: [1] Müller, S., Hollmann, N., Arango, S. P., Grabocka, J., & Hutter, F. (2021). Transformers can do bayesian inference. arXiv preprint arXiv:2112.10510. [2] Hollmann, N., Müller, S., Eggensperger, K., & Hutter, F. (2022). Tabpfn: A transformer that solves small tabular classification problems in a second. arXiv preprint arXiv:2207.01848. [3] Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., ... & Hutter, F. (2025). Accurate predictions on small data with a tabular foundation model. Nature, 637(8045), 319-326.