Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Contrastive Learning for Retriever Models

최근 크게 발전한 거대 언어 모델에 대해 외부 정보를 활용하는 retrieval augmented generation(RAG) 방법론들이 각광을 받고 있다. 입력 질문과 관련된 문서를 회수(retrieval)하고, 이를 참고하여 적절한 답변을 생성하는 RAG 방법론들은 입력 질문과 얼마나 관련 있는 문서를 회수하는지에 따라 성능에 큰 영향을 미친다. 회수 모델(retrieval models)은 크게 contrastive learning, masked language modeling의 방식으로 사전 학습이 이루어진다. 이번 세미나에서는 회수 모델이 contrastive learning을 통해 사전 학습되는 방법론들에 대해 소개하고자 한다. Contrastive learning에서 중요한, positive sample과 negative sample을 어떻게 정의 하는지를 통해 해당 방법론들을 집중적으로 탐구한다. 참고자료: [1] Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, 33, 9459-9474. [2] Izacard, G., Caron, M., Hosseini, L., Riedel, S., Bojanowski, P., Joulin, A., & Grave, E. (2021). Unsupervised dense information retrieval with contrastive learning. arXiv preprint arXiv:2112.09118. [3] Ren, R., Lv, S., Qu, Y., Liu, J., Zhao, W. X., She, Q., ... & Wen, J. R. (2021). PAIR: Leveraging passage-centric similarity relation for improving dense passage retrieval. arXiv preprint arXiv:2108.06027. [4] Lei, Y., Ding, L., Cao, Y., Zan, C., Yates, A., & Tao, D. (2023). Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training. arXiv preprint arXiv:2306.03166.