Uploads from ‍김성범[ 교수 / 산업경영공학부 ]

Currently Playing: [Open DMQA Seminar] Cooperative Multi Agent Reinforcement Learning

다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)은 여러 에이전트가 협력하여 목표를 달성하는 복잡한 문제를 다룬다. 이 분야에는 다양한 도전 과제가 있지만, 이번 세미나에서는 특히 Credit Assignment 문제를 해결하는 방법론에 초점을 맞추고자 한다. Credit Assignment 문제는 공동 보상이 주어졌을 때 각 에이전트의 기여도를 정확하게 평가하는 문제로, 이를 해결하지 않으면 에이전트 간의 협력이 비효율적으로 이루어질 수 있다. 이러한 문제를 해결하기 위한 다양한 기법들이 존재하지만, 이번 세미나에서는 Value Decomposition을 통한 해결 방법에 대해 설명할 예정이다. 구체적으로는 VDN, QMIX, QTRAN이라는 세 가지 주요 알고리즘을 다루며, 각각이 Credit Assignment 문제를 어떻게 해결하는지를 탐구한다. 또한, QTRAN 이후의 발전된 연구들에 대해서도 향후 소개할 계획이다. 참고문헌 : [1] Sunehag, P., Lever, G., Gruslys, A., Czarnecki, W. M., Zambaldi, V., Jaderberg, M., ... & Graepel, T. (2018, July). Value-Decomposition Networks For Cooperative Multi-Agent Learning Based On Team Reward. In Proceedings of the 17th International Conference on Autonomous Agents and MultiAgent Systems (pp. 2085-2087). [2] Rashid, T., Samvelyan, M., Schroeder, C., Farquhar, G., Foerster, J., & Whiteson, S. (2018, July). QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning. In International Conference on Machine Learning (pp. 4295-4304). PMLR. [3] Son, K., Kim, D., Kang, W. J., Hostallero, D. E., & Yi, Y. (2019, May). Qtran: Learning to factorize with transformation for cooperative multi-agent reinforcement learning. In International conference on machine learning (pp. 5887-5896). PMLR. [4] Gronauer, S., & Diepold, K. (2022). Multi-agent deep reinforcement learning: a survey. Artificial Intelligence Review, 55(2), 895-943.