Treffer: A Study of Reinforcement Learning in Multi-Agent Systems

Reinforcement learning has recently gained popularity due to its many successfulapplications in various fields. In this project reinforcement learning is imple- mented in a simple warehouse situation where robots have to learn to interact with each other while performing specific tasks. The aim is to study whether reinforcement learning can be used to train multiple agents. Two different meth- ods have been used to achieve this aim, Q-learning and deep Q-learning. Due to practical constraints, this paper cannot provide a comprehensive review of real life robot interactions. Both methods are tested on single-agent and multi-agent models in Python computer simulations. The results show that the deep Q-learning model performed better in the multi- agent simulations than the Q-learning model and it was proven that agents can learn to perform their tasks to some degree. Although, the outcome of this project cannot yet be considered sufficient for moving the simulation into real- life, it was concluded that reinforcement learning and deep learning methods can be seen as suitable for modelling warehouse robots and their interactions.
Reinforcement learning har nyligen ökat i popularitet till följd av många framgångsrika tillämpningar inom olika områden. I detta projekt implementeras reinforcement learning i ett förenklat simulerat varulager där robotar lär sig att interagera med varandra samtidigt som de utför specifika uppgifter. Syftet är att undersöka om reinforcement learning kan användas till att träna flera agen- ter samtidigt. Två olika metoder användes för att uppnå detta, Q-learning och deep Q-learning. På grund av praktiskt begränsningar kan inte denna studie ge en heltäckande redogörelse över robotinteraktioner i verkligheten. De båda metoderna testas på modeller med en och flera agenter genom datorsimuleringar i Python. Resultaten visar att deep Q-learning modellen presterar bättre i simuleringar med flera agenter än Q-learning modellen och att agenterna kan lära sig att utföra sina uppgifter till viss grad. Trots att resultaten inte anses tillräckliga för att ta simuleringarna vidare till verkligheten så är slutsatsen att metoder med reinforcement learning och djupinlärning kan anses vara lämpliga för att modeller robotar i varulager och dess interaktioner.