Treffer: Formación de patrones por movimiento autónomo a través de algoritmos de Deep QLearning

Este proyecto de grado se ocupa del problema de navegacion autónoma en 3D por medio de aprendizaje por refuerzo profundo (DRL por sus siglas en ingles), empleando específicamente el algoritmo de DQN(Deep QLearning)[1], para cinco drones simulados en un ambiente parcialmente observable por medio de sensores ultrasonicos. En este proyecto se implementó una estructura básica de enjambre[2] evaluando la capacidad de aprendizaje de un solo dron en un mapa con obstaculos dinámicos. Es decir, se implementó una estructura vainilla de aprendizaje por refuerzo para un unico agente, la cual se replicó para cinco drones a través de un control centralizado. El ambiente de aprendizaje fue realizado en el simluador Coppeliasim[3], el cual fue conectado por medio de la API (interfaz de programacion de aplicaciones) remota de Python con la librería Stable.Baselines3[4], la cual ofrece una implementacion de código abierto para el algoritmo DQN. Se entrenó dos modelos de agentes, uno para un ambiente con ´ obstaculos estáticos y otro para obstáculos dinámicos, sobre ´ los cuales se les hizo distintas pruebas para llegar a distintos objetivos desde varios puntos iniciales. Se obtuvieron resultados positivos con distintos porcentajes de exitos tanto en la ´ operacion de un solo dron, tanto como para la formación de cinco patrones distintos en el modelo dinamico empleando cinco drones. Demostracion de los resultados puede verse en este enlace https://youtu.be/hzlIE LR3Fk ; This degree project deals with the problem of autonomous navigation in 3D through deep reinforcement learning (DRL), specifically using the DQN (Deep QLearning) algorithm[1], for five simulated drones in an partially observable environment by means of ultrasonic sensors. In this project, a basic swarm structure[2] was implemented by evaluating the learning capacity of a single drone on a map with dynamic obstacles. That is, a vanilla reinforcement learning structure was implemented for a single agent, which was replicated for five drones through centralized ...