Treffer: Analysis of Satellite Images Using Deep Learning Techniques and Remotely Piloted Aircraft for a Detailed Description of Tertiary Roads

This document presents the results of a proof of concept for describing with more detail the social and complementary infrastructure around the tertiary roads of the Taminango region in the department of Nariño, Colombia. A dataset with samples of free satellite images from Google Maps and OpenStreetMaps was obtained. Then, a supervised deep learning algorithm with FCN (Fully Convolutional Network) topology is applied for the points of interest labeling process and the identification of the state of the roads using Keras and TensorFlow. Subsequently, a system consisting of a desktop application and a mobile application that integrates the functionalities of the trained algorithm through an intuitive interface and simple logic that stimulates interaction with the consultant is proposed. The desktop application includes a GUI designed in Python for tagging points of interest. The mobile application was developed with Flutter and comprises a database with documentation of the routes and road network in the region. It includes an augmented reality system in Vuforia Engine and Unity with virtual content developed in Blender and SolidWorks; A 3D model of the map of the region has been recreated for easier interaction and visualization of the points of interest and the status of the studied roads. In addition, complementary information was collected through remotely piloted aircraft for data acquisition in environments difficult to access, and through the community participation for the description and identification of areas not visible on official maps or statistics. This study addresses a method for the classification and identification of state of tertiary road network of the studied region, as well as labeling points of interest for the efficient management of resources for the development of new infrastructure there.
Este documento presenta los resultados de una prueba de concepto para la descripción con mayor detalle de la infraestructura social y complementaria alrededor de las vías terciarias de la región de Taminango, en el departamento de Nariño. Inicialmente, se obtuvo un conjunto de datos con muestras de imágenes satelitales de información libre de Google Maps y OpenStreetMaps. Seguidamente, se aplicaron algoritmos de aprendizaje profundo supervisado con topología de red FCN (Fully Convolutional Network) para el proceso de etiquetado de los puntos de interés y la identificación del estado de las vías mediante el uso de Keras y TensorFlow. Posteriormente, se propone un sistema compuesto por una aplicación de escritorio y una aplicación móvil que integre las funcionalidades del algoritmo entrenado a través de una interfaz intuitiva y de lógica simple que estimule la interacción con el consultor. La aplicación de escritorio contempla una GUI diseñada en Python para el etiquetado de puntos de interés. Por su parte, la aplicación móvil fue desarrollada con Flutter y comprende una base de datos con documentación de las rutas y red vial de la región. Incluye un sistema de realidad aumentada en Vuforia Engine y Unity con contenido virtual desarrollado en Blender y SolidWorks; se ha recreado un modelo 3D del mapa de la región para la interacción y visualización con mayor facilidad de los puntos de interés y el estado de las vías de estudio. Además, se recolectó información complementaria a través de aeronaves remotamente pilotadas, para la adquisición de datos en entornos de difícil acceso, y de la participación comunitaria para la descripción e identificación de áreas no visibles en mapas oficiales o estadísticas. En este estudio se aborda un método para la clasificación e identificación del estado de la red vial terciaria de la región, así como también se presenta el etiquetado de puntos de interés para el manejo eficiente de los recursos destinados al desarrollo de nueva infrae