Treffer: A Lifetime Extended Energy Management Strategy for Fuel Cell Hybrid Electric Vehicles via Self-Learning Fuzzy Reinforcement Learning

Modeling difficulty, time-varying model, and uncertain external inputs are the main challenges for energy management of fuel cell hybrid electric vehicles. In the paper, a fuzzy reinforcement learning-based energy management strategy for fuel cell hybrid electric vehicles is proposed to reduce fuel consumption, maintain the batteries' long-term operation, and extend the lifetime of the fuel cells system. Fuzzy Q-learning is a model-free reinforcement learning that can learn itself by interacting with the environment, so there is no need for modeling the fuel cells system. In addition, frequent startup of the fuel cells will reduce the remaining useful life of the fuel cells system. The proposed method suppresses frequent fuel cells startup by considering the penalty for the times of fuel cell startups in the reward of reinforcement learning. Moreover, applying fuzzy logic to approximate the value function in Q-Learning can solve continuous state and action space problems. Finally, a python-based training and testing platform verify the effectiveness and self-learning improvement of the proposed method under conditions of initial state change, model change and driving condition change.
La difficulté de modélisation, le modèle variant dans le temps et les entrées externes incertaines sont les principaux défis pour la gestion de l'énergie des véhicules électriques hybrides à pile à combustible. Dans l'article, une stratégie de gestion de l'énergie basée sur l'apprentissage par renforcement flou pour les véhicules électriques hybrides à pile à combustible est proposée pour réduire la consommation de carburant, maintenir le fonctionnement à long terme des batteries et prolonger la durée de vie du système de piles à combustible. Le Fuzzy Q-learning est un apprentissage par renforcement sans modèle qui peut s'apprendre en interagissant avec l'environnement, il n'est donc pas nécessaire de modéliser le système de piles à combustible. De plus, un démarrage fréquent des piles à combustible réduira la durée de vie utile restante du système de piles à combustible. La méthode proposée supprime le démarrage fréquent des piles à combustible en considérant la pénalité pour les temps de démarrage des piles à combustible dans la récompense de l'apprentissage par renforcement. De plus, l'application de la logique floue pour approximer la fonction de valeur dans Q-Learning peut résoudre des problèmes d'état continu et d'espace d'action. Enfin, une plateforme de formation et de test basée sur Python vérifie l'efficacité et l'amélioration de l'auto-apprentissage de la méthode proposée dans des conditions de changement d'état initial, de changement de modèle et de changement de condition de conduite.