Sintonia QR do Regulador Linear Quadrático LQR Discreto e Programação Dinâmica Aproximada baseada em Ação-Estado para Aplicações Online do Projeto de Sistemas de Controle Ótimo

Authors

DOI:

https://doi.org/10.5540/tcam.2024.025.e01686

Keywords:

Programação Dinâmica, Controle Ótimo, HDP, Q-Function, ADHDP, Sistemas Multivariáveis, Convergência, DLQR.

Abstract

Due to increasing technological development and the consequent industrial applications, new methods for control design and Reinforcement Learning have been developed, not only to solve new control problems, but also to improve the performance of controllers already implemented in real-world systems. Reinforcement Learning and Discrete Linear Quadratic Regulator approaches are connected by Adaptive Dynamic Programming methods. These paradigms are oriented towards the design of optimal controllers in multivariable systems. For the case of the Discrete Linear Quadratic Regulator, AD-HDP, Reinforcement Learning, Iteration Policy and  Iteration Value, a method and an algorithm are developed and implemented for online control design. Based on the selection of the Q
and R weighting matrices , a method to tune Discrete Linear Quadratic Regulator controllers is also presented, this method provides  guidelines for constructing heuristics for the selection of weighting matrices, aspects of convergence related to the weighting matrices variations are investigated. For a third-order multivariable dynamic system, the proposed algorithm and tuning heuristics are evaluated by the ability to establish the optimal control policy.

Author Biographies

M. Cerqueira, Universidade Federal do Maranhão

Possui graduação em Engenharia Elétrica pela Universidade Federal do Maranhão (2007) e mestrado em Engenharia de Eletricidade pela Universidade Federal do Maranhão (2010). Possui ainda especialidade em Engenharia de Segurança do trabalho pela universidade UNYLEYA de Brasília. Atualmente atua como professor na Universidade Federal do Maranhão - UFMA no curso de Engenharia de Computação. Encontra-se em doutoramento em Engenharia de Automação e Controle pela UFMA. Tem experiência na área de Engenharia Elétrica, com ênfase em Eletrônica Industrial, atuando principalmente nos seguintes temas: sensores, controlador lógico programável, automação industrial, PID e atuou na área da VALE no setor de expansão em redes de alta e baixa tensão.

L. Lopes, Universidade Federal do Maranhão

Possui  graduação em Engenharia Elétrica pela Universidade  Federal do  Maranhão (2008) e mestrado em Engenharia de Eletricidade pela Universidade federal do Maranhão (2011). Possui ainda especialidade em Engenharia Ferroviária em projeto de parceria VALE e UNDB (2011). Profissional com 12 anos de experiência na área de Manutenção Ferroviária. Habilidade com análise de dados e técnicas preditivas com base em estudos de confiabilidade. Atuou por 8 anos (2011 a 2019) na área de Manutenção Eletroeletrônica da Estrada de Ferro Carajás – EFC como Engenheiro de confiabilidade do sistema de Automação. Atualmente exerce a função de Engenheiro na Coordenação de Preditiva de Rodantes e Industrial tendo como desafio garantir os índices de confiabilidade, utilizando-se de dados de instrumentação de campo, para análises Vida Útil Remanenscente (Remaning Useful Life - RUL), elaboração de regras de negócio e alavancas de preditiva por meio de dados provindo de sensores.

J. V. Fonseca, Universidade Federal do Maranhão

É Professor titular da Universidade Federal do Maranhão. Possui graduação em Engenharia Elétrica pela Universidade Federal da Paraíba (1982), mestrado em Engenharia Elétrica pela Universidade Federal da Paraíba (1986), e doutorado em Engenharia Elétrica pela Universidade Estadual de Campinas (2000). Desenvolveu projetos de P&D em Modelagem e Controle para Indústria de Alumínio do Maranhão, Sistemas Inteligentes para Tomada de Decisão para Descarga e Estocagem de Minérios e para Sistemas de Distribuição de Energia Elétrica. Atualmente, desenvolve pesquisa em Inteligência Computacional com enfoque na fusão das abordagens de redes neuronais artifciais, computação evolutiva, lógica fuzzy para identicação e controle de sistemas dinâmicos do mundo real. A sua pesquisa está direcionada em sintonia online e seleção de controladores ótimos para sistemas MIMO. Também desenvolve métodos bayesianos para o treinamento da Recorrência de Riccati em Filtros Estocásticos dos tipos Kalman Padrão, EKF e Unscented. Tem experiência na área de Engenharia Elétrica, com ênfase em Controle de Processos Eletrônicos e Retroalimentação, atuando principalmente nos seguintes temas: modelos baseados em inteligência artificial para sistemas industriais, algoritmos genéticos, sintonia de controladores PID, medição indireta via Filtragem de Kalman, solução neuronal da equação algébrica de Riccati, recuperação inteligente da malha de controle LQR e Programação Dinâmica Aproximada para desenvolvimento de sistemas embarcados que realizam controle ótimo e robusto.

Downloads

Published

2024-11-27

How to Cite

Cerqueira, M., Lopes, L., & Fonseca, J. V. (2024). Sintonia QR do Regulador Linear Quadrático LQR Discreto e Programação Dinâmica Aproximada baseada em Ação-Estado para Aplicações Online do Projeto de Sistemas de Controle Ótimo. Trends in Computational and Applied Mathematics, 25(1), e01686. https://doi.org/10.5540/tcam.2024.025.e01686

Issue

Vol. 25 No. 1 (2024)

Section

Original Article

License

Copyright (c) 2024 Trends in Computational and Applied Mathematics

Creative Commons License

This work is licensed under a Creative Commons Attribution-NoDerivatives 4.0 International License.

Copyright

Authors of articles published in the journal Trends in Computational and Applied Mathematics retain the copyright of their work. The journal uses Creative Commons Attribution (CC-BY) in published articles. The authors grant the TCAM journal the right to first publish the article.

Intellectual Property and Terms of Use

The content of the articles is the exclusive responsibility of the authors. The journal uses Creative Commons Attribution (CC-BY) in published articles. This license allows published articles to be reused without permission for any purpose as long as the original work is correctly cited.

The journal encourages Authors to self-archive their accepted manuscripts, publishing them on personal blogs, institutional repositories, and social media, as long as the full citation is included in the journal's website version.