19th International Symposium of Electrical Engineering "SIE 2021"

19th International Symposium of Electrical Engineering

SIE 2021

Reinforcement Learning Algorithm for Modeling Software based on Fuzzy Cognitive Maps

Abstract

Fuzzy Cognitive Maps are a powerful tool with which a complex system with undetermined dynamics can be modeled, and they also have the advantage of being interpretable. However, sometimes it becomes difficult determine precisely the relationship that occurs between the concepts that comprise a system. Previous research designed and developed a software library capable of creating such models, and fine-tuning them. To achieve a good fit of the weight matrices of a model using the available learning algorithm, it is necessary that the learning process developed from a set of specific values. In this research, a new Machine Learning algorithm was introduced to the library, which uses Reinforcement Learning, techniques. This allows an optimal adjustment of the weight matrices, even when learning is faced with low data availability and uncertainty in the initialization of the model values. The results show that a model created using the modified library reproduces well the system behavior in a wider range of situations. The model quality is directly related to the number of iterations to train it, being a larger number of iterations favorable to the quality of results. To achieve this results, simulation data from an RLC circuit was used, and some noise was introduced to the data, in order to achieve greater similarity to real process data.


Resumen

Los Mapas Cognitivos Difusos son una herramienta potente con la que se puede llegar a modelar sistemas complejos con dinámicas indeterminadas, y tienen además la ventaja de ser interpretables. Sin embargo, en ocasiones se vuelve difícil determinar con precisión las relaciones que se producen entre los conceptos de un sistema. En investigaciones previas se diseñó y desarrolló una biblioteca de software capaz de crear este tipo de modelos, y ajustarlos con buena precisión. Para lograr un buen ajuste de las matrices de pesos de un modelo utilizando el algoritmo de aprendizaje disponible es necesario que el aprendizaje se desarrolle a partir de un conjunto de valores específicos. En esta investigación se introdujo un nuevo algoritmo de Aprendizaje Automático a la biblioteca, que emplea técnicas de Aprendizaje Reforzado. Esto permite un ajuste óptimo de las matrices de pesos, aún al enfrentarse el aprendizaje a baja disponibilidad de datos e incertidumbre en la inicialización de los valores del modelo. Los resultados reflejan que un modelo que se obtiene empleando la biblioteca con las modificaciones se ajusta correctamente al comportamiento del sistema que emula en un mayor número de situaciones. La calidad del modelo se relaciona directamente con las iteraciones que se realicen para entrenarlo, siendo favorable un aumento de las mismas. Para la obtención de los resultados se emplearon datos de simulación de un circuito RLC a los cuales se le introdujo ruido para lograr una mayor semejanza a datos de procesos reales.

About The Speaker

Ariel Barreiros Albo

Ing. Ariel Barreiros Albo

UCLV Flag of Cuba


Practical Info
Presentation
Spanish / Español
November 26, 2021 2:0 PM
15 minutes
Sala 2
Authors
Ing. Ariel Barreiros Albo
Dr. Iván Santana Ching
MsC. Richar Sosa López
Keywords
aprendizaje automático
aprendizaje reforzado
fuzzy cognitive maps
machine learning
mapas cognitivos difusos
reinforcement learning
Documents