Executive Secretary

III International Symposium on “Generation and Transfer of Knowledge for Digital Transformation "SITIC 2025"

III International Symposium on “Generation and Transfer of Knowledge for Digital Transformation

SITIC 2025

Exploring Fuzzy Transformers Fusion in the Opinion Mining
Set Favorite

Abstract

Aspect-based sentiment analysis (ABSA) is a fundamental task in opinion mining, focused on identifying sentiments expressed toward specific aspects of an entity. Automatic aspect extraction remains one of the most significant challenges in this process, particularly in the context of the Spanish language. To address this challenge, we explore a novel ensemble mechanism for Transformer models using a fuzzy logic approach. This work presents an aspect extraction method based on fusing Transformer models by applying the Weighted Ordered Weighted Averaging (WOWA) operator to aggregate model outputs, incorporating both the importance and reliability of each model in the aggregation. Traditional ensemble techniques treat model outputs equally or with fixed weights, ignoring contextual reliability or the dynamic performance variations across different scenarios. In contrast, the WOWA operator provides a more flexible and expressive aggregation by integrating both importance (weights) and ranking of the outputs. The proposed method was evaluated using the SemEval2016 review dataset, and the results demonstrate that the WOWA-based ensemble not only improves aspect extraction performance but also offers a more flexible and interpretable mechanism for combining heterogeneous Transformer outputs. Additionally, it provides a new perspective on ensemble strategies for Transformer models, bridging fuzzy logic with deep learning techniques.

Resumen

El análisis de sentimientos basado en aspectos (ABSA) es una tarea fundamental en la minería de opiniones, centrada en identificar los sentimientos expresados hacia aspectos específicos de una entidad. La extracción automática de aspectos sigue siendo uno de los desafíos más importantes dentro de este proceso, particularmente en el contexto del español. Para enfrentar este desafío se explora un novedoso mecanismo de ensamble de modelos de Transformers usando un enfoque difuso. En este trabajo se presenta un método de extracción de aspectos basado en la fusión modelos Transformer mediante la aplicación del operador WOWA (Weighted Ordered Weighted Averaging) para agregar las salidas de los modelos, incorporando la importancia y la fiabilidad de cada modelo en la agregación. Las técnicas tradicionales de ensamble tratan las salidas de los modelos de manera equitativa o con pesos fijos, ignorando la fiabilidad contextual o la dinámica de rendimiento relativo en distintos escenarios. En contraste, el operador WOWA ofrece una agregación más flexible y expresiva al integrar tanto la importancia (pesos), como el ordenamiento (ranking) de las salidas. El método propuesto fue evaluado utilizando el conjunto de datos de reseñas SemEval2016, y los resultados demuestran que el ensemble basado en WOWA no solo mejora el rendimiento en la extracción de aspectos, sino que también proporciona un mecanismo más flexible e interpretable para combinar salidas heterogéneas de los Transformers, además de aportar una nueva perspectiva sobre las estrategias de ensemble de modelos Transformers

About The Speaker

Alfredo Simón Cuevas

Dr. Alfredo Simón Cuevas

CUJAE Flag of Cuba

Discussion

Practical Info
Presentation
English (US)
October 21, 2025 11:25 AM
5 minutes
Hotel Grand Memories Cayo Santa María
Authors
Dr. Alfredo Simón Cuevas
Miguel Ángel Rivero Tapia
Keywords
análisis de sentimientos basado en aspectos; modelos transformer; métodos de ensamble; agregación difusa
aspect-based sentiment analysis; transformer models; ensemble learning
fuzzy aggregation.
Documents