2nd International Symposium on "Generation and Transfer of Knowledge for Digital Transformation"

SITIC2023

Artificial intelligence-based multichannel virtual agent for East Central University

Abstract

To enhance the user experience in interacting with a chatbot, it is crucial to consider not only efficiency and effectiveness but also emotional aspects in interaction design. In this regard, recent studies have focused on pragmatic quality, hedonic quality, human-likeness, and social presence to achieve a positive impact on the experience. This user experience perspective has allowed for variations in chatbot-user interaction mechanisms while measuring their impact. In this context, the Central Eastern University conducted a research project that integrates a chatbot with artificial intelligence technology, aiming to enhance the user experience in the university environment. The implemented system underwent evaluation through an experimental design, considering the perceptions of 30 users after interacting with two types of chatbots: one button-based and another based on free-text input supported by AI. The results obtained using the Wilcoxon signed-rank test revealed no significant differences between the two chatbots in terms of pragmatic quality. However, concerning hedonic quality, human-likeness, and social presence, a significant improvement was observed when the proposed implementation was used as part of the project.

Resumen

Para mejorar la experiencia del usuario en la interacción con un chatbot, es crucial considerar no solo la eficiencia y la eficacia, sino también aspectos emocionales en el diseño de la interacción. En este sentido, recientes estudios se han enfocado en la calidad pragmática, hedónica, semejanza humana y presencia social para lograr un impacto positivo en la experiencia. Esta visión de la experiencia del usuario ha permitido variar los mecanismos de interacción del chatbot con el usuario mientras que se mide su impacto. En este contexto, la Universidad Central del Este llevó a cabo un proyecto de investigación que integra un chatbot con tecnología de inteligencia artificial, con el objetivo de mejorar la experiencia del usuario en el entorno universitario. El sistema implementado fue sometido a una evaluación a través de un diseño experimental en el que se consideró la percepción de 30 usuarios después de interactuar con dos tipos de chatbots: uno basado en botones y otro basado en texto libre y respaldado por IA. Los resultados obtenidos mediante la prueba de signo de Wilcoxon revelaron que no se observaron diferencias significativas entre los dos chatbots en términos de calidad pragmática. Sin embargo, en lo que respecta a la calidad hedónica, la semejanza humana y la presencia social, se evidenció una mejora significativa cuando se utilizó la propuesta implementada como parte del proyecto.