Executive Secretary

III International Symposium on “Generation and Transfer of Knowledge for Digital Transformation "SITIC 2025"

III International Symposium on “Generation and Transfer of Knowledge for Digital Transformation

SITIC 2025

Meta-learning for performance prediction of machine learning models
Set Favorite

Abstract

The goal of automated machine learning is to search for a suitable machine learning model given a problem specified by data. In this work we are interested in the domain of complex supervised machine learning models. Since the performance evaluation of complex models is time consuming, several performance prediction approaches have been proposed. The objective of this work is utilizing the meta-learning approach – we make use of the previous experience with models’ performance on benchmark tasks in order to estimate the performance on a previously unseen dataset. We extract features describing the structure of the models, as well as meta-data features describing the datasets. The information about the model and task are aggregated and used to train a regression model serving as a performance predictor. The advantage of this approach is that the model performance is estimated without training, using just feature extraction and regressor inference. The approach is successfully tested on a large collection of models and their performance information from the OpenML repository, and the results are reported in the paper. Several alternatives for feature extraction and regression procedures are also compared.

Resumen

El objetivo del aprendizaje de máquina (machine learning - ML) automatizado es encontrar un modelo de ML adecuado para un problema especificado por datos. En este trabajo, nos interesa el dominio de los modelos complejos de ML supervisado. Dado que la evaluación del rendimiento de modelos complejos requiere mucho tiempo de cómputo, se han propuesto diversos enfoques de predicción del rendimiento. Así pues, el objetivo de este trabajo es utilizar el enfoque de meta-aprendizaje (meta-learning) para aprovechar la experiencia previa junto con el rendimiento de ciertos modelos en problemas de repositorio para estimar el rendimiento en un conjunto de datos no analizado previamente. Se extraen características que describen la estructura de los modelos así como características de metadatos que describen los conjuntos de datos. La información sobre el modelo y el problema se agregan y se utilizan para entrenar un modelo de regresión como predictor del rendimiento. La ventaja de este enfoque es que el rendimiento del modelo se estima sin entrenamiento, utilizando únicamente la extracción de características y la inferencia de regresores. El enfoque se ha probado con éxito en una amplia gama de modelos usando la información de rendimiento del repositorio OpenML, cuyos resultados se presentan en este trabajo. También se comparan varias alternativas para los procedimientos de extracción de características y regresión.

About The Speaker

Roman Neruda

Dr. Roman Neruda

Institute of Computer Science, Czech Academy of Sciences Flag of Czech Republic

Discussion

Practical Info
Presentation
English (US)
October 21, 2025 11:20 AM
5 minutes
Hotel Grand Memories Cayo Santa María
Authors
Dr. Roman Neruda
Juan Carlos Figueroa-Garcia
Carlos Alberto Franco Franco
Keywords
aprendizaje automático
auto-ml
machine learning
meta-aprendizaje
meta-learning
performance prediction
predicción del rendimiento
Documents