Boosting for ranking data: an extension to item weighting

Decision tree learning is one of the most popular families of machine learning algorithms. These techniques are quite intuitive and interpretable but also unstable. It is necessary to use ensemble methods that combine the output of multiple trees, to make the procedure more reliable and stable. Many approaches have been proposed for ranking data, but they are not sensitive to the importance of items. For example, changing the rank of a highly-relevant element should result in a higher penalty than changing a negligible one. Likewise, swapping two similar elements should be less penalized than swapping two dissimilar ones. This paper extends the boosting ensemble method to weighted ranking data, proposing a theoretical and computational definition of item-weighted boosting. The advantages of this procedure are shown through an example on a real data set.

Gli alberi decisionali sono una tecnica predittiva di machine learning particolarmente diffusa, utilizzata per prevedere delle variabili discrete (classificazione) o continue (regressione). Gli algoritmi alla base di queste tecniche sono intuitivi e interpretabili, ma anche instabili. Infatti, per rendere la classificazione più affidabile si `e soliti combinare l’output di più alberi. In letteratura, sono stati proposti diversi approcci per classificare ranking data attraverso gli alberi decisionali, ma nessuno di questi tiene conto ne dell’importanza, ne delle somiglianza dei singoli elementi di ogni ranking. L’obiettivo di questo articolo `e di proporre un’estensione ponderata del metodo boosting per ranking, che tenga conto della struttura di similarità e dell’importanza dei singoli elementi. I vantaggi di questa procedura sono mostrati con un esempio su un dataset reale.