Designing Touchless Gestural Interfaces for Public Displays

In the last decade, many authors have investigated and studied touchless and gestural interactions as a novel tool for interacting with computers. Moreover, technological innovations have allowed for installations of interactive displays in private and public places. However, interactivity is usually implemented by touchscreens, whereas technologies able to recognize body gestures are more rarely adopted, especially in integration with commercial public displays. Nowadays, the opportunity to investigate touchless interfaces for such systems has become concrete and studied by many researchers. Indeed, this interaction modality offers the possibility to overcome several issues that cannot be solved by touch-based solutions, e.g. keeping a high hygiene level of the screen surface, as well as providing big displays with interactive capabilities. The main goal of this thesis is to describe the design process for implementing touchless gestural interfaces for public displays. This implies the need for overcoming several typical issues of both public displays (e.g. interaction blindness, immediate usability) and touchless interfaces (e.g. communicating touchless interactivity). To this end, a novel Avatar-based Touchless Gestural Interface (or ABaToGI) has been developed, and its design process is described in the thesis, along with the user studies conducted for its evaluation. Moreover, the thesis analyzes how the presence of the Avatar may affect user interactions in terms of perceived cognitive workload, and if it may be able to foster bimanual interactions. Then, as ABaToGI was designed for public displays, it has been installed in an actual deployment in order to be evaluated in-the-wild (i.e. not in a lab setting). The resulting outcomes, along with the previously described studies, have been used to introduce a set of design guidelines for developing future touchless gestural interfaces, with a particular focus on Avatar-based ones. The results of this thesis provide also a basis for future research, which concludes this work.

Nell’ultimo decennio, molti autori hanno studiato la possibilità di utilizzare le interfacce a gesti come strumento innovativo per supportare l’interazione con i computer. Inoltre, le recenti innovazioni tecnologiche hanno permesso di installare display interattivi in ambienti privati e pubblici. Tuttavia, l’interattività di tali display è spesso basata sull’uso di touchscreen, mentre tecnologie come i dispositivi Kinect-like vengono adottate molto più raramente, soprattutto se si considera l’ambito dei display pubblici. Al giorno d’oggi, l’opportunità di studiare le interfacce touchless per i display pubblici è diventata concreta, e rappresenta il campo di studio di diversi ricercatori. L’obiettivo principale di questa tesi è quello di descrivere e studiare i problemi legati alla progettazione e all’implementazione di un’interfaccia grafica dedicata all’interazione touchless a gesti con display pubblici. Ciò implica la necessità di superare alcuni problemi tipici, sia dei display pubblici (ad esempio, l’interaction blindness e l’usabilità immediata), che delle interfacce touchless (per esempio, comunicare che l’interattività è gestuale). La tesi, inoltre, include uno studio che analizza quanto la presenza dell’Avatar possa influire sulle interazioni degli utenti, in termini di carico di lavoro percepito, e quanto essa sia in grado di incoraggiare le interazioni a due mani. Poiché ABaToGI è stata progettata per i display pubblici, l’interfaccia è stata anche inclusa in un’installazione pubblica per essere valutata sul campo. I risultati di questo studio (e di quelli precedenti) sono stati quindi riassunti al fine di sviluppare una serie di linee guida per lo sviluppo di nuove interfacce touchless a gesti basata sull’uso di un Avatar. La tesi si conclude con alcuni spunti di ricerca per il futuro.