Conception et évaluation de techniques d'interaction non visuelle optimisées pour de la transmission d'information

    Appert, Damien (2016)
Thèse de doctorat
    Type de document
    Thèse de doctorat
    Diffusion
    Accès libre
    Titre
    Conception et évaluation de techniques d'interaction non visuelle optimisées pour de la transmission d'information
    Auteur
    Appert, Damien
    Directeur de thèse
    Dubois, Emmanuel
    Jouffrais, Christophe
    Date de soutenance
    2016-05-27
    Établissement de soutenance
    Université de Toulouse
    Université Toulouse III - Paul Sabatier
    École doctorale
    Mathématiques, informatique, télécommunications de Toulouse (MITT)
    Structure de recherche
    Institut de Recherche en Informatique de Toulouse (IRIT), UMR 5505
    Discipline
    Image, Information, Hypermédia
    Sujet
    Informatique
    Mots-clés en français
    Interaction non-visuelle
    Multimodalité
    Estimation de valeurs
    Technique d'interaction active
    Technique d'interaction avec références
    Technique d'assistance
    Résumé en français
    Dans des situations où la perception visuelle est fortement contrainte ou déficiente, il est nécessaire de rendre perceptible l'information dans une modalité non visuelle, tout en prenant en compte des capacités sensorielles et mnésiques humaines. Par exemple, un non-voyant, souhaitant prendre connaissance d'un itinéraire, devra le parcourir de façon non visuelle et le mémoriser. Cependant, outre l'aspect matériel, la mise en œuvre de solutions alternatives (non visuelles) demeure confrontée aux capacités cognitives de l'utilisateur (compréhension, mémorisation, intégration de plusieurs informations, etc.). L'objet de cette thèse est de contribuer à la conception de techniques d'interactions permettant d'optimiser la transmission non visuelle d'informations. A ces fins, j'ai exploré l'apport de la multimodalité comme moyen d'optimisation permettant d'outrepasser les limites de la mémorisation. Je me suis concentré sur l'étude des techniques d'interaction basées sur les modalités auditives et tactiles, en limitant au maximum l'utilisation de la parole, afin de concevoir des techniques pour des environnements différents (flexibilité), d'optimiser l'utilisation de canaux perceptifs (exploitation des propriétés du son dans des messages audio pour transmettre plus d'informations, par exemple), d'éviter de limiter mes techniques par la barrière de la langue ou de sa compréhension et enfin, pour explorer d'autres solutions que la synthèse vocale seule. Les travaux de ma thèse ont mené à la conception, à l'implémentation et à l'évaluation de techniques d'interaction multimodale non visuelle, en réponse à différents contextes, dont, en particulier, ceux de la transmission d'informations de type <valeur>, <position> (couple de coordonnées) et <itinéraire> (séquence de couples direction-distance). Pour parvenir à concevoir mes interactions, j'ai, tout d'abord, effectué une revue de la littérature, afin d'en extraire les principaux facteurs de conception de techniques d'interaction dédiées à la transmission non visuelle d'information. Puis, j'ai organisé ces facteurs sous la forme d'un cadre d'analyse, sur lequel je me suis appuyé pour concevoir chacune de mes techniques. Trois expériences distinctes ont permis d'évaluer l'influence de facteurs de conception sur l'efficacité des interactions et la satisfaction des utilisateurs vis-à-vis des techniques. Je peux, notamment, citer l'implication des utilisateurs (actif ou passif), la présence d'aides explicites", la transmission de plusieurs informations en parallèle et la modalité principale utilisée et, le type de codage dans lequel est encodée l'information. Concrètement, en m'appuyant sur cette première contribution théorique, j'ai conçu et évalué dix-neuf techniques d'interaction non visuelle dans une tâche d'estimation de valeur entre 1 et 100. Les résultats de cette première étude ont démontré l'influence bénéfique de deux facteurs de conception ("active/passive" ; "AvecRéférences/SansRéférence") sur la précision de l'estimation et la satisfaction des utilisateurs. J'ai aussi mis en évidence l'équivalence des modalités auditives et tactiles. Dans un deuxième temps, je me suis confronté au problème spécifique de la mémorisation d'itinéraires comportant plus d'informations que le nombre "magique" de 7±2 mnèmes (Miller, 56). Les résultats de cette deuxième étude ont montré les limites de l'utilisation de la parole, mais aussi les avantages liés à des interactions multimodales synergiques (parallèles et complémentaires). Enfin, j'ai conçu et évalué, dans une troisième étude, quatre techniques basées sur la modalité vibrotactile, facilitant la localisation d'une petite cible dans un grand espace. La meilleure de ces quatre techniques a été adaptée et testée dans un cas d'assistance à la recherche de cibles pour des personnes déficientes visuelles et a permis de diminuer la durée de la recherche visuelle d'un facteur trois. Toutes ces techniques pourraient assister des utilisateurs voyants ou non.
    Résumé en anglais
    In situations where the visual perception is strongly constraint or deficient, it is necessary to make perceptible the information with a "not visual form" while taking into account human sensory and mnesic capacities. For example, a blind person wishing to acquaint an itinerary must read it under a non visual form and memorize it. However, besides the material aspect, the implementation of alternatives (non-visual) still faces to the cognitive abilities of the user (comprehension, memorization, integration of various information, etc.). The purpose of this thesis is to contribute to the design of interaction techniques allowing to optimize the transmission not visual of the information. For these purposes, I explored the feature of multimodality as a means of optimization, allowing of exceeding the memorization limits. I focused on the study of interaction techniques based on auditory and tactile modalities and by minimizing the use of the speech, in order to develop techniques for different environments (flexibility), optimize the use of perceptual channels (operating the properties of sound in audio messages to transmit more information, for example), avoid limiting my techniques by the language barrier or understanding and finally, to explore alternatives to the synthesised voice alone. The works of my thesis led to the design, to the implementation and to the evaluation of interaction techniques "non-visual" and "multiform", in answer to different contexts, whom in particular those of the information transmission of type <value>, <position> (pair of coordinates) and <itinerary> (sequence of couples direction-distance). To achieve design my interactions, I have made a review of literature in order to extract the main factors of design of interaction techniques dedicated to the transmission not visual of the information. Then, I have organized these factors in an analytical framework on which I have relied to design each of my techniques. Three separate experiments were led to evaluate the influence of design factors on the effectiveness of interactions and satisfaction towards users of technology. I can give some of them, the involvement of users (active or passive), the presence of explicit help, the transmission of several information in parallel, the main modality used and the type of coding in which is encoded the information. Concretely, lean on the first theoretical contribution, I have designed and evaluated nineteen interaction techniques non-visual in a value estimation task from 1 to 100. The results of this first study demonstrated the beneficial influence of two design factors ("active / passive" "WithReference / WithoutReference") on the accuracy of the estimate and user satisfaction. I also demonstrated the equivalence of auditory and tactile modalities. Secondly, I am faced with the specific problem of memorizing itineraries with more information than the "magic" number 7±2 chuck (Miller, 56). The results of this second study have shown the limits of the use of the speech, but also the benefits of synergistic multimodal interactions (parallel and complementary). Finally, I have designed and evaluated in a third study four techniques based on vibrotactile modality, facilitating the localization of a small target in a large space. The best of these four techniques had been adapted and tested in a case of assistance in targets search for the visually impaired and has reduced the duration of visual search by factor of three. All these techniques could assist blind users or sighted users.
    Numéro national de thèse
    2016TOU30095
    Date de publication
    2017-01-13T12:54:11

Citation bibliographique

Appert, Damien (2016), Conception et évaluation de techniques d'interaction non visuelle optimisées pour de la transmission d'information [Thèse de doctorat]