Type de document

Thèse de doctorat

Diffusion

Accès libre

Titre

Le référencement en langue des signes : analyse et reconnaissance du pointé

Auteur

Ben Mlouka, Monia

Directeur de thèse

Dalle, Patrice

Daydé, Michel

Date de soutenance

2014-11-27

Établissement de soutenance

Université de Toulouse

Université Toulouse III - Paul Sabatier

École doctorale

Mathématiques, informatique, télécommunications de Toulouse (MITT)

Structure de recherche

Institut de Recherche en Informatique de Toulouse (IRIT), UMR 5505

Discipline

Image, Information, Hypermédia

Sujet

Généralites en Sciences

Mots-clés en français

Corpus en langue des signes

Marquage spatial

Modélisation gestuelle

Segmentation d'images

Apprentissage automatique

Reconnaissance

Résumé en français

Cette thèse porte sur le rôle et l'analyse du regard en langue des signes où celui-ci joue un rôle important. Dans toute langue, le regard permet de maintenir la relation de communication. En langue des signes, il permet, en plus, de structurer le discours ou l'interaction entre locuteurs, en s'investissant dans des fonctions linguistiques complexes. Nous nous intéressons au rôle de référencement qui consiste à mettre le focus sur un élément du discours. En langue des signes, les éléments du discours sont spatialisés dans l'espace de signation ; ainsi, mettre le focus sur un élément du discours revient à identifier et activer son emplacement spatial (locus), ce qui va mobiliser un ou plusieurs composants corporels, les mains, les épaules, la tête et le regard. Nous avons donc analysé le concept de référencement sous ses formes manuelles et / ou non manuelles et avons mis en place un système de reconnaissance de structures de référencement qui prend en entrée une vidéo en langue des signes. Le système de reconnaissance consiste en trois étapes: 1) la modélisation 3D du concept de référencement, 2) la transformation du modèle 3D en un modèle d'aspect exploitable par un programme de traitement 2D et 3) la détection, qui utilise ce modèle d'aspect. La modélisation consiste en l'extraction de caractéristiques gestuelles du concept de référencement à partir de corpus composés de capture 3D de mouvement et du regard et annotés manuellement à partir de vidéos. La modélisation concerne la description des composantes corporelles qui jouent un rôle dans le référencement et la quantification de quelques propriétés gestuelles des composantes corporelles en question. Les modèles obtenus décrivent : 1) La dynamique du mouvement de la main dominante et 2) la proximité spatiale entre des composantes corporelles et l'élément discursif spatialisé. La mise en œuvre de la méthode de reconnaissance intègre ces modèles 3D de profil dynamique de la main et de variation de distance entre composantes corporelles et l'élément discursif ainsi que le modèle temporel de décalages entre mouvements. Etant donné que les modèles obtenus sont tridimensionnels et que l'entrée du système de reconnaissance de structures de référencement est une vidéo 2D, nous proposons une transformation des modèles 3D en 2D afin de permettre leur exploitation dans l'analyse de la vidéo 2D et la reconnaissance des structures de référencement. Nous pouvons alors appliquer un algorithme de reconnaissance à ces corpus vidéo 2D. Les résultats de reconnaissance sont sous la forme d'intervalles temporels. On constate la présence de deux variantes principales de référencement. Ce travail pionnier sur la caractérisation et la détection des référencements nécessiterait d'être approfondi sur des corpus beaucoup plus importants, cohérents et riches et avec des méthodes plus élaborées de classification. Cependant il a permis d'élaborer une méthodologie d'analyse réutilisable.

Résumé en anglais

This thesis focuses on the role and analysis of gaze in sign language where it plays an important role. In any language, the gaze keeps the communication relationship. In addition to that, it allows structuring a sign language discourse or interaction between signers, by investing in complex linguistic features. We focus on the role of reference, which is to put the focus on an element of the discourse. In sign language, the components of the discourse are localized in the signing space; thus putting the focus on an element of discourse which is to identify and activate its spatial location (locus), which will mobilize one or more body parts, hands, shoulders, head and eyes. We therefore analyzed the concept of reference in its manual and / or non- manual gestures and set up a reference-based recognition system that takes as input a video in sign language. The recognition system consists of three steps: - 3D modeling of the concept of reference. - The transformation of the 3D model into a 2D model useable by a 2D recognition system. - The detection system, which uses this 2D model. Modeling involves the extraction of gestural characteristics of the concept of reference from corpus consisted of 3D motion capture and gaze and manually annotated videos and the temporal pattern of time lags between motions. Modeling concerns the description of body parts that play a role in reference and the quantification of their gestural. The resulting models describe: 1) The dynamic movement of the dominant hand and 2) the distances between body parts and locus and 3) the time lags between the beginning of motions. The implementation of the recognition method integrates these 3D models. Since the resulting models are three-dimensional and the recognition system has, as input, a 2D video, we propose a transformation of 3D models to 2D to allow their use in the analysis of 2D video and in pattern recognition of reference structures. We can then apply a recognition algorithm to the 2D video corpus. The recognition results are a set of time slots with two main variants of reference. This pioneering work on the characterization and detection of references structures would need to be applied on much larger corpus, consistent and rich and more sophisticated classification methods. However, it allowed to make a reusable methodology of analysis.

Numéro national de thèse

2014TOU30299

Date de publication

2015-08-24T12:52:26