Type de document

Thèse de doctorat

Diffusion

Accès libre

Titre

Synchronisation automatique d'un contenu audiovisuel avec un texte qui le décrit

Auteur

Wehbe, Hassan

Directeur de thèse

Joly, Philippe

Haidar, Bassem

Date de soutenance

2016-07-20

Établissement de soutenance

Université de Toulouse

Université Toulouse III - Paul Sabatier

École doctorale

Mathématiques, informatique, télécommunications de Toulouse (MITT)

Structure de recherche

Institut de Recherche en Informatique de Toulouse (IRIT), UMR 5505

Discipline

Image, Information, Hypermédia

Sujet

Informatique

Mots-clés en français

Analyse de vidéo

Documents audiovisuels

Synchronisation

Répétition

Segmentation

Résumé en français

Nous abordons le problème de la synchronisation automatique d'un contenu audiovisuel avec une procédure textuelle qui le décrit. La stratégie consiste à extraire des informations sur la structure des deux contenus puis à les mettre en correspondance. Nous proposons deux outils d'analyse vidéo qui extraient respectivement : * les limites des évènements d'intérêt à l'aide d'une méthode de quantification de type dictionnaire * les segments dans lesquels une action se répète en exploitant une méthode d'analyse fréquentielle : le YIN. Ensuite, nous proposons un système de synchronisation qui fusionne les informations fournies par ces outils pour établir des associations entre les instructions textuelles et les segments vidéo correspondants. Une "Matrice de confiance" est construite et exploitée de manière récursive pour établir ces associations en regard de leur fiabilité.

Résumé en anglais

We address the problem of automatic synchronization of an audiovisual content with a procedural text that describes it. The strategy consists in extracting pieces of information about the structure from both contents, and in matching them depending on their types. We propose two video analysis tools that respectively extract: * Limits of events of interest using an approach inspired by dictionary quantization. * Segments that enclose a repeated action based on the YIN frequency analysis method. We then propose a synchronization system that merges results coming from these tools in order to establish links between textual instructions and the corresponding video segments. To do so, a "Confidence Matrix" is built and recursively processed in order to identify these links in respect with their reliability.

Numéro national de thèse

2016TOU30104

Date de publication

2017-01-20T13:50:15