Fusion de données multimodales pour l’apprentissage automatique : application au diagnostic médical

Abstract

De nos jours, des informations sur un phénomène peuvent être acquises à travers diverses modalités ; ceci a conduit à l'émergence du concept de la fusion de données multimodales. L'un des domaines d'application qui s'appuie fortement sur l'acquisition de données multimodales est la radiothérapie (RT), dans laquelle l’imagerie par la tomodensitométrie (TDM) et l’imagerie par résonance magnétique (IRM) sont les deux principales modalités utilisées. Cette dernière offre une visualisation supérieure des tissus mous, elle est donc utilisée pour la définition de tumeur, tandis que la première contient les informations nécessaires sur la densité d’électron pour le calcul de dose d'irradiation. Cependant, ce processus de planification du traitement de la RT présente de nombreux défauts, parmi lesquels l’exposition excessive aux rayonnements due aux acquisitions répétitives par TDM. Récemment, une idée pour remédier à cette limitation principale et d’autres a émergée ; elle consiste à synthétiser une image TDM appelée pseudo- modensitométrie (pTDM) à partir d'images RM. Dans cette thèse, nous cherchons à atteindre cet objectif en analysant les travaux existants et en proposant deux variantes des méthodes d'estimation d’image pTDM utilisant la fusion de données multimodale et l'apprentissage automatique. La première approche est dite hybride ; elle combine le recalage d'image, l’apprentissage non supervisé, la fusion d'image et une nouvelle technique de correction des valeurs Hounsfield Unit (HU). Cette approche vise à prédire une image pTDM à partir des images RM T2- pondérée tout en essayant de réduire les erreurs de prédiction en utilisant des informations provenant des images RM. La deuxième approche utilise la fusion des caractéristiques sur la forme, la texture et l'information spatiale multimodales d’images RM T1-pondérée et T2-pondérée. De plus, nous avons conçu un modèle d'apprentissage d'ensemble avec une généralisation empilée qui crée une correspondance de ces caractéristiques aux valeurs HU sur deux niveaux d'apprentissage. Les résultats ont montré une amélioration significative obtenue par les méthodes proposées.