Deep Learning-Based Methods for Organs at Risk Segmentation in Head and Neck Cancer

Abstract

This thesis investigates the use of deep learning techniques with 3D architectures to enhance the segmentation accuracy of organs at risk (OARs) in head and neck cancer radiotherapy. The study focuses on the implementation of two models, 3D U-Net and 3D TransUNet, applied to CT images from the Head and Neck dataset and the MICCAI Head and Neck Challenge dataset. The objective is to evaluate the effectiveness of incorporating 3D spatial context and transformer-based modules in segmenting critical anatomical structures such as the brainstem, mandible, and parotid glands. Additionally, the impact of dataset generalization is assessed by comparing models trained on a single dataset versus a combined dataset approach. The results demonstrate that 3D architectures outperform their 2D counterparts and the benchmark method from the literature (3D TransSeg) across most target structures. The 3D TransUNet achieved Dice scores of 91.57 for the mandible, 84.24 for the brainstem, and 84.75 for the left parotid gland. When trained on the combined dataset, the performance improved further for the brainstem, with the Dice score increasing from 82.97 to 84.39 using 3D U-Net, and from 84.24 to 86.55 using 3D TransUNet. These findings highlight the advantages of transformer-enhanced 3D architectures and the use of diverse training data in improving segmentation performance. The results support the integration of 3D TransUNet into clinical radiotherapy workflows for accurate and reliable OAR delineation ==================================================================================================== Cemémoireportesurl’applicationdeméthodesd’apprentissageprofondutilisantdesarchitectures 3Dafind’améliorer la précision de la segmentation des organes à risque (OAR) dans le cadre de la radiothérapie du cancer de la tête et du cou. Deux modèlesontétéimplémentés : le 3D U-Net etle3DTransUNet,appliquésàdesimagesCTissuesdudatasetHeadandNeckainsiquedudéfi MICCAI Head and Neck. L’objectifestd’évaluerl’efficacité de l’intégration du contexte spatial 3D et des modules basés sur les transformeurs pour la segmentation d’organes critiques tels que le tronc cérébral, la mandibule et la glandeparotide. L’étude examine égalementl’impact de la généralisationencomparant les performances des modèlesentraînés sur un seul jeu de données et sur un jeu combiné. Lesrésultatsmontrentquelesarchitectures3Dsurpassentleurséquivalents2Dainsiquelemodèle de référenceissu de la littérature (3D TransSeg) sur la majorité des structures cibles. Le 3D TransUNetaobtenudesscoresdeDicede91,57pourlamandibule,84,24pourletronccérébralet 84,75 pour la parotide gauche. Encombinant les deux jeux de données, uneamélioration des performancesaétéobservéepourletronccérébral,avecunscoredeDicepassantde82,97à84,39 pour le 3D U-Net, et de 84,24 à 86,55 pour le 3D TransUNet. Cesrésultatsmettentenévidence les avantages des architectures 3D intégrant des transformeurs et l’utilisation de données multi-sources pour améliorer la segmentation. Ilssoutiennentl’intégrationpotentielle du 3D TransUNet dans les flux cliniques de radiothérapie pour unedélinéationprécise et fiable des OAR.