|
|
|
|
Mise en correspondance stéréoscopique d'images couleur en présence d'occultations |
|
|
La stéréovision consiste à reconstruire le relief à partir de plusieurs images d'une même scène prises de différents points de vue. À partir des parties visibles dans chaque au moins deux images, la reconstruction tridimensionnelle s'établit en trois étapes fondamentales : le calibrage du capteur stéréoscopique, l'appariement (mise en correspondance), la reconstruction 3D. La mise en correspondance consiste à localiser, dans les images, les projections de la même entité de la scène. La qualité de la reconstruction dépend de la qualité de l'appariement. D'où l'importance de la mise en correspondance qui s'avère être un problème délicat car de nombreuses difficultés peuvent entraîner des résultats erronés comme, par exemple, les bruits, les changements de luminosité, les raccourcissements, les zones uniformes et les occultations (zones contenant des pixels sans correspondant ou des pixels proches des pixels sans correspondant). Il existe de nombreuses méthodes de mise en correspondance mais nous abordons uniquement la mise en correspondance dense de pixels par corrélation. De plus, dans le cadre de ce travail, nous nous intéressons particulièrement aux problèmes des occultations et à l'utilisation de la couleur. |
Bibliographie sur la mise en correspondance Directeur de thèse : Alain Crouzil |
Évaluation et comparaison de mesures de corrélation - nouvelles mesures de corrélation robustes
Bibliographie sur les mesures de corrélation
Nous appelons mesure de corrélation toute mesure permettant d'évaluer la ressemblance entre un pixel de l'image gauche (et son voisinage) et un pixel de l'image droite (et son voisinage). L'hypothèse de la mise en correspondance par corrélation est que deux pixels correspondants se ressemblent mais surtout que leurs voisinages se ressemblent. Ainsi pour chaque pixel de l'image gauche, une zone de recherche est déterminée dans l'image droite. Puis, pour chaque pixel de la zone de recherche, le score de corrélation est évalué. Le pixel qui donne le meilleur score est retenu comme pixel correpondant. Dans un premier temps, toutes les mesures existantes ont été répertoriées, caractérisées et classées. Dans un second temps, comme nous nous sommes intéressés au problème des occultations, de nouvelles mesures robustes aux occultations ont été proposées. Pour cela, nous nous sommes appuyés sur des outils des statistiques robustes : moindres carrés médians, moindres carrés tronqués, M-estimateurs, R-estimateurs. Parallèlement, nous avons développé un protocole d'évaluation et de comparaison de ces mesures : des images réelles avec vérité terrain sont utilisées et huit critères différents sont évalués. De plus, des cartes de disparités sont établies (la disparité étant le vecteur de déplacement entre le pixel de l'image gauche et son correspondant dans l'image droite). Les résultats obtenus ont mis en évidence le bon comportement des nouvelles mesures face aux occultations.
Publication
Sylvie Chambon, Alain Crouzil. " Similarity measures for image matching despite occlusions in stereo vision ". Pattern Recognition , PR. À paraître.
Sylvie Chambon, Alain Crouzil. " Mesures de corrélation robustes aux occultations ". Dans Actes du Congrès Francophone de Vision par Ordinateur ORASIS, Gérardmer, France, mai 2003, pages 385-392.
Fusion des méthodes classiques et robustes de corrélation
Bibliographie sur la prise en compte des occultations
Pour prendre en compte le problème des occultations, nous avons proposé dix-huit mesures utilisant des outils des statistiques robustes. Nous avons montré que ces mesures se comportent mieux près des zones d'occultation mais, en revanche, qu'elles donnent de moins bons résultats que certaines mesures classiques dans les zones sans occultation. Il apparaî donc avantageux de pouvoir utiliser ces mesures robustes dans les zones où elles sont les plus efficaces (près des zones d'occultation, des discontinuités de profondeur) et de pouvoir utiliser une mesure classique dans les autres zones pour associer les qualités de chacune et ainsi obtenir des cartes de disparités plus denses. Nous avons donc mis en place deux catégories d'algorithmes faisant intervenir deux mesures de corrélation :
Algorithme de type 1 - Une première carte de disparités est calculée avec la mesure classique. Puis, nous essayons de déterminer les zones d'occultations. Enfin, nous recalculons avec la mesure robuste les disparités pour tous les pixels détectés comme occultés.
Algorithme de type 2 - Deux cartes de disparités sont calculées respectivement avec une mesure classique et une mesure robuste puis les cartes sont fusionnées.
Nous avons testé ces deux types d'algorithmes sur onze paires d'images différentes (images de synthèse et réelles avec vérité terrain). Les résultats obtenus montrent que l'algorithme de type 2 semble le plus efficace mais que ses temps de calculs sont plus longs qu'avec l'algorithme de type 1.
Publication
Sylvie Chambon, Alain Crouzil. " Combination of correlation measures for dense stereo matching ". dans International Joint Conference on Computer Vision Theory and Applications, VISAPP, Vilamoura, Portugal, mars 2011.
Sylvie Chambon, Alain Crouzil, Mohammed El Miziani, Gérald Lemarie, Patrick Le Callet. " Complémentarité de mesures de corrélation pour la mise en correspondance ". Dans Reconnaissance des Formes et Intelligence Artificielle, RFIA , Caen, France, janvier 2010.
Sylvie Chambon, Alain Crouzil. " Towards correlation-based matching algorithms that are robust near occlusions ". Dans International Conference on Pattern Recognition - ICPR 2004, p. 20-23, Cambridge, Royaume-Uni, Août 2004.
Mesures de corrélation pour des images couleur
Les images couleur sont de plus en plus employées et de nombreux travaux ont montré le gain de précision obtenu lorsque des images couleur sont utilisées. Il existe peu de travaux sur l'adaptation même des mesures de corrélation à la couleur et ces travaux portent essentiellement sur les mesures de corrélation classiques. En réalité, cette adaptation est délicate et pose plusieurs problèmes :
Méthode 1 - Évaluer la mesure de corrélation sur chaque composante, puis effectuer une fusion des résultats obtenus ;
Méthode 2 - Effectuer une analyse en composantes principales et appliquer la mesure de corrélation sur la composante principale ;
Méthode 3 - Adapter directement les mesures de corrélation aux données à trois dimensions.
Ainsi, nous avons adapté les mesures de corrélation suivant les trois méthodes. Puis, nous avons testé ces méthodes, avec neuf systèmes de couleur différents et sur dix paires d'images différentes. Les résultats obtenus montrent que la méthode 1 semble la plus efficace et qu'il n'y a pas de système de représentation de la couleur privilégié. La qualité des résultats est améliorée, mais les temps de calculs sont au moins deux fois plus longs qu'en utilisant seulement les niveaux de gris.
Publication
Michael Bleyer, Sylvie Chambon. " Does Color Really Help in Dense Stereo matching ? ", dans 3D Data Processing Visualization and Transmission, 3DPVT, Paris, France, mai 2010.
Michael Bleyer, Sylvie Chambon, Uta Poppe, Margrit Gelautz. " Evaluation of different methods for using colour information in global stereo matching approaches ". Dans The Congress of the International Society for Photogrammetry and Remote Sensing, Pékin, Chine, juillet 2008.
Sylvie Chambon, Alain Crouzil. " Colour correlation-based matching ". International Journal of Robotics and Automation, IASTED, volume 20, numéro 2, p. 78-85, 2005.
Sylvie Chambon, Alain Crouzil. " Color stereo matching using correlation measures ". Dans Complex Systems Intelligence and Modern Technological Applications - CSIMTA 2004, p. 520-525, Cherbourg, France, septembre 2004 .
Images avec vérité terrain
Bibliographie sur l'évaluation
Depuis une vingtaine d'années, le nombre de publications dans le domaine de la mise en correspondance est important et sans cesse en augmentation. Face à cette grande variété de méthodes, il s'avère difficile d'établir des comparaisons pertinentes et de trouver quels types de méthodes utiliser suivant le contexte dans lequel on se situe (type d'images, type d'applications). Dans le but d'effectuer une évaluation précise et fiable des algorithmes de mise en correspondance, nous pensons utile de proposer un protocole d'évaluation et de comparaison rigoureux. Lorsqu'on souhaite établir un protocole d'évaluation et de comparaison, plusieurs aspects sont à considérer :
Jusqu'à présent, nos évaluations portaient essentiellement sur les images issues des travaux de Scharstein et Szeliski . Nous avons cependant élaboré une méthode semi-automatique de segmentation en plans pour l'obtention de données de référence servant à évaluer les performances des algorithmes de mise en correspondance dense. Des données de référence sont disponibles ici .
Publication
