Please use this identifier to cite or link to this item: https://hdl.handle.net/11147/12428
Title: Planar geometry estimation with deep learning
Other Titles: Derin öğrenme ile düzlemsel geometrinin tahminlenmesi
Authors: Özuysal, Mustafa
Uzyıldırım, Furkan Eren
Keywords: Computer vision
Deep learning
Machine learning
Outdoor plane estimation
Issue Date: Jun-2022
Publisher: Izmir Institute of Technology
Abstract: Understanding the geometric structure of any scene is one of the oldest problems in Computer Vision. Most scenes include planar regions that provide information about the geometric structure and their automatic detection and segmentation plays an important role in many computer vision applications. In recent years, convolutional neural network architectures have been introduced for piece-wise planar segmentation. They outperform the traditional approaches that generate plane candidates with 3D segmentation methods from the explicitly reconstructed 3D point cloud. However, most of the convolutional neural network architectures are not designed and trained for outdoor scenes, because they require manual annotation, which is a time-consuming task that results in a lack of training data. In this thesis,we propose and develop a deep learning based framework for piece-wise plane detection and segmentation of outdoor scenes without requiring manually annotated training data. We exploit a network trained on imagery with annotated targets and an automatically reconstructed point cloud from either Structure from Motion-Multi View Stereo pipeline or monocular depth estimation network to estimate the training ground truth on the outdoor images in an iterative energy minimization framework. We show that the resulting ground truth estimate of various sets of images in the outdoor domain is good enough to improve network weights of different architectures trained on ground truth annotated images. Moreover, we demonstrate that this transfer learning scheme can be repeated multiple times iteratively to further improve the accuracy of plane detection and segmentation on monocular images of outdoor scenes.
Sahnelerin geometrik yapılarının anlaşılması bilgisayarlı görünün en eski problemlerinden biridir. Çoğu sahne geometrik yapı hakkında bilgi sağlayan düzlemsel bölgeler içerir ve bunların otomatik olarak bölütlenmesi birçok bilgisayarlı görü uygulamasında önemli rol oynar. Son yıllarda, parçalı düzlemsel bölütleme yapan evrişimsel sinir ağı mimarileri önerilmiştir. Bunlar, düzlem adaylarını 3B bölütleme yöntemleriyle 3B nokta bulutu geriçatımından üreten geleneksel yaklaşımlardan üstün olmuştur. Fakat, çoğu evrişimsel sinir ağı mimarisi dış sahneler için tasarlanmamış ve eğitilmemiştir çünkü onların elle etiketlenmesinin zaman alıcı bir iş olması eğitim verisi eksikliğine neden olmaktadır. Bu tez çalışmasında, dış sahnelerin hiçbir şekilde elle etiketlemeye ihtiyaç olmadan parçalı düzlem tespiti ve bölütlenmesi için derin öğrenme tabanlı sistem önerilmiş ve geliştirilmiştir. Dış imgelerin mutlak doğru eğitim verilerinin tahminlenmesi için etiketlenmiş verilerle eğitilmiş bir sinir ağı mimarisinden ve Hareket ile Nesne Oluşturma-İkili Çoklu Görüntü ardışık düzeni veya tekli imgelerden derinlik tahminlemesi yapan sinir ağları mimarisinden kullanılarak elde edilen 3B otomatik nokta bulutu geriçatımından yararlanılmıştır. Dış bölgelere ait çeşitli imge kümeleri için elde edilen eğitim verilerinin mutlak doğru olarak etiketlenmiş imgelerle eğitilen farklı sinir ağı mimarilerinin ağırlıklarını yeterince iyi geliştirdiği gösterilmiştir. Buna ek olarak, bu transfer öğrenme düzeninin çoklu olarak tekrarlanabildiği ve dış sahnelerin tekli imgelerinde düzlem tespitinin ve bölütlenmesinin doğruluğunu geliştirdiği gösterilmiştir.
Description: Thesis (Doctoral)--Izmir Institute of Technology, Computer Engineering, Izmir, 2022
Includes bibliographical references (leaves: 84-93)
Text in English; Abstract: Turkish and English
URI: https://hdl.handle.net/11147/12428
https://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=_F5QEpayDXGqGZlp9XiFtEF5YNs9MKZC5HkOTTrXqF4fyU92AwWCSAAUIPX0JQiy
Appears in Collections:Phd Degree / Doktora

Files in This Item:
File Description SizeFormat 
10148174.pdfDoctoral Thesis38.15 MBAdobe PDFView/Open
Show full item record



CORE Recommender

Page view(s)

560
checked on Feb 26, 2024

Download(s)

408
checked on Feb 26, 2024

Google ScholarTM

Check





Items in GCRIS Repository are protected by copyright, with all rights reserved, unless otherwise indicated.