Mozgó perspektív kamera 3D térbeli helyzetének követése

Napjainkban egyre több területen kezdenek elterjedni az olyan mobileszközök, robotok, járművek, melyek nagyon pontos helymeghatározásra, és ezáltal akár autonóm működésre is képesek. Ezekhez sok esetben tisztán kép alapú lokalizációt használnak, bizonyos megoldásokban kiegészítik ezt egyéb szenzorok által szolgáltatott adatokkal. Számos publikáció született már a témában, különböző módszerekkel, ugyanakkor még mindig kiemelt ˝ kutatási területnek számít. Az általam kidolgozott módszerben adott egy mozgó perspektív kamera (pl. járműre, drónra szerelve), amelynek ismert a belső kalibrációja. Az algoritmus lényege, hogy ˝ egyéb szenzorok felhasználása nélkül, kizárólag a kamera által szolgáltatott képi látvány (videófolyam) segítségével képes meghatározni a kamera, és ezáltal a jármű, drón helyzetét a 3D térben. Ehhez szükséges valamilyen képi jellemző kinyerése az első képkockán, ˝ majd ezekhez a rendelkezésre álló 3D (LiDAR) pontfelhő alapján 2D-3D megfeleltetések előállítása., feltéve, hogy a képi jellemzők olyan statikus objektumokon kerülnek detektálásra, melyek pozíciója nem változik. A dolgozatomban ismertetett módszer során a kezdeti képkockán SURF kulcspontokat detektálok, majd ezen pontokat Kanade-Lucas-Tomasi pontkövető algoritmus segítségével követem a videófolyam végéig. A kamera pozíciójának és orientációjának meghatározásához az erre a célra kifejlesztett pont alapú helyzetbecslő algoritmust (UPnP) alkalmaztam, mely együttesen használja fel a kamera által követett 2D képi jellemzőket, illetve ezek 3D párjait. A kamera által látott látvány nagymértékű változása miatt szükségessé válik bizonyos időközönként ezen jellemzőpontok újrainicializálása, tehát bővítése ˝ új pontokkal, majd a bővített ponthalmaz tovább követése. ˝ Az algoritmus futásának kiértékelése valós teszthalmazon történt, mind az eredeti képek felhasználásával, mind pedig a kamera belső paramétereinek ismeretében a radiális ˝ torzítás kivételével is.