Dokładne zrozumienie zasad obrazowania wizualnego 3D

Obrazowanie wizyjne 3D jest jedną z najważniejszych metod percepcji informacji robotów przemysłowych, które można podzielić na metody obrazowania optycznego i nieoptycznego. Obecnie najczęściej stosowanymi metodami optycznymi są: metoda czasu przelotu, metoda światła strukturalnego, metoda skanowania laserowego, metoda prążków Moire'a, metoda plamek laserowych, interferometria, fotogrametria, metoda śledzenia laserowego, kształt z ruchu, kształt z cienia, i inne ShapefromX. W artykule przedstawiono kilka typowych schematów.

1. Obrazowanie 3D czasu lotu

Każdy piksel kamery czasu przelotu (TOF) wykorzystuje różnicę czasu w locie światła, aby uzyskać głębię obiektu.

W klasycznej metodzie pomiaru TOF układ detektora uruchamia jednostkę detekcyjno-odbiorczą do chwili wyemitowania impulsu optycznego. Gdy detektor odbierze echo optyczne od celu, bezpośrednio zapisuje czas podróży w obie strony.

Znany również jako Direct TOF (DTOF), D-TOF jest powszechnie stosowany w jednopunktowych systemach pomiaru odległości, gdzie często wymagana jest technologia skanowania, aby uzyskać obrazowanie 3D obejmujące cały obszar.

Technologia obrazowania 3D TOF bez skanowania została wdrożona dopiero w ostatnich latach, ponieważ bardzo trudno jest wdrożyć elektroniczny taktowanie subnanosekundowe na poziomie pikseli.

Alternatywą dla D-TOF z czasem bezpośrednim jest pośredni TOF (I-TOF), w którym podróż w obie strony jest pośrednio ekstrapolowana z bramkowanych czasowo pomiarów natężenia światła. I-TOF nie wymaga precyzyjnego taktowania, zamiast tego wykorzystuje bramkowane czasowo liczniki fotonów lub integratory ładunku, które można zaimplementować na poziomie piksela. I-TOF to obecnie skomercjalizowane rozwiązanie dla mikserów elektronicznych i optycznych opartych na kamerach TOF.

Obrazowanie TOF można wykorzystać do uzyskania dużego pola widzenia, dużej odległości, niskiej precyzji i taniego pozyskiwania obrazów 3D. Jego cechy to: duża prędkość wykrywania, duże pole widzenia, duża odległość robocza, niska cena, ale niska dokładność, łatwe do zakłócenia przez światło otoczenia.

2. Skanuj w poszukiwaniu obrazów 3D

Metody skanowania obrazowania 3D można podzielić na skanowanie w zakresie odległości, aktywną triangulację, metodę konfokalną z dyspersją i tak dalej. W rzeczywistości metoda konfokalna z dyspersją jest metodą skanowania i określania odległości, biorąc pod uwagę, że jest ona obecnie szeroko stosowana w przemyśle wytwórczym, takim jak telefony komórkowe i wyświetlacze z płaskim ekranem, została tu przedstawiona osobno.

1. Skanowanie i wyznaczanie odległości

Skaningowy pomiar odległości polega na użyciu skolimowanej wiązki do skanowania całej powierzchni docelowej poprzez jednowymiarowy pomiar odległości w celu uzyskania pomiaru 3D. Typowe metody określania odległości skanowania to:

1, jednopunktowa metoda czasu lotu, taka jak modulacja częstotliwości fali ciągłej (FM-CW), zmiana zakresu impulsu (LiDAR) itp.;

2, interferometria rozpraszania lasera, taka jak interferometry oparte na zasadach interferencji o wielu długościach fal, interferencji holograficznej, interferencji plamek światła białego itp.

3, metoda konfokalna, taka jak konfokalna dyspersja, samoogniskowanie itp.

W metodzie skanowania 3D w zakresie pojedynczego punktu metoda pojedynczego punktu czasu lotu jest odpowiednia do skanowania na duże odległości, a dokładność pomiaru jest niska, zwykle rzędu milimetrów. Inne metody skanowania jednopunktowego to: interferometria laserowa jednopunktowa, metoda konfokalna i metoda aktywnej triangulacji laserowej jednopunktowej, dokładność pomiaru jest wyższa, ale ta pierwsza ma wysokie wymagania środowiskowe; Dokładność skanowania linii umiarkowana, wysoka wydajność. Do wykonywania pomiarów 3D na końcu ramienia robota bardziej odpowiednia jest metoda aktywnej triangulacji laserowej i metoda konfokalna z dyspersją.

2. Aktywna triangulacja

Metoda aktywnej triangulacji opiera się na zasadzie triangulacji, wykorzystującej skolimowane wiązki, jedną lub więcej płaskich wiązek do skanowania powierzchni docelowej w celu zakończenia pomiaru 3D.

Wiązkę uzyskuje się zazwyczaj na następujące sposoby: kolimacja laserowa, cylindryczne lub kwadratowe cylindryczne rozszerzanie kątowe wiązki, światło niespójne (takie jak światło białe, źródło światła LED) przez otwór, projekcja szczelinowa (siatka) lub dyfrakcja światła spójnego.

Aktywną triangulację można podzielić na trzy typy: skanowanie jednopunktowe, skanowanie jednoliniowe i skanowanie wieloliniowe. Większość produktów obecnie dostępnych na rynku do stosowania na końcach ramion robotycznych to skanery jednopunktowe i jednoliniowe.

W metodzie skanowania wieloliniowego trudno jest wiarygodnie zidentyfikować liczbę biegunów prążkowych. Aby dokładnie zidentyfikować numery pasków, zwykle stosuje się szybkie naprzemienne obrazowanie dwóch zestawów pionowych płaszczyzn optycznych, które może również realizować skanowanie „FlyingTriangulation”. Proces skanowania i trójwymiarowej rekonstrukcji przedstawiono na poniższym rysunku. Rzadki widok 3D jest generowany przez obrazowanie stroboskopowe w projekcji wieloliniowej, a kilka sekwencji widoków 3D jest generowanych przez skanowanie projekcji prążków wzdłużnych i poziomych. Następnie poprzez dopasowanie obrazu 3D generowany jest kompletny i kompaktowy model powierzchni 3D o wysokiej rozdzielczości.

3. Metoda konfokalna dyspersyjna

Wydaje się, że konfokalna dyspersja umożliwia skanowanie i pomiar szorstkich i gładkich, nieprzezroczystych i przezroczystych obiektów, takich jak lustra odblaskowe, przezroczyste powierzchnie szklane itp., i jest obecnie szeroko popularna w dziedzinie trójwymiarowego wykrywania osłon telefonów komórkowych.

Istnieją trzy typy dyspersyjnego skanowania konfokalnego: jednopunktowe jednowymiarowe skanowanie absolutne, skanowanie wielopunktowe i skanowanie liniowe ciągłe. Poniższy rysunek przedstawia dwa typy przykładów skanowania bezwzględnego i ciągłego skanowania liniowego. Wśród nich ciągłe skanowanie linii jest również skanowaniem macierzy, ale macierz ma większą i gęstszą siatkę.

W produktach komercyjnych bardziej znanym skaningowym czujnikiem konfokalnym jest francuski STILMPLS180, który wykorzystuje 180 punktów tworzących linię o maksymalnej długości 4,039 mm (punkt pomiarowy 23,5 pm, odstęp między punktami 22,5 pm). Kolejnym produktem jest fińska FOCALSPECUULA. Przyjęto technikę dyspersyjnego trójkąta konfokalnego.

3. Obrazowanie 3D z projekcją światła strukturalnego

Projekcja światła strukturalnego Obrazowanie 3D jest obecnie głównym sposobem percepcji wizualnej 3D robota. System obrazowania światła strukturalnego składa się z kilku projektorów i kamer. Powszechnie stosowane formy strukturalne to: pojedynczy projektor – pojedyncza kamera, pojedynczy projektor – podwójna kamera, pojedynczy projektor – wiele kamera, pojedyncza kamera - podwójny projektor i pojedyncza kamera - wiele projektorów i inne typowe formy konstrukcyjne.

Podstawowa zasada działania obrazowania 3D przy projekcji światła strukturalnego polega na tym, że projektory wyświetlają określone wzory światła strukturalnego na docelowe obiekty, a obrazy modulowane przez cel są przechwytywane przez kamerę, a następnie za pomocą obrazu uzyskiwana jest informacja 3D o obiekcie docelowym przetwarzanie i model wizualny.

Powszechnie używane projektory obejmują głównie następujące typy: projekcja ciekłokrystaliczna (LCD), projekcja z cyfrową modulacją światła (DLP: takie jak cyfrowe urządzenia mikrolusterkowe (DMD)), bezpośrednia projekcja laserowego wzoru LED.

W zależności od liczby projekcji światła strukturalnego obrazowanie 3D projekcji światła strukturalnego można podzielić na metody pojedynczej projekcji 3D i wielokrotnej projekcji 3D.

1. Obrazowanie pojedynczą projekcją

Światło strukturalne z pojedynczą projekcją jest realizowane głównie poprzez kodowanie zwielokrotniające przestrzeń i kodowanie zwielokrotniające częstotliwość. Typowymi formami kodowania są kodowanie kolorami, indeks szarości, kodowanie kształtu geometrycznego i przypadkowe plamki.

Obecnie, w zastosowaniu robota-oko, w sytuacjach, w których dokładność pomiaru 3D nie jest wysoka, takich jak paletyzacja, rozpakowywanie, chwytanie 3D itp., bardziej popularne jest wyświetlanie pseudolosowych miejsc w celu uzyskania Informacje 3D o celu. Zasada obrazowania 3D jest pokazana na poniższym rysunku.

2. Obrazowanie wielokrotne

Metoda wieloprojekcji 3D jest realizowana głównie poprzez kodowanie zwielokrotniające czas. Powszechnie stosowanymi formami kodowania wzorców są: kodowanie binarne, wieloczęstotliwościowe kodowanie z przesunięciem fazowym τ35 i kodowanie mieszane (takie jak prążki dziesięciofazowego przesunięcia w kodzie szarego).

Podstawową zasadę obrazowania 3D metodą projekcji prążkowej pokazano na poniższym rysunku. Strukturalne wzorce światła są generowane komputerowo lub generowane przez specjalne urządzenie optyczne, które są rzutowane na powierzchnię mierzonego obiektu za pomocą systemu projekcji optycznej, a następnie za pomocą urządzeń do akwizycji obrazu (takich jak kamery CCD lub CMOS) zbierane są zdeformowane obrazy światła strukturalnego modulowane przez powierzchnię obiektu. Algorytm przetwarzania obrazu służy do obliczenia odpowiedniej relacji pomiędzy każdym pikselem obrazu a punktem na obrysie obiektu. Wreszcie, poprzez model struktury systemu i technologię kalibracji, obliczana jest trójwymiarowa informacja o konturze mierzonego obiektu.

W praktycznych zastosowaniach często stosowana jest projekcja kodu Graya, sinusoidalna projekcja prążków z przesunięciem fazowym lub technologia 3D mieszanej projekcji z dziesięcioma sinusoidalnymi przesunięciami fazowymi w kodzie Graya.

3. Obrazowanie odchylenia

W przypadku chropowatej powierzchni światło strukturalne można rzutować bezpośrednio na powierzchnię obiektu w celu wizualnego pomiaru obrazowania. Jednakże w przypadku pomiarów 3D gładkich powierzchni o dużym współczynniku odbicia i obiektów lustrzanych, projekcja światła strukturalnego nie może być bezpośrednio rzutowana na mierzoną powierzchnię, a pomiar 3D wymaga również zastosowania technologii odchylania lustra, jak pokazano na poniższym rysunku.

W tym schemacie prążki nie są rzutowane bezpośrednio na mierzony kontur, ale na ekran rozpraszający lub zamiast ekranu rozpraszającego stosuje się ekran LCD do bezpośredniego wyświetlania prążków. Kamera śledzi ścieżkę światła przez jasną powierzchnię, uzyskuje informacje o prążkach modulowanych przez zmianę krzywizny jasnej powierzchni, a następnie rozwiązuje profil 3D.

4. Obrazowanie 3D w trybie stereofonicznym

Stereowizja dosłownie odnosi się do postrzegania struktury trójwymiarowej jednym lub obydwoma oczami i ogólnie odnosi się do rekonstrukcji struktury 3D lub informacji o głębi obiektu docelowego poprzez uzyskanie dwóch lub więcej obrazów z różnych punktów widzenia.

Bodźce wzrokowe percepcji głębi można podzielić na sygnały oczne i obuoczne (paralaksa obuoczna). Obecnie stereoskopowy obraz 3D można uzyskać poprzez widzenie jednooczne, widzenie obuoczne, widzenie wielooczne, obrazowanie 3D w polu świetlnym (elektroniczne oko złożone lub kamera macierzowa).

1. Jednooczne obrazowanie wizualne

Monokularowe wskazówki dotyczące percepcji głębi zwykle obejmują perspektywę, różnicę ogniskowych, obrazowanie wieloogniskowe, pokrycie, cień, paralaksę ruchu itp. W wizji robota można również wykorzystać lustro 1 i inny kształt z X10 oraz inne metody osiągnięcia.

2. Obrazowanie widzenia obuocznego

Wizualne wskazówki obuocznej percepcji głębi to: zbieżna pozycja oczu i paralaksa obuoczna. W systemie widzenia maszynowego dwie kamery służą do uzyskania dwóch obrazów z dwóch punktów widzenia tej samej sceny docelowej, a następnie obliczana jest paralaksa tego samego punktu na dwóch obrazach w celu uzyskania informacji o głębi 3D sceny docelowej. Typowy proces obliczania stereowizji obuocznej składa się z następujących czterech etapów: korekcji zniekształceń obrazu, korekcji pary obrazów stereo, rejestracji obrazu i ponownej projekcji triangulacyjnej, obliczenia mapy paralaksy