1. Akwizycja danych:Zebranie surowca
* Zdjęcia satelitarne: To jest warstwa fundamentalna. Obrazy satelitarne o wysokiej rozdzielczości zapewniają szeroki, odgórny widok świata. Obrazy te są rejestrowane przez satelity krążące z ziemi, zapewniając kompleksowy zapis wizualny. Rozdzielczość znacznie się poprawiła na przestrzeni lat, pozwalając na więcej szczegółów.
* Fotografia lotnicza: Samoloty lub drony wyposażone w wyspecjalizowane kamery przelatują nad określonymi obszarami, przechwytując nakładające się obrazy pod różnymi kątami. Zapewnia to wyższą rozdzielczość i więcej szczegółów niż obrazy satelitarne.
* Street View Cars &Trekker: Pojazdy te wyposażone w tablice kamer, czujników lidar (wykrywanie światła i oddziaływanie) oraz jednostki GPS jeżdżą wzdłuż dróg i ścieżek, przechwytując panoramy 360 stopni i szczegółowe chmury punktowe 3D w środowiskach na poziomie ulicy. Trekker to wersja plecaka dla obszarów niedostępna dla samochodów.
* Zdjęcia o podjęciu przez użytkownika: W niektórych przypadkach Google wykorzystuje zdjęcia kontrolowane przez użytkownika, aby wypełnić luki lub poprawić jakość modeli 3D, chociaż dane te są zwykle starannie sprawdzane i zintegrowane.
2. Rekonstrukcja 3D:przekształcanie obrazów w modele
* Fotogrametria: Jest to podstawowa technika tworzenia modeli 3D z obrazów 2D.
* Wykrywanie funkcji: Oprogramowanie identyfikuje kluczowe funkcje (narożniki, krawędzie, tekstury) w nakładających się obrazach.
* Dopasowanie funkcji: Następnie pasuje do tych funkcji na wielu obrazach, rozumiejąc, jak ten sam punkt w świecie rzeczywistym pojawia się z różnych perspektyw.
* Struktura z ruchu (SFM): Korzystając z dopasowanych funkcji i znanych pozycji aparatu (z GPS i innych czujników), algorytm rekonstruuje strukturę 3D sceny, szacując pozycję i orientację kamery dla każdego obrazu. To tworzy rzadką chmurę punktową reprezentującą scenę.
* gęsta rekonstrukcja: Rzadka chmura punktowa jest następnie wykorzystywana jako fundament do tworzenia gęstszej, bardziej szczegółowej chmury punktowej. To wypełnia luki i tworzy pełniejszą reprezentację 3D.
* generowanie siatki: Wreszcie chmura punktowa jest przekształcana w siatkę 3D, która jest siecią połączonych trójkątów, które tworzą powierzchnię modelu 3D.
* lidar (wykrywanie światła i oddziaływanie):
* Skanowanie laserowe: Czujniki lidarowe emitują impulsy laserowe i mierzą czas potrzebny do powrotu światła. Pozwala to na wysoce dokładne pomiary odległości od obiektów.
* Punktowe generowanie chmur: Dane Lidar służą do tworzenia gęstej chmury 3D Reprezentującej środowisko. Jest to szczególnie cenne dla tworzenia dokładnych modeli 3D terenu i budynków i jest bardziej precyzyjne niż fotogrametria dla złożonych kształtów.
* fuzja z obrazami: Dane Lidar są często łączone z obrazami, aby dodać kolor i teksturę do modeli 3D, tworząc bardziej realistyczny wygląd.
* uczenie maszynowe i ai: Google używa uczenia maszynowego:
* Popraw przetwarzanie obrazu: Zwiększ jakość obrazu, zmniejszyć szum i popraw zniekształcenia.
* rozpoznawanie obiektów: Zidentyfikuj i klasyfikuj obiekty na obrazach (np. Drzewa, budynki, samochody, ludzie). Umożliwia to zautomatyzowane etykietowanie i adnotację modeli 3D.
* Wypełnienie luki: Wypełnij brakujące dane lub obszary, w których rekonstrukcja 3D jest niekompletna.
* Ulepszenie tekstury: Generuj realistyczne tekstury i szczegóły dla modeli 3D.
* Generowanie procedur: Utwórz modele 3D obiektów, które są trudne do przechwytywania bezpośrednio (np. Drzewa, roślinność), przy użyciu algorytmów, które generują realistyczne reprezentacje.
3. Przetwarzanie i optymalizacja danych:
* Georeference: Wszystkie dane są precyzyjnie georeferencyjne, co oznacza, że są one zgodne z globalnym układem współrzędnych. Zapewnia to, że modele 3D są dokładnie ustawione na Ziemi.
* Fuzja danych: Dane z różnych źródeł (obrazy satelitarne, fotografia powietrzna, widok uliczny, Lidar) są łączone i zintegrowane, aby stworzyć kompletny i spójny model 3D.
* Uproszczenie i optymalizacja: Modele 3D są często uproszczone i zoptymalizowane, aby zmniejszyć rozmiar pliku i poprawić wydajność, przy jednoczesnym zachowaniu wysokiego poziomu szczegółowości. Ma to kluczowe znaczenie dla wydajnego przesyłania danych przez Internet.
* teksturowanie: Obrazy są „rzutowane” na siatkę 3D, aby nadać jej realistyczny kolor i teksturę.
4. Wyświetlanie i wizualizacja:
* rendering kafelkowy: Świat 3D jest podzielony na płytki, umożliwiając wydajne przesyłanie strumieniowe i renderowanie tylko obszarów, które są obecnie widoczne dla użytkownika.
* Poziom detali (LOD): Różne poziomy szczegółowości są używane dla obiektów w zależności od ich odległości od użytkownika. Odległe obiekty są renderowane z niższymi szczegółami, a bliższe obiekty są renderowane z wyższymi szczegółami. Pomaga to poprawić wydajność i zmniejszyć ilość danych, które należy przesyłać strumieniowo.
* realistyczne techniki renderowania: Techniki takie jak cieniowanie, oświetlenie i cienie są używane do stworzenia bardziej realistycznego i wciągającego doświadczenia.
Kluczowe postępy technologiczne umożliwiające światy 3D Google:
* Zwiększona moc obliczeniowa: Ogromna moc obliczeniowa w centrach danych ma kluczowe znaczenie dla przetwarzania ogromnych ilości danych zaangażowanych w rekonstrukcję 3D.
* postępy w wizji komputerowej: Ulepszone algorytmy do wykrywania funkcji, dopasowywania i rekonstrukcji 3D.
* Uczenie maszynowe: Zautomatyzowane przetwarzanie obrazu, rozpoznawanie obiektów i wypełnienie luki.
* Czujniki o wysokiej rozdzielczości: Zaawansowane kamery i czujniki lidarowe, które przechwytują bardziej szczegółowe i dokładne dane.
* Efektywne przechowywanie danych i przesyłanie strumieniowe: Skalowalna infrastruktura do przechowywania i przesyłania strumieniowego ogromnych ilości danych 3D.
Podsumowując, świat 3D Google jest wynikiem złożonego i wyrafinowanego procesu, który łączy zaawansowane technologie i techniki, w tym obrazy satelitarne, fotografię powietrzną, widok ulicy, lidar, fotogrametria, uczenie maszynowe oraz wydajne przetwarzanie danych i przetwarzanie danych. . Jest to ciągły proces gromadzenia, przetwarzania i poprawy danych, stale ewoluujący, aby zapewnić użytkownikom najdokładniejszą i szczegółową reprezentację Ziemi.