Integrowanie modeli 3D z materiałem wideo:zaawansowane śledzenie kamer za pomocą PFTrack – część I

Odkryj najskuteczniejsze techniki płynnego łączenia modeli 3D z materiałami filmowymi na żywo.

We współczesnym kinie stworzenia, elfy i superbohaterowie są często renderowani w 3D i nakładani na materiał filmowy ze świata rzeczywistego. Sukces takich ujęć zależy od skrupulatnej postprodukcji, która dopasowuje kolor, oświetlenie i ruch kamery.

Postprodukcja to tylko ostatnie ogniwo w łańcuchu kroków zapewniających sukces projektu:

1. Szczegółowa analiza klipów wideo, w tym zestawienie mikroaktywności. Zaimportowane klipy mogą przed śledzeniem zostać poddane korekcji kolorów lub kalibracji zniekształceń obiektywu.
2. Eksportowanie klipu do dedykowanej aplikacji śledzącej. W tej serii skupiamy się na PFTrack firmy The Pixel Farm.
3. Budowanie końcowej sceny w pakiecie 3-D, takim jak Maya, w oparciu o dane PFTrack.

Na powyższym obrazku twórcy filmu uchwycili prawdziwą sekwencję i skomponowali ją na cyfrowym tle. Zastosowano niebieski ekran, ale widoczne czerwone krzyżyki przedstawiają znaczniki śledzenia.

Jaką rolę odgrywają te znaczniki?

Dlaczego warto używać znaczników śledzenia?

Znaczniki śledzące służą jako punkty odniesienia dla fizycznego aparatu podczas fotografowania. Chociaż sceny statyczne mogą ich nie wymagać, stają się one niezbędne w przypadku ujęć wymagających ruchu kamery.

Celem jest zarejestrowanie ruchu prawdziwej kamery i przesłanie go do kamery wirtualnej — co w branży nazywa się śledzeniem kamery lub przesuwaniem meczu.

Śledzenie kamery ma kluczowe znaczenie w dwóch głównych scenariuszach:

• Prawdziwi aktorzy na planie z tłem CGI, jak na przykładzie Życia Pi.
• Prawdziwe środowiska z cyfrowymi rekwizytami dodanymi w postprodukcji.

Bez dokładnego śledzenia kamery połączenie materiału filmowego z renderami 3D spowodowałoby oczywiste rozbieżności.

PFTrack do śledzenia kamery

Podczas gdy wiele NLE, takich jak After Effects, zawiera podstawowe narzędzia do śledzenia, PFTrack to dedykowane rozwiązanie powszechnie stosowane w profesjonalnych potokach efektów wizualnych.

Poniżej znajduje się migawka PFTrack po załadowaniu sceny.

Oparty na węzłach przepływ pracy PFTrack zapewnia porządek potoku. Lewy panel zawiera listę aktywnych węzłów, środkowy wyświetla materiał filmowy i oś czasu, a dolny panel pokazuje elementy sterujące specyficzne dla węzła.

Narzędzie bogate w funkcje

Pełne informacje znajdziesz w oficjalnej dokumentacji PFTrack tutaj . Panel węzłów jest pogrupowany w zakładki funkcjonalne:

• Śledzenie
• Rozwiązywanie
• Zniekształcenie
• Geometria
• Zdjęcie
• Głębokość Z
• Kulisty
• Stereo
• Eksportuj
• Narzędzia
• Pythonie

Kluczowe kategorie:

• Śledzenie wyodrębnia elementy z klipu. Użytkownicy mogą wybrać automatyczne śledzenie lub ręcznie umieszczać punkty niestandardowe.
• Rozwiązywanie buduje ruch wirtualnej kamery na podstawie śledzonych obiektów.
• Zniekształcenie koryguje artefakty obiektywu, takie jak zniekształcenie beczkowe lub poduszkowe.
• Geometria umożliwia wstawianie obiektów testowych w celu sprawdzenia dokładności śledzenia.
• Eksportuj przesyła dane z kamery do programów Maya, 3DS Max, After Effects itp.
• Narzędzia obejmują „Oszacuj ogniskową” do korygowania niedokładności ogniskowej i „Orientuj scenę” do wyrównania układu współrzędnych.

Pierwsze kroki

Wykorzystamy klip z biblioteki Shutterstock tutaj . Zaimportuj go do PFTrack jako sekwencję obrazów i rozpocznij proces śledzenia.

Zaawansowane algorytmy PFTrack zwykle automatycznie szacują prawidłową ogniskową. Jeśli potrzebujesz lepszej kontroli, Oszacuj ogniskową węzeł może udoskonalić perspektywę, ręcznie określając punkty zbiegu.

W niektórych przypadkach – np. ujęcia zrobione z góry – podanie wszystkich trzech osi (X, Y, Z) daje PFTrack niezbędne dane.

Śledzenie automatyczne a śledzenie użytkownika

PFTrack oferuje zarówno funkcję Auto i Ścieżka użytkownika węzły. Ten pierwszy automatycznie identyfikuje cechy stabilne; ta ostatnia umożliwia ręczne umieszczanie modułów śledzących w obszarach krytycznych.

Wytyczne dotyczące ręcznego umieszczania:

• Wybierz obszary o wysokim kontraście (np. ciemne piksele na jasnym tle).
• Umieść fizyczne znaczniki na planie w miejscach, w których zamierzasz wstawić elementy 3-D.
• Dostosuj jasność i kontrast w PFTrack, aby funkcje były bardziej widoczne.

W naszym przykładzie dodaliśmy 12–17 modułów śledzących użytkownika wzdłuż chodnika, ściany i w innych strategicznych lokalizacjach.

Rozwiązywanie problemów z kamerą

Po skonfigurowaniu funkcji Camera Solver węzeł szacuje ruch wirtualnej kamery. Aby wykonać obliczenia, użyj akcji „Rozwiąż wszystko”.

Dane wyjściowe solwera wykorzystują kodowanie kolorami:

• Zielony – udana projekcja.
• Biały – nieaktywna projekcja dla bieżącej klatki.
• Czerwony – nieudana projekcja (błąd> 2px).
• Pomarańczowy – średni błąd (1–2 piksele).

Aby poprawić dokładność, przejrzyj wykres błędów . Przycinaj szczyty o wysokim błędzie za pomocą narzędzia do przycinania, stabilizując linię średniego błędu w kierunku zera.

Jeśli moduł śledzący stale działa słabo, dezaktywuj go na karcie „Moduły śledzące” i rozwiąż problem ponownie.

Aby ustawić nowe źródło, wybierz zielony moduł śledzący, a następnie kliknij „Ustaw początek” w Rozwiązywaniu aparatu węzeł.

Orientacja sceny

Z wiarygodnym pochodzeniem, Scena Orientu węzeł dopasowuje siatkę 3-D do świata rzeczywistego.

Wybierz trzy dokładne trackery na płaskiej powierzchni (np. chodniku) i ustaw je na płaszczyźnie X-Z. Dostosuj orientację pionową siatki tak, aby leżała równo z powierzchnią.

Testowanie obiektów

Po prawidłowym zorientowaniu siatki zaimportuj proste modele 3-D za pomocą Obiektu testowego węzeł sprawdzający jakość śledzenia.

Aby uzyskać precyzyjne rozmieszczenie, przyciągaj obiekty do obliczonych punktów 3-D. Jeśli masz do czynienia z różnymi wzniesieniami, takimi jak próg drzwi, dodaj elementy śledzące w punktach narożnych, zbuduj przybliżony równoległościan i umieść obiekt na jego górnej powierzchni.

Odtwórz całą sekwencję, aby potwierdzić spójność. Ta faza testowa wyklucza oświetlenie, tekstury i cienie, koncentrując się wyłącznie na dokładności pozycjonowania.

Od PFTrack do Mayi

Ostatnim krokiem w PFTrack jest eksport. Użyj opcji Eksportuj węzeł do generowania danych z kamery i sceny w formacie zgodnym z pakietem 3-D. Na potrzeby tego samouczka eksportujemy do programu Autodesk Maya.

Gdy otworzysz wyeksportowaną scenę w programie Maya, animacja kamery jest już gotowa, a obiekty 3-D zachowują swoje pozycje względem materiału filmowego na żywo.

W tym momencie możesz zastosować tekstury, oświetlenie i wyrenderować scenę do ostatecznej kompozycji.

Na tym kończy się część I naszej serii. Teraz wiesz, jak używać śledzenia kamery do integrowania siatek 3-D z rzeczywistym materiałem filmowym.

W następnej części omówimy:

• Animowanie obiektów 3-D w klipie wideo.
• Realistyczne techniki oświetlenia i renderowania 3D.
• Wskazówki dotyczące bezproblemowej integracji materiału 3D i materiału filmowego na żywo.

Jeśli spodobał Ci się ten artykuł, śledź mnie na LinkedIn, aby uzyskać więcej informacji.

Nie znasz jeszcze tworzenia zasobów 3-D? Sprawdź te powiązane artykuły:

• Tworzenie przepływu pracy ACES dla realistycznego oświetlenia za pomocą 3-D
• Popraw jakość renderowania dzięki kompozycji warstw w programie After Effects
• Od edycji fanów Call of Duty do teledysków Russa:wywiad z artystą 3-D Vollutem
• Odblokuj moc 3-D w After Effects za pomocą Helium
• Jak stworzyć prawdziwy trójwymiarowy teren w Blenderze (bez wtyczek)