Zaawansowane śledzenie obiektów 3D za pomocą PFTrack:część 2

Zacznijmy od miejsca, w którym skończyliśmy! Tym razem pokażemy pewne ulepszenia integracji 3D i ukończymy nasz niestandardowy klip wideo.

W naszym poprzednim artykule z tej dwuczęściowej serii pokazaliśmy kilka doskonałych funkcji PFTrack. To oprogramowanie nie tylko rozpoznaje rzeczywisty ruch kamery, ale także śledzi obiekty 3D.

W pierwszym kroku opublikowaliśmy krótki klip przedstawiający moją osobę na zielonym ekranie. Po drugie, wprowadziliśmy maskę 3D, która musi najdokładniej podążać za ruchem mojej głowy. Jak na razie bardzo dobrze!

Odtwarzając tę krótką sekwencję, zauważamy, jak dopasowaliśmy maskę 3D do obrotu głowy.

Jednak nad maską jest jeszcze trochę pracy, bo np. sznurowadła nie mają odpowiedniego kształtu wokół głowy. W ten sam sposób chcemy przygotować klip do ostatecznego renderowania, ale ujęcie wymaga dodatkowych elementów, aby efekt był skuteczny.

Krótko mówiąc, nadal potrzebujemy dodatkowych ulepszeń i integracji, aby uzyskać wysokiej jakości prace 3D. To, co właśnie widzieliśmy, to wynik śledzenia obiektu.

Ostateczny wynik będzie mniej więcej taki:

Zanim uzyskamy ostateczny wynik, należy podjąć wiele działań.

Oto lista kontrolna:

• Rozwiązywanie pozycji koronkowych
• Tworzenie matowych geometrii
• Cieniowanie matowych geometrii
• Tworzenie sieci cieniującej dla maski
• Oświetlenie i renderowanie
• Usuwanie zielonego ekranu
• Kompozycja, korekcja kolorów i końcowy eksport

Wejdźmy do oprogramowania 3D i rozpocznijmy naszą podróż!

Odtwarzanie ujęcia w oprogramowaniu 3D

Po wyeksportowaniu z PFTrack ujęcie jest odtwarzane w naszym preferowanym oprogramowaniu 3D zgodnie z oczekiwaniami. Niemniej jednak mamy do czynienia z dwoma głównymi, istotnymi problemami.

Boczne sznurowadła w kilku klatkach nie obejmują odpowiednio głowy. Co gorsza, są one widoczne przez otwór maski, ponieważ tył sceny nie jest zamaskowany geometrią 3D.

Przejdźmy przez te główne problemy i znajdźmy odpowiednie rozwiązanie.

Rozwiązywanie pozycji koronki

Szczerze mówiąc, uzyskanie przyzwoitego wyniku na tym etapie może zająć trochę czasu. Maska posiada trzy sznurówki – jedno u góry i dwa po bokach. Muszą dokładnie pasować do profilu głowy.

Ogólnie rzecz biorąc, nie ma konkretnego narzędzia, którego można by użyć, ale ogólnie rzecz biorąc, powszechne jest stosowanie mniej destrukcyjnych technik. Pamiętaj, aby wielokrotnie przeglądać klips i sprawdzać, czy sznurowadła są dobrze dopasowane w każdej klatce.

Jeśli masz inne alternatywy, unikaj bezpośredniej manipulacji wierzchołkami w celu zmiany kształtu sznurówek. Może to zadziałać w niektórych przypadkach – na przykład podczas przesuwania małych fragmentów siatki – ale tutaj musimy zastosować duże zmiany. W zależności od używanego oprogramowania warto skorzystać z modyfikatorów, które nie powodują efektu rozciągania ani ogólnie dziwnych deformacji.

Na przykład w Mayi uznałem, że narzędzie kratowe jest doskonałym rozwiązaniem. Tworzy po prostu konfigurowalną liczbę wierzchołków sterujących — czyli punktów sieci — wokół geometrii, z których każdy kontroluje określoną część siatki. W rezultacie zmieniasz kształt koronki, przesuwając punkty siatki w przestrzeni 3D. W ten sposób łatwo jest manipulować modelem bez powodowania dziwnych deformacji.

Wygładź geometrię poprzez zastosowanie kilku narzędzi rzeźbiarskich. Pomimo użycia deformatora takiego jak siatka, i tak możesz wprowadzić pewne niewielkie efekty rozciągania. Aby tego uniknąć, Maya oferuje szereg narzędzi do rzeźbienia.
Dla mnie gładki , zrelaksuj się i chwyć narzędzia robią swoje!

Maskowanie ukrytych części

Jeśli myślisz o renderowaniu z maską i sznurowadłami, przygotowujesz scenę nieprawidłowo!
Jeśli prawdą jest, że maska zakrywa znaczną część głowy, to niestety nadal widać przez dziurki część sznurówek. Jak więc ukryć to, co powinno być ukryte zgodnie z punktem widzenia kamery?

Odpowiedź jest stosunkowo prosta. Musimy dodać kilka dodatkowych siatek działających jako geometrie matowe.

Mówiąc najprościej, wszystko za matową geometrią, z obecnej perspektywy, jest niewidoczne i nie renderowane. Ponieważ sznurowadła przechodzą przez otwory, zduplikuj część geometrii maski Jasona, ale pamiętaj o wypełnieniu małych otworów. Następnie umieść go tuż za oryginalną maską.

Jeśli może to wydawać się nieco skomplikowane, ułatwimy to dzięki obrazom, które nie wymagają objaśnień.

Podczas gdy postać się obraca, sznurowadła nie są renderowane zgodnie z oczekiwaniami. Szczególnie patrząc z boku, koronkę obserwujemy po przeciwnej stronie – powinna być zasłonięta sztuczną główką 3D.

Teraz zbudujmy przybliżony kształt głowy 3D zachowujący się jak matowa geometria.

Pamiętaj, aby nie spędzać dużo czasu na ulepszaniu wyglądu tych geometrii. Jedynym wymaganiem jest możliwie najlepsze przybliżenie kształtu głowy.

Prawie skończyliśmy ustawianie, ale nadal musimy przypisać prawidłowy moduł cieniujący do tych geometrii.
Jak zapewne zauważyłeś, często używamy terminu „matowy”, omawiając te siatki.

W tym miejscu termin ten jest powszechnie nazywany maską — nie należy go mylić z maską naszego Jasona — ponieważ uniemożliwia oprogramowaniu renderowanie tego, co znajduje się za maską, zgodnie z bieżącą klatką.

Rzućmy okiem na właściwości cieniowania.

Właściwości cieniowania dodatkowych geometrii

Nie ma znaczenia, czy podczas pracy z cieniowaniem używasz programu Maya, 3ds Max itp. Wystarczy zrozumieć, jak zastosować prawidłowe ustawienia.

W naszym przypadku używamy Arnolda jako renderera. Jeśli jesteś bardziej przyzwyczajony do korzystania z innego narzędzia, śmiało!

Arnold oferuje wielofunkcyjny moduł cieniujący powierzchni o nazwie „aiStandardSurface”. Zaznacz „Włącz matowy” w sekcji „Matowy”, gdzie masz również dwie proste opcje:

• Matowy kolor
• Matowe krycie

Ten pierwszy ustawił kolor – w naszym przypadku czystą czerń. To ostatnie ma wpływ na Kanał Alfa .

Podsumowując, budujemy odpowiednie maskowanie z punktu widzenia kamery, ale bez zasłaniania oryginalnego materiału.

Na przykład, ponieważ tylna koronka pojawia się przez maskę Jasona w określonej klatce, musimy przypisać różnym geometriom czarny matowy kolor i ustawić Matowe krycie na 0. Kolor czarny ukryje koronkę z tyłu w czasie renderowania, podczas gdy kanał alfa sprawi, że oczy oryginalnego materiału pojawią się ponownie tam, gdzie powinny!

Zobaczmy wizualny przykład.

Opcja Matte Opacity ustawiona na 0 tworzy alfa, w którym dziury mają kolor czarny. Gwarantuje to, że oryginalny materiał filmowy będzie widoczny przez dziury.

Gdybyśmy ustawili Matte Opacity na 1, kanał alfa byłby całkowicie biały, co oznaczałoby, że połączenie oryginalnego materiału w postprodukcji byłoby niemożliwe.

Dlatego należy pamiętać o poprzedniej prostej konfiguracji, która działa prawie cały czas. Musisz zintegrować modele 3D z klipami wideo.

Prosta sieć cieniowania dla maski Jasona

Obecnie prawie wszystkie zasoby 3D zawierają odpowiedni zestaw tekstur PBR .

Aby odświeżyć Twoje pomysły, PBR oznacza „Renderowanie oparte na fizyce” – trend w CGI, którego celem jest ulepszenie sposobu, w jaki światło wchodzi w interakcję z obiektami 3D. Oznacza to lepsze materiały, dokładne cieniowanie i tak dalej.

Biorąc to pod uwagę, maska Jasona ma zestaw tekstur PBR, którymi są:

• mapę Albedo który zawiera tylko informacje o kolorze
• Mapa chropowatości wskazuje, gdzie na powierzchni widoczne są rozmyte lub ostre odbicia
• mapa metalizmu służy do wskazania metalowych części siatki.
• Mapa normalna przechowuje normalne na powierzchni w celu symulacji fałszywych szczegółów, takich jak nierówności, szczeliny, nierówności itp.…

Praca z poprzednimi teksturami oznacza przyjęcie metody pracy z metalem/chropowatością.

Mapa albedo jest reprezentowana przez trochę brudu. Zmieniliśmy wartości chropowatości, aby uzyskać rozmyte i płytkie odbicie. Metalowość ma wpływ tylko na metalowe guziki, podczas gdy normalna mapa wpływa głównie na sznurowadła, co będzie widoczne w naszym ostatecznym renderowaniu.

Oto sieć cieniowania w programie Maya z kilkoma prostymi poprawkami dotyczącymi chropowatości, metaliczności i ogólnego koloru maski.

Kilka uwag na temat oświetlenia

W oryginalnym materiale, o którym mowa w I części tego cyklu, wykorzystałem dwa softboxy – jeden z lewej i jeden z prawej strony. Co więcej, naszym zamiarem nie było rzucanie na ten temat żadnych mocnych świateł. Zamiast tego softboxy służyły jako źródła światła dla zielonego ekranu. W rzeczywistości usuwanie tła podczas kompozycji jest znacznie łatwiejsze, jeśli zielone tło jest równomiernie oświetlone.

To powiedziawszy, ponieważ oryginalna postać nie ma bardzo silnego światła z określonego kierunku, mamy wystarczająco dużo miejsca, aby dostosować nasze oświetlenie Maya. Zdecydowałem się na 2-punktowy schemat oświetlenia.

Następnie dodałem bardziej dramatyczny wygląd do maski, zmniejszając intensywność światła lewego obszaru.

W następnym teście renderowania widać dramaturgię ze względu na kontrast i ciemne kolory na płótnie. Także stosunek oświetlenia —klucz do wypełnienia — jest wystarczająco wysoki, aby zwiększyć napięcie.

W naszym ostatecznym ujęciu będziemy renderować inny render, ale w tym eksperymencie chciałem pokazać, jak można uzyskać dramatyczny wygląd za pomocą zaledwie dwóch świateł i odrobiny kompozycji.

Alternatywnie zapraszam Cię do przetestowania sceny Majów za pomocą obrazu HDR i schematu oświetlenia.

Czas na renderowanie animacji

Wyrenderujmy maskę Jasona za pomocą naszych poprzednich matowych geometrii!

W rezultacie chcielibyśmy, aby niezależna warstwa w After Effects została nałożona na oryginalny materiał filmowy.
Ponadto dodaliśmy trochę mgły z Biblioteki Shutterstock.

W tej chwili to, co widzisz na poniższym filmie, to czysty wynik renderera Maya Arnold —jak dotąd nie wprowadzono żadnych innych poprawek.

Na podstawie poprzedniego renderowania możemy przetestować krycie i obecność prawidłowych części renderowania podczas przesuwania maski. Przez otwory maski widać na przykład mgłę, a tynk koronkowy działa prawidłowo.

Jak na razie bardzo dobrze!

Teraz następująca sekwencja obrazów przedstawia korekcję kolorów zastosowaną do maski w celu dopasowania głównego materiału do obrazu tła.

Zastosowano następujące efekty, aby poprawić integrację ze środowiskiem tła, ale rozważono także jednoczesne dopasowanie kolorów maski do oryginalnego materiału filmowego.

Chociaż korekcja kolorów jest elementem postprodukcji, istnieje wiele sposobów na osiągnięcie dobrej integracji.
Zazwyczaj pracuję nad komponentami RGB osobno, pracując na pojedynczych kanałach. Alternatywnie, tanie i szybkie rozwiązanie umożliwia dodanie efektu odcienia do warstwy docelowej poprzez próbkowanie białych i czarnych punktów z innej.

Wypróbuj oba rozwiązania i oceń, które z nich będzie dla Ciebie najlepsze!

Dodawanie oryginalnego materiału do After Effects

Zanim skupię się na głównym materiale, chciałbym poświęcić kilka słów na temat usunięcia zielonego ekranu z głównego obiektu.

Jak wiesz, kolor zielony to klucz chrominancji i można go łatwo wyodrębnić za pomocą wtyczki do After Effects o nazwie Keylight —w moim przypadku wersja 1.2.

Ma kilka opcji, ale ogólnie jest całkiem prosty. Jednakże ustawienie różni się w zależności od przypadku. Oto krótka lista podstawowych i niezbędnych kroków, które należy wykonać.

• Wybierz kolor z tła. Wybierz najczystszy i najbardziej jednolity obszar zielonego ekranu
• i dostosuj Wzmocnienie ekranu i Balans ekranu aby udoskonalić wynik
• W Korekcji koloru krawędzi sekcji, baw się prawie wszystkimi parametrami. Ta sekcja jest kluczowa podczas pracy w obszarach w pobliżu krawędzi. Bez prawidłowego dostrojenia obiekt prawdopodobnie będzie miał wyraźny i sztuczny kontur

Czasami eliminowanie kolorów krawędzi podrozdział może pomóc. W moim przypadku tego nie wykorzystałem, ponieważ przy poprzednich opcjach uzyskałem już ładną i doskonałą.

Znalazłem Efekt kolorystyczny Lumetri szczególnie przydatne. Pozwala bawić się światłami, cieniami, bielą, czernią i tak w poprzednim przypadku; pomogło mi to złagodzić odbicia lustrzane na mojej kurtce, jednocześnie dopasowując kolor do tła.

Na ostatnim zdjęciu widać ładne przejście kurtki w stronę tła.

Dodajmy ponownie maskę

Tło, maska i oryginalny materiał ładnie ze sobą współgrają. Jeśli jeszcze raz przyjrzysz się końcowej kompozycji, zauważysz, jak ważne jest poświęcenie czasu na szczegóły.

Porządkowanie animacji maski jest jednym z pierwszych zadań, które należy rozważyć na pierwszych etapach całego procesu. Gdy animacja będzie już PFTrack, może pojawić się kilka klatek do dopracowania.

W moim przypadku na szczęście nie miałem żadnych problemów, ponieważ śledzenie geometrii działało dobrze od samego początku – i dlatego nie rozmawialiśmy o tym.

Pamiętaj tylko, aby sprawdzać animację klatka po klatce i, w razie potrzeby, użyć edytora w oprogramowaniu 3D, aby dopracować wynik.

Ponadto rozważ pracę nad szczegółami, takimi jak pozycja sznurowania, która musi pasować do ruchu głowy podczas klipu.

Oto kilka kadrów z filmu przedstawiającego położenie koronki. Użyłem innego LUT, aby dodać większy kontrast.

jeśli zauważysz, że pozycja koronki wymaga regulacji w kilku klatkach, możesz stale kontynuować postprodukcję i dodać korzystny efekt zwany wypaczeniem siatkowym. Tworzy siatkę, w której każdy punkt kontroluje określony obszar materiału — podobnie do Lattice Deformer, którego użyliśmy w oprogramowaniu 3D.

Ponieważ zaleca się stosowanie go w przypadku drobnych poprawek, zapewnij prawie idealną i solidną animację z oprogramowania 3D.

Ostateczne rozważania

Mam nadzieję, że wiele się nauczyłeś z tej dwuczęściowej serii i teraz rozumiesz proces polegający na integrowaniu elementów w niestandardowym materiale filmowym.

Oto nowy wyeksportowany klip z większym kontrastem i innym LUT.

Zastosowaliśmy maskę zakrywającą twarz, więc oryginalne czarne markery są prawie w całości zakryte, nawet jeśli kilka pojawia się w klipie, ale w niczym nie rozpraszają widza i dobrze sprawdzają się w końcowym ujęciu.

Gdyby znaczniki były tak widoczne na skórze – nie w naszym przypadku – można byłoby zastosować Wypełnianie z uwzględnieniem zawartości w After Effects, aby usunąć je z oryginalnej kompozycji.

Dzięki tej funkcji możesz śledzić maskę wokół każdego czarnego znacznika, a program After Effects znajduje najlepszy obszar próbkowania do zastąpienia.

Jeśli uznasz artykuł za interesujący, zapraszam do śledzenia mojej strony na Linkedin, aby uzyskać więcej wiadomości.