Skyglass' wykorzystuje czujnik LiDAR iPhone'a do wirtualnej produkcji w czasie rzeczywistym. Przejdźmy do podstaw tej nowej perspektywy filmowej.
NAB jest tak duży, że czasami można odkryć jednoosobowe zespoły, którym udało się zdobyć stoisko za prawie żadne pieniądze w ostatniej chwili, a czasami są najbardziej interesujące. Głównym problemem jest znalezienie ich w przepastnych salach tego ogromnego wydarzenia.
W tym roku, pierwszym od trzech lat NAB, wzięło udział ponad 900 firm, w tym około 160 początkujących. Jeśli nigdy nie byłeś w NAB, są hale – na przykład North Hall – które są naprawdę masywne.
Firmy takie jak Blackmagic Design i Adobe znajdują się w tej sali, oznaczonej jako Utwórz w ramach nowego sposobu usprawniania tematów NAB. Istnieją również sale sklasyfikowane jako Capitalize , Połącz i Inteligentne treści .
Większe kabiny są dociążone w kierunku przodu hali, a nie parkingów z tyłu. Oznacza to, że idąc do tyłu, budki zaczynają się przerzedzać i stają się znacznie mniejsze. To tutaj możesz odkryć ekscytującą, choć raczkującą technologię.
Jednym z nich jest Skyglass Ryana Burgoyne'a. Ryan pracował kiedyś dla Apple. Pracował tam przez sześć lat jako starszy inżynier w zespole, który zbudował Reality Composer, narzędzie ułatwiające programistom tworzenie aplikacji AR.
Założył Skyglass w listopadzie 2021, aby udostępnić techniki produkcji wirtualnej niezależnym filmowcom i małym studiom.
Co to jest Skyglass?
Pomysł Ryana polegał na stworzeniu aplikacji i usługi renderowania w chmurze, która spodobałaby się twórcom treści, których nie było stać na wirtualny zestaw lub drogie kamery i ich śledzenie. Chciał wykorzystać czujnik LiDAR wprowadzony do iPhone'a z iPhone'a 12.
Opisuje swoją wizję,
Jego pomysł polegał na użyciu LiDAR, który mierzy podróż światła do i z obiektu i wirtualnie pozycjonuje ten obiekt. Jego aplikacja pobierała następnie dane z LiDAR i wysyłała je do chmury, gdzie Unreal Engine renderowałby je z perspektywą kamery dozwoloną przez LiDAR. Ten render jest następnie przesyłany strumieniowo do telefonu w celu komponowania w czasie rzeczywistym z materiałem na żywo.
W efekcie Skyglass śledzi pozycję i orientację aparatu w telefonie i przesyła je do chmury, gdzie tworzony jest render środowiska wirtualnego i odsyłany z powrotem.
Czego potrzebujesz?
Skyglass mówi, że wszystko, czego potrzebujesz, aby zacząć korzystać z efektów wizualnych w czasie rzeczywistym, to iPhone z aplikacją Skyglass i połączeniem internetowym (zalecana prędkość pobierania co najmniej 10 Mb/s). Skyglass wymaga skanera LiDAR dostępnego na iPhonie 12 Pro, 12 Pro Max, 13 Pro lub 13 Pro Max.
Skyglass zawiera bibliotekę środowisk wirtualnych do wyboru w celu rozszerzenia usługi. Możesz nawet stworzyć swoje wirtualne środowisko, tworząc Asset Pack i przesyłając go do Skyglass Cloud lub Skyglass Server.
Skyglass ma własną wtyczkę Unreal Engine o nazwie Forge, dzięki której możesz utworzyć pakiet zasobów lub zaimportować wykonane modele 3D lub skorzystać z Unreal Asset Marketplace.
Jeśli chcesz dostroić swój kompozyt, możesz pobrać tylko płyty tła z Skyglass Cloud lub Skyglass Server oraz materiał z zielonego ekranu z iPhone'a i zaimportować je do edytorów, takich jak Nuke, Fusion, After Effects itp.
Korzystanie z innych aparatów
Istnieją sposoby na wykorzystanie lepszych aparatów niż ostatnio wprowadzone iPhone'y do Skyglassa. Wiąże się to jednak z kalibracją przesunięć między iPhonem a czujnikami kamer filmowych, na przykład za pośrednictwem sieci NDI. Wydaje się to dość skomplikowane, ale umożliwia renderowanie metadanych ostrości, przysłony i zoomu obiektywów natywnych, aby dopasować je do nagranego materiału.
Mamy nadzieję, że możemy dowiedzieć się więcej o Skyglass od Ryana i sami wypróbować aplikację. Jeśli jesteś w NAB, znajdź go w North Hall na stoisku 1138 lub sprawdź jego stronę internetową www.skyglass.com/.