Przez lata filmowcy eksperymentowali z niezliczonymi artystycznymi pomysłami i metodologiami. Tworzenie i łamanie zasad tworzy nowe ścieżki w medium, zmieniając i udoskonalając sposób składania filmów.
Podobnie jak pojawienie się nowej technologii.
Na początku filmowcy zainteresowani ideą edycji proceduralnej tworzyli złożone równania matematyczne, aby określić, w jaki sposób można przyciąć sceny, aby stworzyć napięcie lub dodać dramaturgię. Mogą również przyciąć, aby dopasować długość wyniku lub uzyskać matematyczną zgodność z inną zmienną w swoim projekcie.
Wprowadzenie drukarek optycznych umożliwiło filmowcom ponowne kręcenie pasków filmu, otwierając drzwi dla kreatywności i efektów specjalnych.
W ostatnich latach potężny sprzęt i oprogramowanie wraz z językami programowania pozwoliły artystom na podjęcie dalszych kroków w celu rozwoju ich twórczości. Podczas gdy metody edycji proceduralnej wypierają idee kreatywności i wizji w matematyce i nauce, jest w nich metoda. Matematyka i nauka, postrzegane jako narzędzia do komunikowania wizji lub dostarczania kreatywności, mają wiele do zaoferowania filmowcom.
Jednym z przykładów idei lub koncepcji, które były używane w takiej czy innej formie przez większą część stulecia, jest edycja algorytmiczna.
Co to jest edycja algorytmiczna?
Choć brzmi to skomplikowanie, edycja algorytmiczna w swojej najprostszej formie odnosi się do edycji materiału filmowego do schematu lub planu.
Ten schemat może być tak prosty, jak „co cztery klatki, przełącz się z kamery A na kamerę B dla dwóch klatek, a następnie wróć do kamery A” lub nawet prostszy:„użyj jednej klatki materiału z A i jednej z B i powtórz ”.
Pomysł, że materiał filmowy będzie zgodny z wcześniej zaplanowaną mapą drogową lub bezpośrednim podejściem proceduralnym, jest podstawą edycji algorytmicznej. W kategoriach, które możemy sobie wyobrazić, odnosi się do techniki cięcia i ponownego składania materiału na podstawie schematu, konturu lub modelu.
Zanim przejdziemy za daleko, sam algorytm jest, według dobrych ludzi z Oksfordu, „procesem lub zestawem reguł, których należy przestrzegać w obliczeniach lub innych operacjach rozwiązywania problemów, zwłaszcza przez komputer”.
To doskonały sposób na opisanie i wprowadzenie edycji algorytmicznej. Wcześni twórcy filmów wizjonerskich, tacy jak Dziga Vertov i Sergei Eisenstein, stosowali matematyczne, schematyczne podejście do swoich montaży i scen w swoich filmach, tworząc złożone wykresy montażowe, aby kierować swoimi projektami.
Podczas gdy wizja Eisensteina umożliwiała widzom zobaczenie ideologicznego aspektu filmów, które oglądali, poprzez emocjonalny i psychologiczny wpływ nasycony przez użycie tej techniki, Wiertow rzeczywiście wierzył, że jego techniki matematyczne oczyściły proces i mogą doprowadzić do poprawy ludzkości dzięki do niezawodnej, absolutnie precyzyjnej metody, którą zastosował.
Kilka niesamowitych artykułów Clinta Ennsa, filmowca z Winnepeg, opisuje historię i praktyczne zastosowanie montażu algorytmicznego w sposób bardziej szczegółowy, niż ten autor jest w stanie pojąć. Jako uzupełnienie tego artykułu gorąco polecamy lekturę jego prac.
Oddanie go do użytku
Wielu innych wczesnych filmowców wykorzystywało ze świetnym skutkiem algorytmiczne techniki montażu, wielu z nich przy tworzeniu filmów empirycznych. Koncepcja z pewnością nadaje się do bardziej awangardowego podejścia do tworzenia filmów.
Weźmy na przykład pomysł na podstawowy film z migotaniem. Wykorzystując dwa fragmenty materiału — jeden cały czarny, drugi cały biały — edytując razem fragment, który pobiera klatkę z jednego klipu, a następnie z drugiego, powtarzając aż do końca klipów. Ta technika przyniosłaby bardzo wyjątkowy – i prawdopodobnie przyprawiający o mdłości – wynik. To powiedziawszy, jest to bardzo czyste podejście algorytmiczne.
Liniowy charakter tego utworu nie musi być jednak normą dla projektów zredagowanych algorytmicznie. Wiele algorytmów opracowanych w oprogramowaniu będzie zawierać zmienne losowe, które mogą zmienić część równania.
Wzięlibyśmy więc ten sam projekt, ale dodaliśmy zmienną losową do obsługi liczby klatek do pobrania tylko z drugiego klipu, pozostawiając tylko jedną klatkę z pierwszego klipu. Otrzymalibyśmy klatkę z pierwszego klipu, losową liczbę klatek z drugiego klipu, kolejną pojedynczą klatkę z pierwszego klipu… itd.
Co się zmieniło?
Chociaż jest to niekonwencjonalne podejście do edycji, prawdopodobnie brzmi też prawie niemożliwie przy użyciu narzędzi, których większość z nas używa na co dzień. To prowadzi nas do tego, jak edycja algorytmiczna różni się od naszego podejścia filmowego.
Kiedy edytujemy klipy w Premiere Pro, FCPX, Media Composer lub na dowolnej preferowanej platformie, patrzymy na nasz materiał jako klip – coś z początkiem, środkiem i zakończeniem – które zamierzamy odciąć. Jest bardzo oparty na osi czasu i słusznie; nasze platformy montażowe oparte są na montażu filmów. Kiedy upuszczamy klip na naszą oś czasu, patrzymy na cyfrowy odpowiednik analogowego klipu filmowego.
W przypadku edycji algorytmicznej podejście polega na innym rozpatrywaniu materiału filmowego — nie uzyskujemy do niego dostępu w ten sam sposób. Nie oglądamy całego klipu i nie decydujemy, co zatrzymać, a czego się pozbyć. Korzystając z tej techniki, rozważamy bezpośredni dostęp do dowolnej klatki dowolnego klipu w danej lokalizacji. Ta lokalizacja może być bazą danych lub po prostu folderem na twoim komputerze.
Nie ma to na celu odebrania naszym platformom edycyjnym — z pewnością umożliwiają nam one dostęp do każdej klatki każdego importowanego klipu — ale połączenie kompozycji nawet przy użyciu prostego schematu, takiego jak „jedna klatka z A, jedna klatka z B , powtarzam” byłoby uciążliwe i czasochłonne.
Napisanie fragmentu kodu obsługującego ten sam proces zajęłoby bardzo mało czasu. Kod uzyskuje dostęp do materiału filmowego nie jako fragmentu filmu, ale jako kontenera pełnego danych, dlatego folder lub baza danych jest jak gigantyczny kontener pełen danych audio i wideo z każdej zawartej w nim klatki.
Tak więc, jeśli kod może bezpośrednio uzyskać dostęp do dowolnej klatki dowolnego klipu w kontenerze, to powinno istnieć mnóstwo możliwości kreatywnego wykorzystania edycji algorytmicznej. Możliwe jest użycie zmiennych istniejących w fragmencie materiału, takich jak zmienność pikseli i odchylenia dźwięku, aby programowo określić, gdzie wykonać cięcia i jak ponownie złożyć fragment materiału.
Według tego opisu wzorem punktów edycji może być nawet partytura muzyczna. Cory Arcangel przeprowadził kilka imponujących eksperymentów, wykorzystując muzykę jako sterownik edycji. Jednym z przykładów jego pracy jest wideo na YouTube z Piątym Kaprysem Paganiniego, zmontowane razem z setek filmów instruktażowych dotyczących gitary. Zostało to prawdopodobnie osiągnięte dzięki użyciu oryginalnego fragmentu i napisaniu algorytmu, który analizował bazę danych filmów z YouTube w poszukiwaniu pasujących notatek. Choć trudne do obejrzenia, jest to doskonały przykład działania edycji algorytmicznej.
Kto to robi?
Świetnym przykładem współczesnego talentu korzystającego z edycji algorytmicznej — i demonstrującego dokładnie, jak to robi — jest Devon Crawford, genialny młody kanadyjski programista, który bada oprogramowanie i elektrotechnikę poprzez własne badania i dokumentuje je w YouTube.
Kanał Devona obejmuje szeroką gamę tematów interesujących dla entuzjastów technologii i programistów, takich jak przeglądanie gry, którą zakodował na pierwszym roku studiów, pobieranie prywatnych danych z Google — i odkrywanie szalonych rzeczy na ich temat — jak się w to wciągnął. kodowanie i tak dalej.
Wygląda na to, że Devon od tego czasu przeszedł do większych projektów, które nie są tak dokładnie dokumentowane online, ale jeden z jego ciekawszych eksperymentów polega na użyciu algorytmów do edycji klipów dla niego na podstawie kodu.
W tym filmie pisze program, który edytuje dla niego wideo, w którym trochę eksperymentuje ze zmiennymi dla różnych wyników. Gdy zaczyna udoskonalać aplikację, używa wykrywania ruchu — pamiętasz zmienność pikseli? — do określania cięć w swoim filmie, w istocie tworząc film, który wykorzystuje najbardziej zróżnicowane fragmenty jego klipów.
Całkiem interesujące, prawda? W ostatnich latach pojawiły się firmy, które miały nadzieję wykorzystać tego rodzaju technologię do automatycznej edycji materiału z kamer akcji. Przy jasnoniebieskim niebie i jaskraworóżowych tablicach wake'owych algorytm taki jak Devon prawdopodobnie wykonałby równie dobrą robotę jak fizyczny edytor.
Inne organizacje eksperymentują z edycją automatyczną lub algorytmiczną. Disney stworzył wielokamerowy algorytm edycji, który wykorzystuje różne zmienne do określania punktów edycji. W ich projekcie oprogramowanie szacuje ruch 3D każdej kamery, co pozwala na uchwycenie tego, na co kamery zwracają największą uwagę. Pozwala to oprogramowaniu poprawnie określić, kiedy i gdzie wykonać cięcie do innej kamery. Algorytm Disneya może również określić, która kamera ma najlepszy widok na obiekt i przełączyć się na nią, więc cięcie jest nie tylko na czas, ale także inteligentne.
Niezupełnie ludzki redaktor, ale na pewno się zbliża.
Co przyniesie przyszłość…
Choć wielu z nas pozostanie przy naszym filmowym podejściu do montażu, należy zauważyć, że uczenie maszynowe i stosowanie algorytmów towarzyszy nam już od jakiegoś czasu. Algorytmy określają skalowanie i optymalizację renderowania, interpolację klatek kluczowych i inne aspekty naszej pracy. Bardziej złożone algorytmy będą nadal kształtować całą naszą pracę, ponieważ firmy takie jak Adobe nadal koncentrują się na uczeniu maszynowym za pomocą Adobe Sensei.
Nie do końca przekonany? Spójrz na funkcję wypełniania z uwzględnieniem treści w programie After Effects. Przygląda się otaczającym pikselom i dokonuje oszacowania wypełnienia luki w czasie rzeczywistym.
Niezależnie od tego, czy zdecydujemy się podejść do edycji pod kątem programowym, czy pozostać przy naszym tradycyjnym podejściu, algorytmy są obecne w kinie od stulecia i będą z czasem coraz bardziej nieodłączne od naszych funkcji edycyjnych. Czy w przyszłości edycja algorytmiczna stanie się „edycją zautomatyzowaną”? Prawdopodobnie w niektórych przypadkach, ale prawdopodobnie jest za tym argument.
Czy więc przyszłość kina ma zastosowanie do montażu algorytmicznego? Wyobraź sobie scenariusz, w którym oprogramowanie automatycznie wycina i wypycha 25 wstępnych fragmentów filmu. Studio gromadzi publiczność testową, aby obejrzeć szkice, podczas gdy kamery, czujniki i dodatkowe oprogramowanie mierzą ich reakcje na każdą klatkę filmu. Na podstawie tych danych studio przygotowuje ostateczny, „doskonały krój”.