Duże modele językowe (LLM), takie jak ChatGPT, Gemini, Claude, Perplexity i Grok, interpretują treści wideo przede wszystkim za pomocą wskazówek tekstowych. Mogą:
- Wyciągaj wnioski z transkrypcji wideo.
- Podaj linki do filmów uznanych za istotne w kontekście zapytania użytkownika.
- Przeanalizuj transkrypcję i metadane filmu, gdy zostaniesz o to poproszony.
W praktyce LLM przetwarzają język pisany; nie mogą jeszcze bezpośrednio analizować ruchomych obrazów i strumieni audio. Ograniczenie to wynika w dużej mierze z samej ilości danych. Na przykład 100 słów zwykłego kodu HTML waży około 0,8 KB, podczas gdy ta sama treść renderowana jako 45-sekundowy film HD zajmuje około 20 MB, czyli około 25 000 razy więcej danych. W rezultacie tylko wyspecjalizowane roboty mogą obecnie analizować pliki wideo na żądanie, a roboty ogólnego przeznaczenia w dalszym ciągu nie mają takiej możliwości w przypadku każdego napotkanego filmu wideo.
Z tego powodu optymalizacja wideo dla LLM musi koncentrować się na otaczających metadanych tekstowych. Kluczowe elementy to:
Transkrypcje, tytuły i opisy
Każdy film powinien mieć pełną transkrypcję, jasny tytuł i szczegółowy opis wyjaśniający jego treść. Elementy te muszą być widoczne bezpośrednio w źródle strony – bez opakowań JavaScript i ramek iframe – aby roboty LLM mogły je odczytać. Niestety ponad 95% filmów internetowych opiera się na dostarczaniu JavaScript lub iframe, co ukrywa ich metadane przed wieloma systemami AI.
Przyjazne osadzaniu LLM Wistii rozwiązują ten problem, osadzając transkrypcję jako zwykły tekst HTML w kodzie osadzania, a następnie używając JavaScript do zastąpienia tego tekstu odtwarzaczem wideo. Dzięki takiemu podejściu roboty indeksujące i użytkownicy, którzy nie mogą renderować wideo, nadal otrzymają zastępczą wersję tekstową.
W przypadku witryn zawierających filmy z YouTube obowiązuje ta sama zasada. Osadzone ramki iframe YouTube są niewidoczne dla robotów LLM, więc jedynym niezawodnym sposobem, aby sztuczna inteligencja zrozumiała wideo, jest dołączenie transkrypcji jako widocznego tekstu na stronie. Przesyłanie dokładnych, wielojęzycznych transkrypcji do YouTube jest niezbędne, mimo że transkrypcje te nie zostaną uwzględnione w ogólnym zestawie szkoleniowym LLM ze względu na warunki korzystania z usługi YouTube zabraniające zbiorczego skrobania.
A co ze związkami Gemini z YouTube?
Powszechnie panuje błędne przekonanie, że własność Google zarówno Gemini, jak i YouTube gwarantuje bezproblemową integrację. Chociaż Gemini może uzyskać dostęp do bazy danych filmów YouTube z dodatkowymi metadanymi, jego działanie pozostaje podobne do innych rozwiązań LLM:w celu identyfikacji odpowiednich filmów opiera się na cytatach i referencjach internetowych. Ranking filmów w wynikach wyszukiwania nie przekłada się automatycznie na filmy wyróżnione przez Gemini.
Perspektywy na przyszłość:czy LLM będą bezpośrednio przetwarzać pliki wideo?
Eksperci przewidują, że w ciągu najbliższych kilku lat LLM uzyskają moc obliczeniową umożliwiającą interpretację treści wideo w sposób bardziej podobny do ludzkiego. Jednak to, czy ta funkcja stanie się głównym nurtem, zależy od przyrostowej wartości, jaką przynosi, w porównaniu z kosztami przetwarzania. Obecne prognozy sugerują, że do 2028 r. firmy LLM będą w stanie analizować JavaScript w sposób porównywalny z Googlebotem, a do 2031 r. będą mogły rutynowo przetwarzać enkapsulowane pliki wideo. Do tego czasu zasada pozostaje prosta:jeśli treści nie da się odczytać jako tekstu, pozostaje ona niewidoczna dla sztucznej inteligencji.