Czym jest text-to-video?
Text-to-video (T2V) to technika AI, która generuje ruchome wideo bezpośrednio z opisu tekstowego. Model w jednym kroku wymyśla zarówno obraz, jak i ruch. Świetnie radzi sobie z dynamicznymi scenami, ale daje mniej kontroli nad dokładną kompozycją niż wygenerowanie najpierw obrazu i animowanie go w drugim kroku.
Wpisujesz „batyskaf przecina światłem czarną wodę, obok dryfują drobinki” i model text-to-video renderuje te kilka sekund od zera, bez zdjęcia źródłowego i bez kamery.
Jego mocną stroną są sceny, w których najważniejszy jest ruch: coś spada, płynie, zderza się albo przemieszcza w przestrzeni. Słabą stroną jest precyzja. Model wymyśla kompozycję i ruch jednocześnie, więc utrzymanie identycznego wyglądu w wielu scenach jest trudniejsze niż przy image-to-video.