L’AI video open-source di Lightricks offre 4K, audio e rendering più veloce

Lightricks sta alzando la posta per la creazione e l’iterazione rapida di video con il suo ultimo modello di intelligenza artificiale. L’azienda sostiene che il nuovo modello di fondazione LTX-2 è in grado di generare nuovi contenuti a una velocità superiore a quella di riproduzione, oltre ad alzare il livello di risoluzione e qualità.

L’LTX-2 open-source è in grado di generare un video stilizzato di sei secondi ad alta definizione in soli cinque secondi, senza alcun compromesso in termini di qualità, consentendo ai creatori di produrre contenuti professionali molto più velocemente rispetto al passato.

È un risultato impressionante, ma non è l’unico parametro che distingue LTX-2 dagli altri. Combina la sintesi audio e video nativa con la trasparenza open-source e, se gli utenti sono disposti ad aspettare solo qualche secondo in più, possono migliorare i loro output fino alla risoluzione 4K con un massimo di 48 fotogrammi al secondo, dice l’azienda. Inoltre, i creatori possono eseguire il software su GPU di livello consumer, riducendo drasticamente i costi di calcolo.

I modelli di diffusione diventano maggiorenni

LTX-2 è un cosiddetto modello di diffusione, che funziona aggiungendo in modo incrementale del “rumore” al contenuto generato e riducendo poi tale rumore fino a quando l’output non assomiglia alle risorse video su cui il modello è stato addestrato.

Con LTX-2, Lightricks ha accelerato il processo di diffusione, in modo che i creatori possano iterare le loro idee producendo anteprime dal vivo quasi istantaneamente. Il modello è anche in grado di generare contemporaneamente l’audio di accompagnamento, sia esso una colonna sonora, un dialogo o un effetto sonoro ambientale, accelerando notevolmente i flussi di lavoro creativi.

Si tratta di una grande novità, perché prima i creatori dovevano creare l’audio separatamente dal video e poi passare il tempo a cucirlo insieme e ad assicurarsi che la sincronizzazione fosse perfetta. I modelli Veo di Google sono stati apprezzati per la loro potente integrazione della generazione di suoni sincronizzati, quindi queste nuove funzionalità di LTX servono a rafforzare l’idea che la tecnologia di Lightricks sia all’avanguardia.

Per quanto riguarda le opzioni di accesso, con LTX-2 Lightricks offre ancora molta flessibilità ai creatori. La piattaforma LTX Studio, fiore all’occhiello dell’azienda, è rivolta ai professionisti che, in alcuni casi, sono disposti a sacrificare un po’ di velocità per creare video di altissima qualità. Con le velocità di elaborazione leggermente più basse che ne derivano, saranno in grado di produrre video in risoluzione 4K nativa fino a 48 fps, creando lo stesso standard che ci si aspetta dalle produzioni cinematografiche, sostiene Lightricks.

La piattaforma offre un’ampia gamma di controlli creativi che influiscono sui parametri personalizzabili del modello. Ulteriori dettagli saranno annunciati a breve, ma dovrebbero includere i controlli di posa e profondità, la generazione video-to-video e le alternative di rendering: tieni d’occhio la data di uscita, prevista per il prossimo autunno.

Il co-fondatore e amministratore delegato di Lightricks, Zeev Farbman, ritiene che le maggiori capacità di LTX-2 dimostrino quanto i modelli di diffusione stiano finalmente diventando maturi. In un comunicato ha dichiarato che LTX-2 è: “Il motore di intelligenza artificiale creativa più completo ed esaustivo che abbiamo mai realizzato, che combina audio e video sincronizzati, fedeltà 4K, flussi di lavoro flessibili ed efficienza radicale”

“Non si tratta di un vaporware o di una demo di ricerca”, ha dichiarato. “Si tratta di una vera e propria svolta nella generazione di video”

Una pietra miliare importante

Con LTX-2, Lightricks sta dimostrando di essere all’avanguardia nella generazione di video AI, con la piattaforma che arriva dopo una serie di novità del settore nei precedenti modelli LTXV.

A luglio, la famiglia di modelli LTXV dell’azienda, tra cui LTXV-2B e LTXV-13B, è stata la prima a supportare la generazione di video di lunga durata, dopo un aggiornamento che ha esteso l’output fino a 60 secondi. In questo modo, la produzione di video AI è diventata “veramente diretta”, con gli utenti in grado di iniziare con una richiesta iniziale e di aggiungere ulteriori richieste in tempo reale mentre il video viene trasmesso in diretta.

LTXV-13B aveva già la reputazione di essere uno dei modelli di creazione video più potenti in circolazione, anche prima dell’aggiornamento di un minuto. Lanciata a maggio, è stata la prima piattaforma del settore a supportare il rendering multi-scala, che permette agli utenti di migliorare progressivamente i loro video chiedendo al modello di aggiungere più colore e dettagli, passo dopo passo, nello stesso modo in cui gli animatori professionisti “stratificano” ulteriori dettagli sul loro lavoro nei processi di produzione tradizionali.

Il modello 13B è stato addestrato su dati concessi in licenza da Getty e Shutterstock. Le partnership dell’azienda con questi colossi dei contenuti sono importanti non solo per la qualità dei dati di addestramento, ma anche per ragioni etiche; i risultati dei modelli sono molto meno problematici in termini di copyright, un problema che affligge molte altre creazioni di modelli AI.

Lightricks ha anche rilasciato una versione semplificata di LTXV-13B che semplifica e velocizza il processo di diffusione, consentendo di generare contenuti in soli quattro-otto passaggi. La versione distillata supporta anche i LoRA, il che significa che può essere messa a punto dagli utenti per creare contenuti più in sintonia con lo stile estetico di un progetto.

Modelli di fatturazione innovativi

Come i modelli precedenti, LTX-2 sarà rilasciato con una licenza open-source, il che lo rende una valida alternativa alla serie di modelli Wan2 di Alibaba. Lightricks ha sottolineato che si tratta di un modello veramente open-source, anziché solo “open access”, il che significa che i pesi pre-addestrati, i dataset e tutti gli strumenti saranno disponibili su GitHub, insieme al modello stesso.

LTX-2 è disponibile per gli utenti in LTX Studio e attraverso le sue API, mentre la versione open-source sarà rilasciata a novembre.

Per chi preferisce utilizzare la versione a pagamento tramite API, Lightricks offre prezzi flessibili, con costi che partono da soli 0,04 dollari al secondo per una versione che genera video HD in soli cinque secondi. La versione Pro bilancia la velocità con le prestazioni e qui i prezzi partono da 0,07 dollari al secondo. La versione Ultra costa $0,12 al secondo per la generazione di video in risoluzione 4K a 48 fps, oltre all’audio a piena fedeltà. I prezzi variano anche in base alla risoluzione: gli utenti possono scegliere tra 720p, 1080p, 2K e 4K.

Lightricks sostiene che, grazie all’efficienza dell’elaborazione del modello, il suo prezzo rende LTX-2 fino al 50% più economico rispetto ai modelli concorrenti, rendendo i progetti estesi più economicamente sostenibili, ma con un’iterazione più rapida e una qualità superiore rispetto alle generazioni precedenti. In alternativa, gli utenti potranno utilizzare il modello scaricando la versione open-source ed eseguendola su GPU di livello consumer dopo l’arrivo su GitHub il mese prossimo.

Fonte dell’immagine: Unsplash