Framepack: video AI di qualità con solo 6 GB di memoria grafica

Una ventata di novità arriva nel segmento della creazione di video con l'intelligenza artificiale. Fino ad ora appannaggio di costosi abbonamenti o server potentissimi, la generazione di filmati tramite AI è diventata accessibile anche con un comune computer portatile da gaming, il tutto gratis e con l'elaborazione in locale.

Il merito di questa potenziale svolta va a Lvmin Zhang, proveniente da GitHub, e Maneesh Agrawala della Stanford University. Il loro ingegno ha dato vita a FramePack, un'architettura di rete neurale capace di realizzare video di elevata qualità con un fabbisogno sorprendentemente basso di memoria video: soli 6 GB di VRAM. Questo risultato assume un'importanza ancora maggiore considerando la mole del modello, forte di ben 13 miliardi di parametri, che gli permette di generare clip completi della durata di 60 secondi a 30 fotogrammi al secondo, sfruttando una GPU di fascia media.

L'elemento chiave di FramePack risiede nel suo peculiare funzionamento. I modelli tradizionali di diffusione video si basano sui fotogrammi generati precedentemente per anticipare quelli successivi. Con l'aumentare della lunghezza del video, cresce inevitabilmente il "contesto temporale", ovvero il numero di fotogrammi passati che il modello deve considerare, portando a un incremento significativo del consumo di memoria. Proprio per questo motivo, la maggior parte dei modelli richiede almeno 12 GB di VRAM per operare in modo efficiente.

CLICCA QUI PER CONTINUARE A LEGGERE