Diario di una troupe di agenti AI che fa cinema

Episodio 6 — LTX 2.3: dare movimento ai fotogrammi

Con Hansel e Gretel — il progetto più piccolo e saggio dell’episodio scorso — avevo finalmente dei keyframe puliti. Personaggi che non si sdoppiavano, facce giuste, composizioni approvate. Mancava solo la cosa per cui esiste il cinema: il movimento.

Qui entra in scena LTX 2.3, il modello che anima. E qui ho imparato che far muovere un’immagine ferma non è “il keyframe più qualche secondo di vita”. È un’arte oscura con regole tutte sue, e nessuna di quelle regole era scritta dove pensavo.

Animare un’immagine, non inventarne una nuova

Prima una distinzione che regge tutto l’episodio. Ci sono due modi di chiedere un video a un modello: puoi dargli solo del testo e lasciare che inventi tutto da zero (text-to-video), oppure puoi dargli un’immagine di partenza e chiedergli di animare quella (image-to-video). Io uso il secondo, sempre, per coerenza con il keyframe-first: l’immagine approvata è il punto di partenza sacro, e il modello deve metterla in moto senza tradirla.

“Senza tradirla” è la parte difficile. Perché il modello, lasciato a sé stesso, ha la fastidiosa tendenza a prendere il tuo bel keyframe e usarlo come vaga ispirazione invece che come vincolo. Gli dai una stanza al chiaro di luna e dopo mezzo secondo te la trasforma in pieno giorno. Ma a questo ci arriviamo nel prossimo episodio, perché merita un capitolo tutto suo.

Il collaboratore che riscrive il tuo lavoro

La prima sorpresa di LTX è stata scoprire che, tra me e il modello che anima, c’era un intermediario che non avevo invitato.

Nella catena c’è un piccolo modello “miglioratore” il cui compito, sulla carta nobile, è prendere il prompt e renderlo più adatto al motore video. In pratica si comportava come quel collega che ti rivede la presentazione “per aiutarti” e te la restituisce stravolta. Riscriveva le mie istruzioni. Reinterpretava le scene. E soprattutto faceva la cosa più dolorosa: mangiava i dialoghi. Una battuta che avevo scritto con cura spariva o usciva trasformata, perché il miglioratore aveva deciso che la sua versione era migliore.

Il risultato erano allucinazioni a comando: chiedevo una scena notturna e intima e mi ritrovavo personaggi in pieno giorno, oggetti comparsi dal nulla, comparse non richieste. Non era il motore video a sbagliare. Era il traduttore zelante messo davanti alla porta. La soluzione, per le inquadrature delicate, è stata semplice e brutale: scavalcarlo. Niente intermediario, il mio testo arriva al motore così come l’ho scritto. A volte il miglior aiuto è togliere di mezzo chi vuole aiutarti troppo.

La scoperta che ha ribaltato l’audio

Avevo costruito tutta la mia idea di audio su un’assunzione che si è rivelata sbagliata. Pensavo che, per far parlare un personaggio con un labiale credibile, dovessi dare al modello l’audio — registrare la battuta e fargliela seguire. Avevo persino progettato la pipeline attorno a questo: prima le voci, poi il video.

Sbagliato. Ho scoperto che LTX genera il labiale leggendo il testo del dialogo nel prompt, non ascoltando un file audio. Gli scrivi cosa dice il personaggio, e lui muove la bocca di conseguenza. Una rivelazione che ha semplificato un pezzo di architettura — e ne ha complicato un altro.

Perché è saltato fuori un problema squisitamente pratico: il prompt ha una lunghezza massima utile, e il dialogo, nelle mie strutture, finiva in fondo. Talmente in fondo che il modello, arrivato lì, aveva già esaurito l’attenzione e il dialogo non lo “leggeva” proprio. La cura è stata banale quanto controintuitiva: mettere il dialogo all’inizio del prompt, prima di tutto il resto. La cosa più importante per prima, come si fa con i titoli di giornale. Ovvio col senno di poi. Mai ovvio mentre ci sbatti la testa.

L’audio mediocre, detto onestamente

E qui devo essere franco, perché è esattamente il punto in cui questo diario si distingue dai video patinati che girano in rete.

LTX un audio lo genera. Voci, suoni, persino il labiale. Ma il risultato, a oggi, è mediocre. Le voci sono incerte, il labiale balla, la qualità non è quella che metterei sotto un film che voglio mostrare con orgoglio. È un limite reale, attuale, che non nascondo: il film che sto costruendo, sul fronte audio, oggi zoppica.

Faccio un passo indietro, perché qui c’è un pezzo di storia del progetto. All’inizio avevo previsto un reparto vocale dedicato — una voce sintetica di qualità e un checkpoint apposito per il casting, il CP3 dell’episodio 1. Strada facendo l’ho accantonato: per ora lascio che sia LTX a generare il sonoro insieme al video. La pipeline si semplifica, ma l’audio ne paga il prezzo.

Avrei potuto risolverlo subito appoggiandomi a un servizio vocale esterno di alta qualità — esiste, funziona benissimo. Ma sarebbe stato tradire il secondo pilastro del progetto, quello dell’episodio 1: voglio tutto in casa, sul mio ferro. Quindi per ora mi tengo l’audio mediocre come un debito dichiarato, e la voce sintetica locale e decente è uno dei prossimi traguardi veri. Preferisco un limite onesto sotto il mio tetto che una perfezione presa in affitto.

È una scelta, non una mancanza. Ma chi legge ha il diritto di sapere che, allo stato attuale, l’audio è il reparto più indietro di tutti.

Il taglio che non avevo chiesto

Un’ultima stranezza che vale la pena raccontare, perché dice molto su come “pensano” questi modelli. Ogni tanto LTX, nel mezzo di un’inquadratura che doveva essere un piano unico e continuo, decideva di sua iniziativa di fare uno stacco di montaggio — cambiava inquadratura da solo, come se avesse un montatore interno con idee proprie. Per un sistema dove sono io a decidere i tagli, è un piccolo ammutinamento. La contromossa è stata istruirlo esplicitamente a tenere la ripresa come un piano unico, senza stacchi. A volte devi ricordare al modello che il regista sei tu, non lui.

Dove siamo

A questo punto avevo i pezzi: keyframe puliti, un modello che li animava, i dialoghi al posto giusto, il traduttore invadente messo a tacere. Sulla carta, di nuovo, tutto a posto.

E di nuovo — come a ogni episodio di questo diario — la realtà aveva in serbo un dispetto. Perché quando ho cominciato ad animare sul serio, i video facevano una cosa che mi ha fatto venire i capelli bianchi: il primo fotogramma del video non era il keyframe che gli avevo dato. Il modello, nel primo mezzo secondo, buttava via la mia immagine di partenza e ne ricomponeva una sua.

Tutto il senso del keyframe-first — approva l’immagine, poi animala — crollava se l’immagine animata non era quella approvata.

Di questa battaglia, la più tecnica e la più istruttiva di tutte, parla il prossimo episodio.

Prossimo episodio: il primo fotogramma che si stacca dal seed. La battaglia più tecnica del diario.

Sono Massimo, di Mondo Digitale, Bologna. Progetto e orchestro sistemi multi-agente su n8n per la produzione audiovisiva. Se è il tuo campo – o cerchi qualcuno che lo faccia – scrivimi: info@mondodigitale.com