Création d'une vidéo de fiction. Tester l'intelligence artificielle générative de vidéo

Comemich · Lundi à 17:12

Vous allez rire de moi. Le bout d’essai que je présente est truffé de défauts. Ne croyez pas que c’est de ma faute. J’ai tout fait pour essayer de réaliser proprement ce test et j’y ai passé beaucoup de temps. L’idée de départ consistait à voir ce qu’on pouvait faire avec l’intelligence artificielle actuelle. J’avais fait un story-board de 14 minutes inspiré par un passage du livre « L’herbe d’or » de Jakez Hélias. Mon test est une scène de 1 min 30 sec, au milieu du court métrage. J’ai tout défini moi même : les paysages, les décors, les personnages, les accessoires. J’ai tout décrit méticuleusement : l’action, le dialogue, l’éclairage, les bruitages… Mais j’ai beau travailler les « prompts » pendant des heures, je n’obtiens pas exactement ce que je cherche à faire. La principale difficulté est d’assurer la cohérence entre les plans. Pour chaque plan, l’IA recalcule à chaque fois une nouvelle vidéo sans tenir compte des plans précédents, même si mon « prompt » précise que c’est le même personnage et qu’il ne faut pas lui changer la figure et les vêtements à chaque coup. Idem pour les décors, les couleurs, l’éclairage… L’astuce suggérée par le robot conversationnel (français) « Mistral » consiste à générer des images fixes représentant chaque personnage sous différents angles et attitudes. Puis de s’en servir comme référence dans la création de vidéos. Le résultat est imparfait, mais c’est déjà mieux. Certains logiciels s’avèrent plus performants (exemple Veo 3.1 et MyEdit) mais ils prennent des libertés avec ce qu’on leur demande. C’est souvent rédhibitoire.

Pour les dialogues, c’est la galère. Je ne maîtrise pas le timbre ni l’intonation de la voix. La synchronisation labiale est aléatoire. Le résultat est tellement irréaliste, que j’ai décidé de mettre les paroles en breton. C’est aussi nul qu’en français, mais comme on ne comprend rien, c’est plus supportable. Je n’ai pas pris le temps de mettre des sous titres.

Les mouvements de caméra sont difficiles à maîtriser car l’IA ne travaille pas en 3D. J’utilise parfois des recadrages avec le logiciel de montage, mais c’est au détriment de la qualité d’image.

Nos caméscopes, APN, drones, micros et accessoires ont encore de beaux jours devant eux, avant d’aller rejoindre les caméras super 8 sur leur étagère poussiéreuses. Mais le temps passe vite et les progrès sont spectaculaires. Je suis convaincu que l’IA sera capable de faire du vrai cinéma un jour prochain. La vidéo de fiction va devenir plus accessible aux amateurs. On a beau ricaner en regardant mon exercice, il faut reconnaître qu’on peut faire des décors et des paysages sympas en quelques minutes là où il aurait été impossible de fabriquer de tels décors. Il n’y a pas d’impossibilité du système pour assurer la cohérence des vues. C’est une question de méthode. Je suis certain que les développeurs seront capables de créer les outils appropriés. Je me souviens d’un collègue, passionné de photo argentique, qui se moquait de moi quand j’ai acheté mon premier appareil numérique 640 x 480. C’était en 1995.

Modifié Lundi à 17:14 par Comemich

alfa · Lundi à 17:35

Bonjour

ton expérience est super et bluffante! Certes cela ne vaut pas un bon vieux tournage (d'autant qu'en général, ce sont de bons moments partagés!) mais n'en reste pas moins que c'est spectaculaire ! tu as du y passer un temps considérable!
Il me semble que ton expérience est rapidement valorisable notamment pour certains effets spéciaux à insérer dans le montage et comme base à travailler sur ton logiciel d'effets spéciaux favori!

Encore bravo et tous mes vœux de plaisirs et de joies pour 2026 ! il me semble que pour cette nouvelle année on doit surtout te souhaiter une bonne santé pour poursuivre ce travail.

bernard94 · Lundi à 18:40

Tu as écrit : vous allez rire de moi.......Dans tes différents post j'ai cru comprendre que l'I A n'était pas ta tasse de thé mais que comme moi cela t'interpellait et ne te laissait pas indifférent. Alors bravo et merci d'avoir eu les c.....s de nous démontrer le résultat de ce que nous pouvons en faire ,c'est à dire pas grand chose à notre niveau. Bien sur j'ai ri mais pas de toi parce que j'éssaie également de trouver ce que je peux en faire .

Comemich · Lundi à 19:22

Merci pour vos réactions rapides. Mon test portait sur un film de fiction. Les contraintes du langage cinématographique ne sont pas encore compatibles avec l'IA générative. On est contraint de chercher une méthode pour contourner les défauts. On doit se contenter de compromis foireux. C'est un début et les choses évoluent vite. On peut déjà faire beaucoup de choses, clip musicaux, spots publicitaires, présentation d'un projet. Voici 5 secondes qui plairaient bien à l'office du tourisme:

titof44 · Lundi à 20:41

bonsoir Michel

cest bluffant mais très grave pour les acteurs monteurs caméraman etc

par contre pour les décors, pas pour les décorateurs, c’est interessant

bonne année de tournage

Comemich · Lundi à 21:32

Bonsoir Christophe,

C'est inquiétant pour l'avenir de certaines professions de l'industrie cinématographique. On aura toujours besoin d'auteurs, de réalisateurs, de monteurs. Il y aura de nouveaux métiers, car il ne faut pas croire que l'IA ça marche tout seul. Il faut savoir rédiger des requêtes pour diriger des acteurs fictifs, pour créer des ambiances, raconter des histoires. ça ne s'improvise pas, et l'IA ne fait pas tout à notre place. Elle essaye de faire ce qu'on lui demande. C'est une opportunité pour les vidéastes amateurs qui voient disparaitre certaines contraintes matérielles et financières. L'impact sera moins violent dans le reportage et le documentaire. On continuera à faire de la vidéo familiale, des gâteaux d'anniversaire et des souvenirs de vacances.

Galfi · il y a 18 heures

Tu t'en es plutôt bien sorti !

22 hours ago, Comemich said:

Pour les dialogues, c’est la galère. Je ne maîtrise pas le timbre ni l’intonation de la voix. La synchronisation labiale est aléatoire.

Kling s'en sort pas si mal sur ce point-là, en anglais, du moins (je n'ai pas testé d'autres langues).
Par contre, pour le timbre et l'intonation, il faudrait passer par un DAW (Ableton, Reaper, Cubase...) qui dispose d'outils pour cela.

Cubase permet notamment avec la fonction VariAudio de modifier le timbre et l'intonation.

22 hours ago, Comemich said:

La principale difficulté est d’assurer la cohérence entre les plans.

Luma (passé malheureusement en modèle payant) gérait pas mal avec la possibilité d'étendre les scènes (de 5 à 10 s, puis à 15, etc...).
Kling ne propose pas encore cette fonctionnalité, qui est pourtant courante sur les IA de génération musicale comme Udio ou Suno.
Je n'ai pas testé d'autres IA de génération vidéo, mais j'imagine que si Luma le propose, alors d'autres le proposent sans doute également.

Ne pas oublier que l'IA est en perpétuelle évolution : ce qui n'est pas simple aujourd'hui sera sans doute bien plus simple dans 6 mois.

22 hours ago, Comemich said:

Les mouvements de caméra sont difficiles à maîtriser car l’IA ne travaille pas en 3D.

Oui, mais tu peux définir des points de repère et demander à la caméra de se baser sur lesdits points, même si cette technique n'est pas non plus exempte de défauts.

Comemich · il y a 13 heures

J'ai testé une douzaine de logiciels en essai gratuit ou en version payante. Ils se ressembles tous même si certains sont mieux adaptés pour tel ou tel plan. Je n'en ai pas trouvé un qui se démarque nettement. Il y a manifestement des difficultés liées au principe de l'IA. Les produits disponibles ont encore beaucoup à apprendre. Dans le cinéma, le mouvement n'est qu'une suite rapide d'images fixes. Mais pour L'IA actuelle, ces images ne sont que des similitudes avec les images qu'elle a appris à reconnaitre. L'IA n'a pas connaissance de l'existence 3D des choses qu'elle représente. C'est rédhibitoire dans certaines séquences vidéo. Il sera difficile de dépasser cette limite, car c'est le principe même du système qui est en cause. J'attend qu'on me montre le contraire.