L. Bardon . – Si les deepfakes existent maintenant depuis plusieurs années, le casting et l’acting de deepfakes sont relativement récents. Les premières technologies de deepfakes n’étaient pas très réalistes. Elles étaient principalement utilisées dans les “coins sombres” d’Internet pour apposer le visage de célébrités sur des vidéos pornographiques sans leur consentement. Mais à mesure que les deepfakes sont devenus de plus en plus réalistes, de plus en plus d’artistes et de cinéastes ont commencé à les utiliser dans des productions de qualité professionnelle et des publicités télévisées.
A quel point perdons-nous quelque chose dans la traduction lorsque des émissions de télévision et des films sont sous-titrés ou doublés dans une nouvelle langue ? La start-up d’IA Flawless affirme avoir développé une innovation technique qui pourrait aider les émissions de télévision et les films à atteindre sans effort de nouveaux marchés dans le monde entier : les doublages deepfake.
On pense souvent que les deepfakes consistent uniquement à manipuler l’image entière d’une personne ou d’une scène, mais la technologie de Flawless se concentre sur un seul élément : la bouche. Les clients alimentent le logiciel de la société avec la vidéo d’un film ou d’une émission de télévision ainsi qu’avec des dialogues doublés enregistrés par des humains. Les modèles d’apprentissage automatique de Flawless créent alors de nouveaux mouvements de lèvres qui correspondent au discours traduit et les collent automatiquement sur la tête de l’acteur. Les résultats – malgré le nom de la société – ne sont pas parfaits à 100 %, mais ils sont plutôt bons.
Ce qui rend la technologie de Flawless particulièrement intéressante, c’est son potentiel d’extension. L’argument de Flawless est que les doublages deepfake offrent un excellent rapport qualité-prix : ils sont peu coûteux et rapides à créer, surtout si on les compare au coût des remakes complets. De plus, avec l’avènement des plateformes de streaming mondiales comme Netflix, Disney Plus et Amazon Prime Video, il est plus facile que jamais pour ces contenus doublés d’atteindre les marchés internationaux. Flawless a développé ces techniques au cours des trois dernières années, explique M. Lynes, ce qui a permis d’accélérer le temps de production et de réduire la quantité de séquences d’entrée. Le résultat final est toujours un équilibre entre le doublage automatisé et la retouche manuelle (environ 85 % contre 15 %), mais le montage est rapide.
