Soms wordt het erg vervelend om ondertitels van buitenlandse films te lezen, en daarom worden de meeste films in verschillende talen gesynchroniseerd. Maar nasynchronisatie heeft perfectie nodig, anders kan het de sfeer van de film verpesten. Meestal komen deze nagesynchroniseerde dialogen niet overeen met de lipbewegingen van de acteur. Om dit probleem aan te pakken, heeft een bedrijf genaamd Flawless een AI-aangedreven algoritme ontwikkeld dat de gezichtsprestaties van de acteur zal vervangen om overeen te komen met de woorden in de dialoog.
Deze tool heeft veel potentie om films toegankelijker en betaalbaarder te maken. Dergelijke kunstmatige intelligentie en door neurale netwerken aangedreven tools kunnen echter worden gebruikt om foto's en video's van publieke figuren te manipuleren om situaties te creëren die nooit echt hebben plaatsgevonden.
Flawless gelooft dat kunstmatige intelligentie in staat is om 'perfect lip-gesynchroniseerde visualisaties in verschillende talen' te creëren. Het bedrijf heeft een showreel geplaatst die zeer overtuigend is omdat te zien is dat de technologie geen enkel effect heeft op de gezichtsuitdrukkingen van de acteur, maar op de een of andere manier voelen de dialogen natuurlijker aan dan bij de traditionele manier van dubben.
Flawless zei dat TrueSync-software dezelfde tools gebruikt die verantwoordelijk zijn voor deepfake-video's om het gezicht van een acteur in een film te manipuleren en aan te passen, zodat de bewegingen van hun lippen beter overeenkomen met hoe ze in de scène zouden zijn geweest, oorspronkelijk werd uitgevoerd in die respectieve taal .
TrueSync analyseert het gezicht van de acteur om zijn beweging te detecteren en maakt het met behulp van neurale netwerken en doet slim de vereiste aanpassingen zonder het hele gezicht te beïnvloeden. Het systeem was jarenlang in ontwikkeling en nu heeft het bedrijf het eindelijk commercieel gelanceerd.
In de video konden we nog twee clips zien uit de film ‘Forrest Gump’. De film is oorspronkelijk opgenomen in de Engelse taal, maar in de video kunnen we de implementatie van TrueSync zien, waarbij de clips perfect in het Spaans en Japans worden nagesynchroniseerd.
De technologie vordert. In de wereld van vandaag kan men films van Hollywood-kaliber produceren met alleen een smartphone en een laptop. Kunstmatige intelligentie maakt dit proces wel eenvoudiger en minder tijdrovend. Hoe meer we onderzoeken, hoe meer we betaalbare films kunnen produceren en ook tijd kunnen besparen. We kunnen de vooruitgang al zien in Hollywood-films zoals Terminator, Jurassic Park of Movies from Marvel, waar het gebruik van kunstmatige intelligentie en computergraphics zo foutloos is dat je kunt denken dat het allemaal echt is. Met TrueSync zullen filmmakers in staat zijn om films in verschillende talen te produceren met naadloze lip-sync en zullen ze ook in staat stellen om de boodschap van de film precies zo over te brengen zoals ze oorspronkelijk bedoeld waren, zonder de authenticiteit te verliezen.
De recente Academy Award-winnende film Parasite heeft over de hele wereld een enorm succes gekend. Dit geeft aan dat mensen films in vreemde talen kijken. Het lezen van ondertitels wordt als storend ervaren. Nagesynchroniseerde films kunnen de prestaties van de acteur vaak niet rechtvaardigen. De emoties en het gevoel dat een acteur in zijn tekst legt, gaan verloren tijdens het dubben. Om dit te ondervangen en de oorspronkelijke essentie van de films te behouden, kan TrueSync van pas komen.