Le sourire énigmatique et peint de la "Joconde" est connu dans le monde entier, mais ce célèbre visage a récemment affiché une nouvelle gamme d'expressions surprenantes, grâce à l'intelligence artificielle (IA).
Dans une vidéo partagée sur YouTube le 21 mai, trois clips vidéo montrent des exemples déconcertants de la Joconde alors qu'elle bouge ses lèvres et tourne la tête. Elle a été créée par un réseau de neurones convolutionnels - un type d'IA qui traite les informations comme le fait un cerveau humain, pour analyser et traiter des images.
Les chercheurs ont formé l'algorithme pour comprendre les formes générales des traits du visage et comment ils se comportent les uns par rapport aux autres, puis pour appliquer ces informations aux images fixes. Le résultat a été une séquence vidéo réaliste de nouvelles expressions faciales à partir d'une seule image.
Pour les vidéos de La Joconde, l'IA a "appris" le mouvement du visage à partir d'ensembles de données de trois sujets humains, produisant trois animations très différentes. Alors que chacun des trois clips était encore reconnaissable comme la Joconde, des variations dans l'apparence et le comportement des modèles de formation ont prêté des «personnalités» distinctes aux «portraits vivants», Egor Zakharov, ingénieur à l'Institut des sciences et technologies de Skolkovo, et le Samsung AI Center (tous deux situés à Moscou), a expliqué dans la vidéo.
Zakharov et ses collègues ont également généré des animations à partir de photos d'icônes culturelles du XXe siècle telles qu'Albert Einstein, Marilyn Monroe et Salvador Dali. Les chercheurs ont décrit leurs résultats, qui n'ont pas été évalués par des pairs, dans une étude publiée en ligne le 20 mai dans la revue préimprimée arXiv.
Produire des vidéos originales comme celles-ci, connues sous le nom de deepfakes, n'est pas facile. Les têtes humaines sont géométriquement complexes et très dynamiques; Les modèles 3D de têtes ont "des dizaines de millions de paramètres", ont écrit les auteurs de l'étude.
De plus, selon l'étude, le système de vision humaine est très efficace pour identifier "même des erreurs mineures" dans les têtes humaines modélisées en 3D. Voir quelque chose qui semble presque humain - mais pas tout à fait - déclenche une sensation de malaise profond connue sous le nom d'effet de vallée étrange.
L'IA a précédemment démontré qu'il était possible de produire des deepfakes convaincants, mais cela nécessitait plusieurs angles du sujet souhaité. Pour la nouvelle étude, les ingénieurs ont présenté l'IA à un très grand ensemble de données de vidéos de référence montrant des visages humains en action. Les scientifiques ont établi des repères faciaux qui s'appliqueraient à n'importe quel visage, pour enseigner au réseau neuronal comment les visages se comportent en général.
Ensuite, ils ont formé l'IA à utiliser les expressions de référence pour cartographier le mouvement des caractéristiques de la source. Cela a permis à l'IA de créer un deepfake même lorsqu'elle n'avait qu'une seule image à partir de laquelle travailler, ont rapporté les chercheurs.
Et plus d'images sources ont fourni un résultat encore plus détaillé dans l'animation finale. Les vidéos créées à partir de 32 images, plutôt que d'une seule, ont atteint un "réalisme parfait" dans une étude d'utilisateurs, ont écrit les scientifiques.
