Menu
AFFILIATIONS : Al ROBOLAB. Université du Luxembourg
AUTEURS : MURUGARAJ Keerthana, Inga Schandeler
De nombreuses personnes se demandent l’émergence de l’art Al, un nouveau genre artistique. Avec l’avancée de l’intelligence artificielle, les artistes pourraient s’exprimer sans avoir à passer par le processus de création d’une œuvre d’art. L’Al-art est plus approprié de le désigner comme « art de réseau neuronal » et il est créé en utilisant des algorithmes sophistiqués. Le rôle de l’intelligence artificielle dans la création artistique et l’interaction entre l’artiste et l’IA évoluent activement.
L’intelligence artificielle (IA) assiste les artistes de plusieurs manières, notamment en les aidant à reproduire les styles de célèbres peintres du passé. Cette capacité à imiter et recréer peut être bénéfique à la fois dans la création et la restauration d’une œuvre.
Nous essayons de réaliser un projet expérimental sur le thème de la « Peinture Mixte Automatique », une technique artistique de transfert de style et d’harmonisation utilisant des réseaux de neurones convolutifs profonds (CNN). Cela consiste essentiellement en une composition d’images et une harmonisation en utilisant des réseaux de neurones convolutifs profonds. Ce projet combine à la fois l’ajout de contenu et le transfert de style. Copier un élément d’une peinture/image et le coller dans une autre peinture/image est une tâche complexe. Notre objectif est d’imposer une peinture (ou une partie de celle-ci) dans une autre peinture de manière à ce qu’elle paraisse authentique. Nous travaillons sur un algorithme qui améliorera considérablement la qualité des productions artistiques créatives.
La manière la plus simple de mélanger des images est de combiner les valeurs de couleur du premier plan et de l’arrière-plan en utilisant une interpolation linéaire, ce qui est souvent réalisé en utilisant un lissage alpha. La composition par domaine des gradients (ou mélange de Poisson) a été introduite pour la première fois par Perez et al., qui prend en compte la condition limite pour un clonage sans couture. Les réseaux neuronaux profonds ont encore amélioré les propriétés de couleur de la composition en apprenant à améliorer le réalisme global de la photo. L’harmonisation d’images à plusieurs échelles a introduit un lissage des histogrammes et une correspondance du bruit qui gère les textures fines en plus de la couleur, cependant cela ne capture pas les textures plus structurées telles que les coups de pinceau qui apparaissent souvent dans les peintures. L’image fusion combine le mélange de Poisson avec la synthèse basée sur des patchs dans un cadre d’optimisation unifié pour harmoniser la couleur et la similarité des patchs. Les Images de Camouflage ont proposé un algorithme pour incorporer des objets dans des emplacements spécifiques dans des photographies encombrées dans le but de rendre les objets difficiles à remarquer. Bien que ces techniques soient principalement conçues pour les photographies, notre objectif est axé sur les peintures. Nous nous intéressons au cas où l’arrière-plan de la composition est une peinture.
Transfert de style à l’aide de réseaux neuronaux. Les travaux récents sur le transfert de style neuronal ont montré des résultats impressionnants en transférant le style d’une œuvre d’art en adaptant les statistiques des réponses de couches d’un réseau neuronal profond. Ces méthodes transfèrent des styles arbitraires d’une image à une autre en adaptant les corrélations entre les activations des caractéristiques extraites par un réseau neuronal profond pré-entraîné sur la classification d’images. Le processus de reconstruction repose sur un cadre d’optimisation itératif qui minimise les pertes de contenu et de style calculées à partir du réseau neuronal VGG. En ce qui concerne l’échange photographique, Luan et al. limitent les confusions en utilisant l’analyse de scène. Gatys et al. accélèrent le processus de transfert de style en produisant une stylisation de grande taille et de haute qualité en utilisant des matrices Gram guidées et des correspondances d’histogrammes de couleurs. Les méthodologies en cours remplacent la matrice Gram en coordonnant différentes mesures des réponses neuronales. Liao et al. améliorent encore la qualité des résultats en introduisant des correspondances de champ denses bidirectionnelles.
L’idée principale est de transférer les caractéristiques pertinentes de la peinture sur l’objet incorporé, puis d’améliorer davantage la qualité de la sortie. Pour cette approche, un mécanisme en deux passes peut être utilisé : première passe (Harmonisation grossière robuste) et deuxième passe (Raffinement haute qualité). La première passe consiste à réaliser la tâche d’harmonisation en effectuant une correspondance approximative des propriétés de couleur et de texture de la région collée à celles des régions sémantiquement similaires dans la peinture. La deuxième passe vise à améliorer la qualité du résultat obtenu à partir de la première passe. Fondamentalement, nous avons une image de style (peinture cible), et l’image de contenu comprend un élément d’une peinture à ajouter à l’image de style. Il y a aussi un plan pour utiliser l’image de masque (facultatif) de l’objet ajouté. L’image de masque est utilisée pour calculer les fonctions de perte uniquement pour cette partie de l’image. Mais l’image de contenu est-elle réalisée manuellement ou devrions-nous essayer avec la technique de composition d’images ? Nous devons découper et coller l’objet dans notre peinture cible, puis les envoyer avec une image de masque pour l’harmonisation d’images.