Menu
Zugehörigkeiten: Al ROBOLAB. Universität Luxemburg
AUTOREN: MURUGARAJ Keerthana, Inga Schandeler
Viele Menschen wundern sich über die Entstehung von Al-Art, einem neuen Kunstgenre. Mit der Weiterentwicklung von Al wären die Künstler in der Lage, sich auszudrücken, ohne den Prozess der Schaffung eines Kunstwerks durchlaufen zu müssen. Al-Art wird besser als neuronale Netzwerkkunst bezeichnet und mithilfe ausgefeilter Algorithmen erstellt. Die Rolle von Al im Kunstschaffen und die Künstler-Al-Interaktion entwickeln sich aktiv weiter.
Al unterstützt Künstler auf verschiedene Weise, unter anderem indem er ihnen hilft, die Stile berühmter Maler aus der Vergangenheit zu reproduzieren. Diese Fähigkeit zur Nachahmung und Neuerstellung kann sowohl bei der Schaffung als auch bei der Restaurierung eines Werks von Vorteil sein.
Wir versuchen, ein solches experimentelles Projekt zum Thema „Automatic Mixed Painting“ (eine kreative Art-Deep-Painting-Stilübertragung und -Harmonisierung) durchzuführen, bei dem es sich im Grunde um eine Bildkompositions- und Harmonisierungstechnik unter Verwendung von Deep Convolutional Neural Networks (CNN) handelt. Dieses Projekt kombiniert sowohl die Ergänzung von Inhalten als auch die Übertragung von Stilen. Das Kopieren eines Elements aus einem Gemälde/Bild und das Einfügen in ein anderes Gemälde/Bild ist eine anspruchsvolle Aufgabe. Unser Ziel ist es, ein Gemälde (oder einen Teil davon) in ein anderes Gemälde zu übertragen, sodass es wie ein echtes Gemälde aussieht. Wir arbeiten an einem Algorithmus, der die Qualität kreativer Malergebnisse deutlich verbessern wird.
Der einfachste Weg, Bilder zu mischen, besteht darin, die Vordergrund- und Hintergrundfarbwerte mithilfe linearer Interpolation zu kombinieren, was häufig mithilfe von Alpha-Matting erreicht wird. Die Gradient-Domain-Zusammensetzung (oder Poisson-Mischung) wurde erstmals von Perez et al. eingeführt. welches die Randbedingung für nahtloses Klonen berücksichtigt. Tiefe neuronale Netze verbesserten die Farbeigenschaften des Komposits weiter, indem sie lernten, den gesamten Fotorealismus zu verbessern. Mit der Multiskalen-Bildharmonisierung wurden ein glattes Histogramm und eine Rauschanpassung eingeführt, die feine Texturen über der Farbe verarbeiten, jedoch keine strukturierteren Texturen wie Pinselstriche erfassen, die häufig in Gemälden vorkommen. Image Melding kombiniert Poisson-Mischung mit Patch-basierter Synthese in einem einheitlichen Optimierungs-Framework, um Farbe und Patch-Ähnlichkeit zu harmonisieren. Camouflage Images schlug einen Algorithmus vor, um Objekte an bestimmten Stellen in überfüllten Fotos einzubetten, mit dem Ziel, die Objekte schwer zu erkennen. Während diese Techniken hauptsächlich für Fotografien konzipiert sind, liegt unser Schwerpunkt auf Gemälden. Uns interessiert der Fall, dass der Hintergrund des Komposits ein Gemälde ist.
Stilübertragung mithilfe neuronaler Netze. Jüngste Arbeiten zur Übertragung neuronaler Stile haben beeindruckende Ergebnisse bei der Übertragung des Stils eines Kunstwerks gezeigt, indem sie die Statistiken der Schichtreaktionen eines tiefen neuronalen Netzwerks abgeglichen haben. Diese Methoden übertragen beliebige Stile von einem Bild auf ein anderes, indem sie die Korrelationen zwischen Merkmalsaktivierungen abgleichen, die von einem vorab trainierten tiefen neuronalen Netzwerk bei der Bildklassifizierung extrahiert wurden. Der Rekonstruktionsprozess basiert auf einem iterativen Optimierungsrahmen, der die aus dem neuronalen VGG-Netzwerk berechneten Inhalts- und Stilverluste minimiert. In Bezug auf den fotografischen Austausch haben Luan et al. Begrenzen Sie Verwirrungen mithilfe der Szenenanalyse. Gatys et al. Beschleunigen Sie den Stilübertragungsprozess, indem Sie mithilfe von geführten Grammmatrizen und Farbhistogrammabgleichen eine großformatige, hochwertige Stilisierung erstellen. Laufende Methoden ersetzen das Gram-Gitter durch die Koordinierung verschiedener Messungen neuronaler Reaktionen. Liao et al. Verbessern Sie die Art der Ergebnisse weiter, indem Sie bidirektionale Feldübereinstimmungen mit dichter Korrespondenz präsentieren.
Die Hauptidee besteht darin, relevante Merkmale des Gemäldes auf das eingebettete Objekt zu übertragen und die Ausgabequalität weiter zu verbessern. Für diesen Ansatz kann ein Zwei-Pass-Mechanismus verwendet werden: Erster Durchgang (Robuste Grobharmonisierung) und Zweiter Durchgang (Hochwertige Verfeinerung). Der erste Durchgang besteht darin, die Harmonisierungsaufgabe zu erfüllen, indem eine grobe Übereinstimmung der Farb- und Textureigenschaften des eingefügten Bereichs mit denen semantisch ähnlicher Bereiche im Gemälde durchgeführt wird. Der zweite Durchgang besteht darin, die Qualität des Ergebnisses des ersten Durchgangs zu verbessern. Grundsätzlich haben wir ein Stilbild (Zielbild) und das Inhaltsbild besteht aus einer Komponente eines Gemäldes, die dem Stilbild hinzugefügt wird. Es ist auch geplant, das Maskenbild (optional) des hinzugefügten Objekts zu verwenden. Das Maskenbild wird verwendet, um die Verlustfunktionen nur für diesen Teil des Bildes zu berechnen. Das Inhaltsbild wird jedoch manuell erstellt oder Sie sollten es mit der Bildkompositionstechnik versuchen. Wir müssen das Objekt ausschneiden und in unser Zielgemälde einfügen und es zusammen mit dem Maskenbild zur Bildharmonisierung senden.