ZUGEHÖRIGKEITEN: Al ROBOLAB. Universität Luxemburg
AUTOREN: Nooshin Shojaee, Betania Antico
PROJEKTJAHR: 2022
Für diese Ausstellung im Jahr 2022 haben wir ein KI-Programm darauf trainiert, Musik zu hören und Tanzbewegungen zu dieser Musik zu erzeugen. In diesen beiden Videos siehst du zwei Beispiele für Tanzbewegungen, die unser KI-Programm zu zwei verschiedenen Tanzstilen generiert hat: Ballett und Tango.
Diese Videos zeigen die Ergebnisse einer künstlichen Intelligenz, die auf 71 Stunden Filmmaterial von Tanzclips mit Musik trainiert wurde. Die Tanzposen werden durch 14 Schlüsselpunkte (Arm- und Beingelenke, Schultern, …) definiert, die ein Skelett bilden, das die Tanzbewegungen darstellt. Die künstliche Intelligenz wählt eine Reihe von Tanzbewegungen aus, die am besten zur Musik passen, basierend auf den Trainingsdaten, mit denen das Programm gelernt hat.
Während des Projekts traten viele Herausforderungen auf, um die KI dazu zu bringen, Tanzbewegungen zu verstehen und sie an die Musik anzupassen. Insbesondere bei den komplexeren Tanzbewegungen hatte die KI Schwierigkeiten, das Skelett auf die Tanzbewegungen abzubilden. Das folgende Video auf der linken Seite zeigt abwechselnd ein Trainingsvideo einer Balletttänzerin und die Ausgabe der KI. Die rechte Seite zeigt zwei Bilder von anspruchsvollen Tanzposen, die das Skelett nicht vollständig darstellen kann.
Das linke Bein der Tänzerin ist hinter ihrem Körper angehoben und somit unsichtbar, was eine korrekte Bestimmung des Skeletts unmöglich macht.
Eine komplexere Pose wie die oben gezeigte stellt die KI vor Probleme, die Schlüsselpunkte des Skeletts korrekt mit der Tänzerin zu verbinden.
Eine weitere Idee, die wir im Anschluss an diese automatisierten Tänze hatten, war, einen halbhumanoiden Roboter tanzen zu lassen. Pepper ist der erste soziale, halbhumanoide Roboter, der von SoftBank Robotics hergestellt wurde und in der Lage ist, Gesichter und grundlegende menschliche Emotionen zu erkennen. Pepper wurde für die Interaktion mit Menschen optimiert und kann mit Menschen durch Gespräche und seinen Touchscreen interagieren. Peppers physische und interaktive Eigenschaften weckten unser Interesse, eine grundlegende Ballett-Tanzsequenz für diesen Roboter zu entwerfen und die Mensch-Roboter-Interaktion durch Tanz zu erproben. Schaue dir die Tanzchoreografien mit dem Pepper-Roboter im folgenden Video an.