Was passiert, wenn Maschinen voneinander lernen und sich im generativen Prozess selbst kannibalisieren? Kann ein Bildmodell die glücklichste Person erkennen oder die Ethnie aus einem zufälligen Bild bestimmen? Die meisten aktuellen Text-zu-Bild-Systeme beruhen auf einer begrenzten Zahl von Datensätzen, Modellen und Algorithmen. Was zunächst wie eine Blackbox wirkt, entpuppt sich bei genauerem Hinsehen als komplexe Pipeline aus mehreren verketteten Modellen und Algorithmen. Mit künstlerischen Strategien wie Rückkopplung, Zweckentfremdung und Hacking legen wir die Funktionsweise von Bildgenerierungsmodellen offen: Wir konfrontieren Modelle rekursiv mit ihrem eigenen Output, zerlegen Text-zu-Bild-Pipelines, beschriften Bilder und entdecken unerwartete Korrelationen. Im Vortrag teilen wir Experimente zur Stable-Diffusion-Pipeline, zur Manipulation ästhetischer Bewertungen in großen öffentlichen Text-Bild-Datensätzen, zur NSFW-Klassifikation und zum Einsatz von CLIP (Contrastive Language-Image Pre-training), um Verzerrungen und problematische Korrelationen im alltäglichen Gebrauch dieser Modelle sichtbar zu machen.
Der Vortrag stellt verschiedene Experimente rund um generative KI-Modelle vor. Wir beginnen damit, wie wir als Künstler und Programmierer diese Modelle wahrnehmen und wie wir ihre Arbeitsabläufe untersucht haben, und gehen dann auf die Stable-Diffusion-Pipeline und ihre Datensätze ein. Dabei zeigte sich, dass wesentliche Teile auf denselben wenigen Datensätzen, Modellen und Algorithmen beruhen. Daraus folgt: Wer einzelne Mechanismen genauer untersucht, kann auch über größere politische Diskurse rund um generative KI nachdenken. Wir haben die Modelle in drei wesentliche Schritte zerlegt – Datensatz, Embedding und Diffusion. Unsere Beispiele beziehen sich vor allem auf Stable Diffusion, viele Konzepte lassen sich aber auf andere generative Modelle übertragen.
Mit wachsender Größe und Komplexität von Datensätzen und Modellen wird es schwierig, ihre Feinheiten zu verstehen. Große Datensätze wie der für das Training von Stable Diffusion werden mit Algorithmen gefiltert, die oft selbst auf maschinellem Lernen beruhen. Um die Bildgenerierung zu „verbessern“, wurde der umfangreiche LAION-Datensatz mit einem Algorithmus zur ästhetischen Bewertung gefiltert, der eine starke Vorliebe für Aquarell- und Ölmalerei hat. Zusätzlich werden Bilder mit einem NSFW-Klassifikator bewertet, der die Wahrscheinlichkeit expliziter Inhalte schätzt. Auch dieser Algorithmus hat eigene diskriminierende Tendenzen, die wir im Vortrag untersuchen – und wir fragen, wie und von wem unsere Datensätze gefiltert und gebaut werden sollen.
Viele generative Modelle bauen auf CLIP und seiner Open-Source-Variante Open-CLIP auf, die Bilder und Texte stochastisch miteinander in Beziehung setzen: Sie verbinden Bild und Text, digitalisieren Text und berechnen Abstände zwischen Wörtern und Bildern. Dafür brauchen sie im Training jedoch enorme Mengen an Text-Bild-Paaren, was Verzerrungen in die Datenbasis einbringen kann. Wir haben Experimente mit verschiedenen „Falschbeschriftungen“ durchgeführt und Korrelationen aufgespürt – etwa Gesichter von ThisPersonDoesNotExist nach „Glück“ sortiert, Ethnien und Berufe anhand des Aussehens untersucht oder Stockfotos kulturell unterschiedlicher Gerichte analysiert. Die Ergebnisse entsprechen oft menschlichen Erwartungen – aber bedeutet das etwas?
Im dritten Teil betrachten wir den Prozess der Bildgenerierung genauer, mit Fokus auf die Stable-Diffusion-Pipeline. Generative KI-Modelle wie Stable Diffusion können nicht nur Bilder aus Textbeschreibungen erzeugen, sondern auch vorhandene Bilder verarbeiten und diese je nach Einstellung sehr genau reproduzieren. Wird diese Reproduktion jedoch rekursiv als Input verwendet, summieren sich die Fehler mit jeder Iteration. Wir beobachteten, dass sich Bilder je nach Parametern allmählich in violette Muster oder eine begrenzte Anzahl banaler Motive verwandeln. Das wirft Fragen danach auf, wie sehr diese Modelle zu erlernten Mustern zurückkehren.