Flux Model Forge:
Kunst trifft KI

Ein Diplomprojekt zur Replikation von Kunststilen mit der LORA-Methode
– für kreative und technische Innovation.

zum Guide

info

Flux Model Forge entstand als Teil eines Diplomprojekts mit dem Ziel, die Grenzen von KI-gestützter Kunst zu erforschen. Mit der LORA-Methode (Low-Rank Adaptation) haben wir es geschafft, spezifische Kunststile und Zeichenstile präzise zu replizieren und anzupassen. Unser Fokus lag darauf, ein KI-Modell zu entwickeln, das nicht nur leistungsstark, sondern auch flexibel und leicht trainierbar ist – selbst mit begrenzten Ressourcen. Durch den Wechsel zur Flux-Technologie konnten wir die Effizienz und Genauigkeit unserer Modelle erheblich steigern. Dieses Projekt zeigt, wie Open-Source-Technologien genutzt werden können, um kreative Prozesse neu zu definieren und neue Wege in der digitalen Kunst zu eröffnen. Erfahren Sie in unserem Guide, wie Sie eigene Modelle trainieren und Ihre kreativen Visionen umsetzen können.

Ars Electronica Prix Einreichung

Diplomarbeit

Aufgabenstellung
Die Bildgenerierung mittels künstlicher Intelligenz ist seit geraumer Zeit eine etablierte Methode, um rasch Bildmotive zu erzeugen. Allerdings stoßen gängige Verfahren an ihre Grenzen, insbesondere bei der exakten Replikation eines spezifischen Stils. Unser Forschungsprojekt widmet sich dieser Thematik und untersucht, wie man LoRA-Modelle optimal trainieren kann, welche Modelle sich am besten eignen und wie man die höchstmögliche Stiltreue erreicht.

Realisierung
Um diese Fragen zu beantworten, wird eine Reihe von Experimenten mit den Stilen verschiedener Künstler an diversen Modellen und Programmen durchgeführt. Dieser iterative Prozess, geprägt von Fehlschlägen und Erfolgen, führte zu zahlreichen Programmwechseln sowie erneuten Installationen und Tests mit unterschiedlichsten Bild- und Videogeneratoren. Besonderes Augenmerk liegt auf der Datensatzaufbereitung und der Erprobung verschiedener Einstellungen für das Training der Bild-KI.

Ergebnisse
Im Rahmen unseres Forschungsprojekts entstanden folgende Modelle: H.R. Giger LoRA, Stålenhag LoRA, Axel Scheffler LoRA, Dora Mai LoRA, Vektor-Grafikstil LoRA sowie eine LoRA im Zeichenstil einer Schulkollegin. Zusätzlich wurden maßgeschneiderte Arbeitsabläufe für Text-zu-Bild-, Bild-zu-Video- und Bildvergrößerungsverfahren entwickelt. Darüber hinaus wurde eine Website erstellt, um alle Inhalte zu bündeln. Im Verlauf unseres Forschungsprojekts konnten wir zahlreiche wertvolle Erkenntnisse gewinnen und eine fundierte Einführung in das Thema LoRA-Training mit praxisnahen Anwendungsbeispielen erarbeiten.