Flux Training und Generierung leicht gemacht

Kapitelübersicht

• RunPod Setup
• Installation
• ComfyUI Generierung
• LoRA Training

Einleitung

Willkommen bei Flux Model Forge, einem Diplomprojekt, das die kreative Nutzung von KI-Modellen auf eine neue Ebene hebt. Unser Ziel ist es, Kunststile und Zeichenmethoden mithilfe der LORA-Methode (Low-Rank Adaptation) präzise zu replizieren und individuell anzupassen. Dabei setzen wir auf die Flux-Technologie, um die Effizienz und Flexibilität des Trainingsprozesses zu maximieren.

Dieser Guide bietet eine Schritt-für-Schritt-Anleitung – von der Einrichtung der GPU-Pods bis zur Nutzung leistungsstarker Tools wie ComfyUI und FluxGym. Egal ob Sie Anfänger oder erfahrener Nutzer sind, hier finden Sie alles, was Sie brauchen, um Ihre eigenen kreativen Projekte mit KI umzusetzen.

RunPod Setup

2. Network Volume erstellen

ComfyUI: 100 GB
FluxGym: 50 GB
Data Center: EU-RO-1 (beste RTX 4090-Verfügbarkeit)

3. GPU-Pod deployen

• RTX 4090 auswählen
• Kontrollieren, ob das Network Volume ausgewählt ist (⚠️ kritischer Schritt!)
• Template wählen:
• ComfyUI: aitrepreneur-Template, Sofort einsatzbereit nach dem Hochfahren
• FluxGym: Pytorch 2.2.0, eine Manuelle Installation ist erforderlich (siehe Kapitel Installation)

• Wählen Sie "On-Demand" als Preismodell
• Klicken Sie auf "Deploy On-Demand"
• Nach der Nutzung immer den Pod terminieren (⚠️ Kosteneinsparung!)
  Pods lassen sich dank unserer Network-Volume-Methode jederzeit sekundenschnell neu starten

4. Verbindung herstellen

Nach erfolgreicher Installation von ComfyUI sehen Sie die Pod-Übersicht im Reiter „Pods“.

Die abgebildete Instanz zeigt eine Volume-Auslastung von 93%, da bereits verschiedene Bild- und Video-Generatoren installiert wurden.

Klicken Sie auf „Connect“ und warten Sie, bis alle Ports den Status „Ready“ anzeigen.

Connect Port	Internal Port	Description
3000	3001	ComfyUI
7777	7777	Code Server
8000	8000	Application Manager
8888	8888	Jupyter Lab
2999	2999	RunPod File Uploader

Installation

FluxGym Installation

Nachdem wir den Pod erfolgreich aufgesetzt haben und die grundlegenden Voraussetzungen geschaffen wurden, widmen wir uns der Installation von FluxGym. In diesem Abschnitt führen wir Sie Schritt für Schritt durch den Prozess, um FluxGym korrekt einzurichten und betriebsbereit zu machen.

Gehen Sie in das JupyterLab-Interface (Port 8888), öffnen Sie das Terminal und geben Sie die folgenden Befehle ein, um FluxGym zu installieren.

⚠️ Wichtig: Warten Sie nach jedem Befehl, bis die Installation abgeschlossen ist und die Eingabezeile wieder erscheint, bevor Sie fortfahren.

Klonen Sie zunächst FluxGym und kohya-ss/sd-scripts in Ihren 'workspace'-Ordner im JupyterLab.

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym 
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Ihre Ordnerstruktur wird wie folgt aussehen:

/fluxgym
   app.py
   requirements.txt
   /sd-scripts

Aktivieren Sie nun ein virtual environment aus dem Stammverzeichnis von fluxgym

python -m venv env
source env/bin/activate

Dadurch wird ein env-Ordner direkt unterhalb des fluxgym-Ordners erstellt:

/fluxgym
   app.py
   requirements.txt
   /sd-scripts
   /env

Gehen Sie nun in den Ordner sd-scripts und installieren Sie die Abhängigkeiten in die aktivierte Umgebung:

cd sd-scripts
pip install -r requirements.txt

Kehren Sie nun zum Stammordner zurück und installieren Sie die Anwendungsabhängigkeiten (aus requirements.txt):

cd ..
pip install -r requirements.txt

Die letzte Installation ist pytorch Nightly:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

Zum Schluss muss im Dokument 'app.py' in Zeile 1119 in der Klammer von 'demo.launch' der Wert 'share=True' hinzugefügt werden, damit beim Start der App ein public Link erstellt wird.

ComfyUI Tutorial

In diesem Kapitel lernen Sie die grundlegende Nutzung von ComfyUI, einer leistungsstarken Benutzeroberfläche für die Erstellung und Verwaltung von Workflows zur Bildgenerierung. ComfyUI ermöglicht es, komplexe Bildgenerierungsprozesse durch ein visuelles Node-System intuitiv zu gestalten und anzupassen. Der Fokus dieses Tutorials liegt darauf, Ihnen die wichtigsten Funktionen und Werkzeuge von ComfyUI näherzubringen. Dabei wird insbesondere der Standard-Workflow erklärt, der die Grundlage für viele kreative Projekte bildet. Sie erfahren, wie die einzelnen Nodes – von der Modellinitialisierung bis zur Bildausgabe – zusammenarbeiten und wie Sie diese effizient nutzen können, um Ihre eigenen Ideen umzusetzen. Dieses Kapitel richtet sich sowohl an Einsteiger, die erste Schritte mit ComfyUI machen möchten, als auch an fortgeschrittene Nutzer, die ihren Workflow optimieren wollen.

Flux Developer Text2Image Workflow mit LoRA Loader

LoRA Training mit FluxGym

FluxGym starten

Überprüfen Sie, ob das Virtual Environment aktiviert ist: Das '(env)-Prefix' sollte in der Terminalzeile sichtbar sein.
Wenn das env aktiv ist, tippen folgenden Befehl um FluxGym zu starten.

cd /workspace/fluxgym
source env/bin/activate

Wenn das env aktiv ist, tippen folgenden Befehl um FluxGym zu starten.

python app.py

Das Ergebnis sollte dann wie folgt aussehen:
Klicken Sie anschließend auf die öffentliche URL, um ins FluxGym-Interface zu gelangen!

Interface und Nutzung

Im FluxGym-Interface angekommen, finden Sie eine in drei Schritte aufgeteilte Benutzeroberfläche. "Step 1: LoRA Info" dient den allgemeinen Trainingseinstellungen, "Step 2: Dataset" dem File-Upload und dem Captioning, und "Step 3: Train" bietet die letzte Möglichkeit, das Trainingsskript zu bearbeiten, bevor Sie oben rechts den Button "Start training" klicken.