sd-webui-controlnet Projekt – Detaillierte Beschreibung

Projektübersicht

sd-webui-controlnet ist ein ControlNet-Erweiterungs-Plugin für AUTOMATIC1111's Stable Diffusion WebUI. Das Projekt wird von Mikubill gepflegt und ist eine der beliebtesten und funktionsreichsten ControlNet WebUI-Erweiterungen.

Projektinformationen

• Projektadresse: https://github.com/Mikubill/sd-webui-controlnet
• Hauptverantwortlicher: Mikubill
• Projekttyp: WebUI-Erweiterungs-Plugin

Kernfunktionen

1. ControlNet-Integration

• Volle Unterstützung für ControlNet Version 1.0 und 1.1
• Sofortiges Hinzufügen von ControlNet zu ursprünglichen Stable Diffusion-Modellen, ohne Zusammenführung
• Unterstützung für verschiedene Kontrollmodelltypen

2. Vorprozessor-Unterstützung

Unterstützung für verschiedene Bildvorprozessoren:

• Canny: Kantenerkennung
• Depth: Tiefenkartengenerierung (einschließlich Midas, Depth Anything V2)
• OpenPose: Erkennung der menschlichen Körperhaltung
• Scribble: Kritzelsteuerung
• Segmentation: Bildsegmentierung
• Normal: Normalenkarte
• Lineart: Liniengrafikextraktion
• MLSD: Linienerkennung
• HED: Holistische, verschachtelte Kantenerkennung
• Reference-only: Referenzbildmodus

3. Erweiterte Funktionen

Unterstützung für mehrere ControlNets

• Gleichzeitige Verwendung mehrerer ControlNet-Eingaben bei einer einzelnen Generierung
• Anpassung der maximalen Modellanzahl in den Einstellungen möglich

Kontrollmodi

• Ausgewogener Modus: ControlNet arbeitet auf beiden Seiten des CFG-Verhältnisses
• Prompt wichtiger: Reduziert allmählich den Einfluss von ControlNet
• ControlNet wichtiger: Arbeitet nur auf der Bedingungsseite des CFG

Pixel Perfect Modus

• Automatische Berechnung der optimalen Vorprozessorauflösung
• Sicherstellung, dass jedes Pixel perfekt zu Stable Diffusion passt

4. T2I-Adapter-Unterstützung

Volle Unterstützung für die T2I-Adapter-Modelle von TencentARC, einschließlich:

• Color Adapter
• Style Adapter
• Sketch Adapter
• Depth Adapter

5. IP-Adapter-Funktionen

• Bild-Prompt-Adapter
• CLIP-Maskenunterstützung
• IP-Adapter automatischer Vorprozessor
• Erweiterte Gewichtungskontrolle

Technische Eigenschaften

Intelligente Bild-Resampling

• Ausgabe von zwei Kontrollbildern bei hochauflösender Reparatur
• Kleines Bild für die Basisgenerierung, großes Bild für die hochauflösende Reparatur
• Intelligenter Algorithmus sorgt für hochwertiges Kontrollbild-Resampling

Maskenintegration

• Perfekte Unterstützung für A1111's verschiedene Maskentypen
• Unterstützung für "Inpaint masked"/"Inpaint not masked"
• Unterstützung für "Whole picture"/"Only masked"
• Perfekte Übereinstimmung mit den Größenanpassungsoptionen von A1111

Batch-Verarbeitungsmodus

• Unterstützung für die Batch-Verarbeitung von Bildern
• Angabe eines Batch-Verzeichnisses für jede Einheit
• Kann in den txt2img- und img2img-Registerkarten verwendet werden

Installationsmethode

Installation über WebUI

1. Öffnen Sie die Registerkarte "Extensions"
2. Öffnen Sie die Unterregisterkarte "Install from URL"
3. Geben Sie in "URL for extension's git repository" Folgendes ein:

   https://github.com/Mikubill/sd-webui-controlnet.git
   

4. Klicken Sie auf die Schaltfläche "Install"
5. Warten Sie, bis die Installation abgeschlossen ist, und starten Sie WebUI neu

Modell-Download

• Besuchen Sie die offizielle Modell-Downloadseite: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
• Legen Sie die Modelldateien in das Verzeichnis stable-diffusion-webui\extensions\sd-webui-controlnet\models

API-Unterstützung

REST-API

• Starten Sie WebUI mit dem Parameter --api
• Besuchen Sie http://webui-address/docs, um die API-Dokumentation anzuzeigen
• Unterstützung für txt2img- und img2img-Aufgaben

Externe Aufrufe

• Unterstützung für die Steuerung dieser Erweiterung durch andere Skripte
• Aktivieren Sie "Allow other scripts to control this extension" in den Einstellungen

Kommandozeilenparameter

Die Erweiterung fügt die folgenden Kommandozeilenparameter hinzu:

--controlnet-dir <path>                           # Fügt ein ControlNet-Modellverzeichnis hinzu
--controlnet-annotator-models-path <path>        # Legt das Vorprozessor-Modellverzeichnis fest
--no-half-controlnet                             # Lädt ControlNet-Modelle mit voller Präzision
--controlnet-preprocessor-cache-size             # Cache-Größe für Vorprozessor-Ergebnisse
--controlnet-loglevel                            # Protokollebene der ControlNet-Erweiterung
--controlnet-tracemalloc                         # Aktiviert die Speicherzuordnungs-Verfolgung

Systemanforderungen

Minimale Konfiguration

• Windows/Linux/macOS
• NVIDIA GPU (empfohlen 4GB+ VRAM)
• Python 3.8+
• AUTOMATIC1111 WebUI

Leistungsoptimierung

• Verwenden Sie den Parameter --xformers, um die Leistung zu verbessern
• Aktivieren Sie den "Low VRAM"-Modus für Geräte mit wenig Grafikspeicher
• Unterstützt eine maximale Auflösung von 768x832 (4GB VRAM)

Anwendungsbeispiele

Grundlegende Verwendung

1. Aktivieren Sie ControlNet in WebUI
2. Wählen Sie den Vorprozessortyp (z. B. Canny, Depth usw.)
3. Laden Sie ein Kontrollbild hoch oder lassen Sie es automatisch vom Vorprozessor generieren
4. Passen Sie die Gewichtung und die Führungsstärke an
5. Generieren Sie das Bild

ControlNet Verwendung

1. Erhöhen Sie die maximale Modellanzahl in den Einstellungen
2. Aktivieren Sie gleichzeitig mehrere ControlNet-Einheiten
3. Legen Sie für jede Einheit unterschiedliche Vorprozessoren und Gewichtungen fest
4. Kombinieren Sie verschiedene Kontrollbedingungen, um ein Bild zu generieren

Zusammenfassung

sd-webui-controlnet ist eine der wichtigsten Erweiterungen im Stable Diffusion-Ökosystem. Sie erweitert die Kontrollierbarkeit und Präzision der KI-Bildgenerierung erheblich. Sowohl professionelle Künstler als auch Hobbyanwender können mit dieser Erweiterung eine präzisere Bildsteuerung und vielfältigere kreative Möglichkeiten realisieren.