Parler TTS Projekt – Detaillierte Beschreibung

Projektübersicht

Parler-TTS ist ein leichtgewichtiges Text-zu-Sprache (TTS)-Modell, das qualitativ hochwertige, natürliche Sprache erzeugt und die Steuerung des Sprecherstils (Geschlecht, Tonhöhe, Sprechweise usw.) ermöglicht. Das Projekt ist eine Open-Source-Implementierung der Forschungsarbeit "Natural language guidance of high-fidelity text-to-speech with synthetic annotations" von Stability AI und der Universität Edinburgh.

Projektmerkmale

Vollständig Open Source: Im Gegensatz zu anderen TTS-Modellen ist Parler-TTS eine vollständig Open-Source-Version.
Offener Datensatz: Alle Datensätze, Vorverarbeitung, Trainingscode und Gewichte werden unter einer großzügigen Lizenz öffentlich zugänglich gemacht.
Natürliche Sprachsteuerung: Sprachmerkmale können durch einfache Textprompts gesteuert werden.
Verschiedene Modellgrößen: Es werden Modellversionen mit unterschiedlicher Parameteranzahl angeboten.

Verfügbare Modellversionen

1. Parler-TTS Mini v1

Parameteranzahl: 880M
Trainingsdaten: 45.000 Stunden Hörbuchdaten
Merkmale: Leichtgewichtig, geeignet für schnelle Inferenz

2. Parler-TTS Large v1

Parameteranzahl: 2.2B Parameter
Trainingsdaten: 45.000 Stunden Audiodaten
Merkmale: Höhere Qualität der Spracherzeugung

3. Parler-TTS Mini Expresso

Besondere Funktionen: Bietet überlegene Emotionskontrolle (Freude, Verwirrung, Lachen, Trauer) und konsistente Stimmen (Jerry, Thomas, Elisabeth, Talia)

Installationsanleitung

Grundlegende Installation

pip install git+https://github.com/huggingface/parler-tts.git

Apple Silicon Benutzer

pip3 install --pre torch torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

Verwendung

Grundlegendes Anwendungsbeispiel

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

Verwendung vordefinierter Sprecher

Das Modell unterstützt 34 vordefinierte Sprecher, darunter: Laura, Gary, Jon, Lea, Karen, Rick, Brenda, David, Eileen, Jordan, Mike, Yann, Joy, James, Eric, Lauren, Rose, Will, Jason, Aaron, Naomie, Alisa, Patrick, Jerry, Tina, Jenna, Bill, Tom, Carol, Barbara, Rebecca, Anna, Bruce, Emily.

prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

Tipps zur Verwendung

Verwenden Sie "very clear audio", um Audio in höchster Qualität zu erzeugen.
Verwenden Sie "very noisy audio", um ein hohes Maß an Hintergrundgeräuschen hinzuzufügen.
Sie können Satzzeichen verwenden, um die Prosodie der Sprache zu steuern, z. B. Kommas, um kurze Pausen in der Sprache einzufügen.
Die übrigen Sprachmerkmale (Geschlecht, Sprechgeschwindigkeit, Tonhöhe und Hall) können direkt über Prompts gesteuert werden.

Training und Feinabstimmung

Schnelles Training

accelerate launch ./training/run_parler_tts_training.py ./helpers/training_configs/starting_point_v1.json

Unterstützung für Feinabstimmung

Das Projekt bietet eine vollständige Anleitung zum Training und zur Feinabstimmung, einschließlich:

Architekturbeschreibung
Erste Schritte
Detaillierte Trainingsanleitung
Beispiel für die Feinabstimmung eines Datensatzes mit einem einzelnen Sprecher

Technische Optimierung

Das Projekt enthält verschiedene Leistungsoptimierungen:

SDPA- und Flash Attention 2-Kompatibilität
Modellkompilierungsfähigkeit
Unterstützung für Streaming-Generierung
Statische Cache-Optimierung

Projektstruktur

Inferenzcode: Kernfunktionen für die TTS-Inferenz
Trainingscode: Vollständige Trainings- und Feinabstimmungsprozesse
Data-Speech-Integration: Zusammenarbeit mit Datensatz-Annotation-Bibliotheken
Optimierungstools: Verschiedene Optionen zur Optimierung der Inferenzgeschwindigkeit

Anwendungsbereiche

Erstellung von Hörbüchern
Sprachassistenten
Erstellung von Bildungsinhalten
Unterstützende Technologien für Barrierefreiheit
Erstellung von Multimedia-Inhalten

Open-Source-Lizenz und Zitation

Das Projekt verwendet eine großzügige Open-Source-Lizenz, die Community-Beiträge und kommerzielle Nutzung fördert. Wenn Sie das Projekt verwenden, wird empfohlen, es wie folgt zu zitieren:

@misc{lacombe-etal-2024-parler-tts,
author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
title = {Parler-TTS},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

Community-Beiträge

Das Projekt begrüßt Community-Beiträge, insbesondere in den folgenden Bereichen:

Erweiterung und Diversifizierung des Datensatzes
Optimierung der Trainingsmethoden
Mehrsprachige Unterstützung
Leistungsoptimierung
Verbesserung der Bewertungsmetriken

Parler TTS stellt einen wichtigen Fortschritt in der Open-Source-TTS-Technologie dar und bietet Forschern und Entwicklern eine leistungsstarke und flexible Text-zu-Sprache-Lösung.