Pathway llm-app: Live-synchronisierte RAG-Templates

1. Projektübersicht

llm-app (von Pathway) ist eine Sammlung sofort einsatzbereiter, Docker-freundlicher Templates zum Aufbau produktionsreifer RAG-Pipelines (Retrieval-Augmented Generation) und Enterprise-Search-Anwendungen, die kontinuierlich mit Live-Datenquellen wie SharePoint, Google Drive, S3, Kafka und PostgreSQL synchronisiert bleiben — ohne separate Vektordatenbank oder Indexdienst.

2. Hintergrund & Positionierung

Die meisten RAG-Tutorials gehen von einem statischen, einmal geladenen Dokumentenbestand aus. In realen Organisationen ändern sich Wissensbasen jedoch ständig: Neue Dateien werden hochgeladen, alte gelöscht, Berechtigungen geändert. llm-app wurde von Pathway entwickelt, dem Unternehmen hinter der auf Rust basierenden Pathway-Datenverarbeitungs-Engine, um diese Lücke zu schließen — jedes Template wird mit einer Live-Indexierungspipeline für inkrementelle Aktualisierungen geliefert, die Ergänzungen, Aktualisierungen und Löschungen in der zugrunde liegenden Datenquelle erkennt und in Echtzeit in den Suchergebnissen abbildet, ohne dass ein manueller Neu-Indexierungsschritt erforderlich ist.

Im Vergleich zu typischen RAG-Beispiel-Repositories, die sich rein auf Prompt-/Chain-Logik konzentrieren, unterscheidet sich llm-app durch:

Die Bündelung der Daten-Konnektoren, Indexierungs-Engine und Serving-API in einer einzigen bereitstellbaren Einheit, anstatt separate Vektordatenbank-, Orchestrierungs- und Scheduling-Dienste zusammenzufügen.
Das Anbieten eines In-Memory-, Cache-gestützten Index (Vektor-, Hybrid- und Volltextsuche über usearch und Tantivy), der ohne externe Infrastruktur auf Millionen von Seiten skaliert.
Den Template-Ansatz — jeder Anwendungsfall ist eine vollständige, ausführbare Anwendung anstatt eines Dokumentations-Snippets.

3. Funktionskategorien

📄 Frage-Antwort & Suche (4 Templates) — End-to-End-RAG-Anwendungen für die Abfrage von Dokumentensammlungen in natürlicher Sprache.
- question_answering_rag — Basis-Frage-Antwort-Pipeline mit einem LLM.
- document_indexing — eigenständiger Live-Vektor-Store-/Indexdienst, der von jeder nachgelagerten App genutzt werden kann.
- slides_ai_search — multimodale Suche über PowerPoint-/PDF-Folien.
- document_store_mcp_server — stellt den Dokumenten-Store als MCP-Server für Agenten-Tools bereit.
🖼️ Multimodales RAG (2 Templates) — Pipelines, die über reinen Text hinausgehen.
- multimodal_rag — parst PDFs mit eingebetteten Diagrammen, Tabellen und Bildern mithilfe von GPT-4o.
- video_rag_twelvelabs — Frage-Antwort auf Videoinhalte über die TwelveLabs-API.
⚡ Kosten- & Datenschutz-optimiertes RAG (2 Templates) — Varianten, die auf Kosten- oder Datenresidenz-Beschränkungen abgestimmt sind.
- adaptive_rag — passt die Anzahl der abgerufenen Kontext-Chunks dynamisch an und senkt den Token-Verbrauch um bis zu das 4-Fache.
- private_rag — vollständig lokale/Offline-Bereitstellung mit Mistral und Ollama, ohne dass Daten das System verlassen.
🗄️ Strukturierte Daten & Automatisierung (2 Templates) — Pipelines, die unstrukturierte Eingaben in strukturierte Ausgaben umwandeln oder Aktionen auslösen.
- unstructured_to_sql_on_the_fly — wandelt unstrukturierte Finanzdokumente spontan in eine abfragbare SQL-Datenbank um.
- drive_alert — überwacht eine Live-Datenquelle und löst bei relevanten Änderungen Warnungen aus.
🧠 Agenten-Muster (1 Sammlung) — Referenz-Notebooks für fortgeschrittene Reasoning-Schleifen.
- cookbooks/self-rag-agents — Agenten im Self-RAG-Stil, die ihren eigenen abgerufenen Kontext bewerten und verfeinern.

4. Kern-Highlights

Live-Daten-Synchronisierung — Pipelines überwachen SharePoint, Google Drive, S3, Kafka, PostgreSQL und Echtzeit-APIs und spiegeln Ergänzungen, Bearbeitungen und Löschungen automatisch ohne Neuaufbau wider.
Keine zusätzliche Infrastruktur — Vektor-, Hybrid- und Volltextsuche sind in die Pathway-Engine (usearch + Tantivy) integriert und laufen In-Memory mit Caching, was die Notwendigkeit einer eigenständigen Vektordatenbank entfallen lässt.
Docker-first-Bereitstellung — Jedes Template läuft als Container mit einer HTTP-API, und die meisten umfassen eine optionale Streamlit-Benutzeroberfläche für schnelle manuelle Tests.
Framework-Interoperabilität — Native Integrationen mit LangChain und LlamaIndex ermöglichen es Teams, bestehende Chains und Agenten zusätzlich zu Pathways Live-Index wiederzuverwenden.
Kostenbewusster Abruf — Das Adaptive-RAG-Template demonstriert den Abruf von nur so viel Kontext wie nötig und reduziert die LLM-Token-Ausgaben um bis zu das 4-Fache.
Skalierbarkeit getestet — Entwickelt, um Millionen von Dokumentenseiten aus einer einzigen Pipeline zu indexieren und bereitzustellen.

5. Anwendungsfälle nach Rolle

Allgemeine Entwickler — Klonen Sie ein Template, das zu Ihrem Anwendungsfall passt (Frage-Antwort, multimodal, SQL-Extraktion), und passen Sie den Daten-Konnektor und den Prompt an Ihr Produkt an.
Daten- / Forschungswissenschaftler — Verwenden Sie document_indexing oder das self-rag-agents-Cookbook als Basis für das Experimentieren mit Abrufstrategien, Chunking und agentischer Selbstkorrektur.
Projektmanager / Enterprise-Search-Verantwortliche — Setzen Sie question_answering_rag oder slides_ai_search als internes Wissensbasis-Suchtool ein, das ohne zu wartende Indexierungspipeline aktuell bleibt.
Sicherheits-/Compliance-bewusste Teams — Verwenden Sie private_rag, um Dokumenteninhalte und Modell-Inferenz vollständig On-Premises mit Mistral/Ollama zu halten.

6. Erste Schritte

Finden Sie, was Sie brauchen — durchsuchen Sie das templates/-Verzeichnis auf GitHub oder die kuratierte Liste auf der Seite Pathway Templates, um die passendste Übereinstimmung für Ihren Anwendungsfall zu finden.

Installieren und Ausführen eines Templates

git clone https://github.com/pathwaycom/llm-app.git
cd llm-app/templates/question_answering_rag
docker compose up

Jeder Template-Ordner enthält eine eigene README.md mit den genauen Umgebungsvariablen (z. B. API-Schlüssel) und Ausführungsanweisungen für diese Pipeline.

Beitragen — lesen Sie CONTRIBUTING.md; für alles über einen kleinen Fehlerbehebung hinaus, koordinieren Sie sich zuerst im #get-help-Kanal von Pathway Discord.

7. Projektstruktur

llm-app/
├── templates/                    # Sofort einsatzbereite Anwendungs-Templates
│   ├── question_answering_rag/
│   ├── document_indexing/
│   ├── multimodal_rag/
│   ├── adaptive_rag/
│   ├── private_rag/
│   ├── slides_ai_search/
│   ├── unstructured_to_sql_on_the_fly/
│   ├── video_rag_twelvelabs/
│   ├── document_store_mcp_server/
│   └── drive_alert/
├── cookbooks/
│   └── self-rag-agents/          # Self-RAG-Agenten-Notebooks
├── assets/                       # Diagramme und Demo-Medien
├── pyproject.toml / setup.cfg    # Python-Paketkonfiguration
└── README.md

Jeder Unterordner unter templates/ ist eine in sich geschlossene App mit eigener Dockerfile-/docker compose-Einrichtung und Konfigurationsdatei, sodass Templates unabhängig voneinander ausgeführt werden können.

8. Verwandtes Ökosystem

Pathway — die zugrunde liegende, auf Rust basierende Python-Datenverarbeitungs-Engine, die das Streaming-ETL, die Live-Indexierung und die inkrementelle Berechnung bietet, auf der dieses Repository aufbaut.
LangChain / LlamaIndex — als optionale Orchestrierungsschichten zusätzlich zu Pathways Live-Vektor-Index unterstützt.
usearch / Tantivy — eingebettete Bibliotheken, die Vektorsuche bzw. Volltext-/Hybridsuche betreiben.
Ollama / Mistral — vom Template private_rag für vollständig lokale LLM-Inferenz verwendet.
TwelveLabs — Video-Understanding-API, die vom Template video_rag_twelvelabs verwendet wird.

9. Lizenz

Das Projekt wird unter der MIT-Lizenz vertrieben.

✅ Frei zu verwenden, zu kopieren, zu modifizieren, zusammenzuführen, zu veröffentlichen und zu vertreiben, auch für kommerzielle Produkte.
✅ Kann in proprietäre/Closed-Source-Anwendungen eingebettet werden.
❌ Kommt ohne Gewährleistung; die Autoren haften nicht für Schäden, die aus der Nutzung entstehen.
ℹ️ Der MIT-Lizenztext und der Urheberrechtshinweis müssen in Kopien oder wesentlichen Teilen der Software beibehalten werden.

10. FAQ

F: Muss ich eine separate Vektordatenbank neben diesen Templates betreiben?
A: Nein — die Indexierung (Vektor-, Hybrid- und Volltextsuche) ist in die Pathway-Engine integriert und läuft In-Memory mit On-Disk-Caching, sodass kein externer Vektor-Store erforderlich ist.

F: Kann ich dies vollständig offline nutzen, ohne Daten an eine Drittanbieter-LLM-API zu senden?
A: Ja — das Template private_rag läuft mit Mistral und Ollama lokal und hält Dokumente und Inferenz On-Premises.

F: Welche Datenquellen können diese Pipelines auf Live-Updates überwachen?
A: SharePoint, Google Drive, S3, Kafka, PostgreSQL, lokale Dateisysteme und generische Echtzeit-Daten-APIs werden sofort ohne Konfiguration unterstützt.

F: Wie reduziere ich die LLM-Token-Kosten beim Skalieren des Abrufs?
A: Siehe das Template adaptive_rag, das den abgerufenen Kontext dynamisch dimensioniert und einen bis zu 4-fach geringeren Token-Verbrauch meldet.

F: Wie erhalte ich Hilfe oder schlage einen größeren Beitrag vor?
A: Öffnen Sie ein Issue auf GitHub für Fehler, oder treten Sie dem #get-help-Kanal auf Pathway Discord bei, bevor Sie mit umfangreichen Arbeiten beginnen.

11. Schnelllinks

Repository: https://github.com/pathwaycom/llm-app
Offizielle Dokumentation / Template-Katalog: https://pathway.com/developers/templates/
Beitragsleitfaden: https://github.com/pathwaycom/llm-app/blob/main/CONTRIBUTING.md
Community: https://discord.gg/pathway

12. Zusammenfassung

llm-app verpackt Pathways Live-Daten-Engine in einen Satz sofort bereitstellbarer RAG- und Enterprise-Search-Templates, die automatisch mit sich ändernden Dokumentenquellen synchronisiert bleiben und die Notwendigkeit einer separaten Indexierungs-Infrastruktur beseitigen. Es eignet sich am besten für Entwickler und Teams, die schnell von einem RAG-Prototyp zu einer Produktions-Pipeline übergehen möchten — unabhängig davon, ob das Ziel Dokument-Frage-Antwort, multimodale Suche, kostenoptimierter Abruf oder eine vollständig private On-Premises-Bereitstellung ist.