DB-GPT: KI-Native Framework für die Entwicklung von Datenanwendungen

Projektübersicht

DB-GPT ist ein Open-Source-KI-natives Framework für die Entwicklung von Datenanwendungen, das AWEL (Agentic Workflow Expression Language) und ein Multi-Agent-System integriert. Das Projekt zielt darauf ab, durch die Entwicklung verschiedener technischer Fähigkeiten wie Multi-Modell-Management (SMMF), Text2SQL-Effektoptimierung, RAG-Framework und -Optimierung, Multi-Agent-Framework-Kollaboration, AWEL (Agent-Workflow-Orchestrierung) usw. eine Infrastruktur im Bereich großer Modelle aufzubauen, um datenbasierte Anwendungen großer Modelle einfacher und bequemer zu gestalten.

Im Zeitalter von Data 3.0 können Unternehmen und Entwickler mit weniger Code ihre eigenen, maßgeschneiderten Anwendungen auf Basis von Modellen und Datenbanken erstellen.

Kernarchitektur und Fähigkeiten

Hauptfunktionsmodule

1. RAG (Retrieval-Augmented Generation)

RAG ist derzeit der praktischste und dringend benötigte Bereich. DB-GPT hat bereits ein RAG-basiertes Framework implementiert, das es Benutzern ermöglicht, Wissensdatenbankanwendungen mit der RAG-Funktion von DB-GPT zu erstellen.

2. GBI (Generative Business Intelligence)

Generative BI ist eine der Kernkompetenzen des DB-GPT-Projekts und bietet grundlegende Datenintelligenztechnologien für die Erstellung von Unternehmensberichtsanalysen und Geschäftseinblicken.

3. Feinabstimmungs-Framework

Modellfeinabstimmung ist eine unverzichtbare Fähigkeit für jedes Unternehmen, das in vertikalen und segmentierten Bereichen tätig ist. DB-GPT bietet ein vollständiges Feinabstimmungs-Framework, das nahtlos in das DB-GPT-Projekt integriert ist. In den letzten Feinabstimmungsarbeiten wurde auf Basis des Spider-Datensatzes eine Genauigkeit von 82,5 % erreicht.

4. Datengesteuertes Multi-Agent-Framework

DB-GPT bietet ein datengesteuertes, selbstentwickelndes Multi-Agent-Framework, das darauf abzielt, auf Basis von Daten kontinuierlich Entscheidungen zu treffen und diese umzusetzen.

5. Datenfabrik

Die Datenfabrik ist hauptsächlich für die Bereinigung und Verarbeitung vertrauenswürdigen Wissens und Daten im Zeitalter großer Modelle verantwortlich.

6. Datenquellenintegration

Integration verschiedener Datenquellen, um Produktionsgeschäftsdaten nahtlos mit den Kernfunktionen von DB-GPT zu verbinden.

Zugehörige Projekte

DB-GPT-Hub

DB-GPT-Hub konzentriert sich auf die Realisierung hochleistungsfähiger Text-to-SQL-Workflows durch die Anwendung von überwachtem Feintuning (SFT) auf großen Sprachmodellen (LLMs).

dbgpts

dbgpts ist das offizielle Repository, das einige auf DB-GPT basierende Datenanwendungen, AWEL-Operatoren, AWEL-Workflow-Vorlagen und Agenten enthält.

DB-GPT-Plugins

DB-GPT-Plugins, die Auto-GPT-Plugins direkt ausführen können.

Unterstützte Sprachmodelle

DB-GPT unterstützt eine breite Palette großer Sprachmodelle, darunter:

Open-Source-Modelle:
- LLaMA / LLaMA-2 / LLaMA-3 / LLaMA-3.1
- BLOOM / BLOOMZ
- Falcon
- Baichuan / Baichuan2
- InternLM
- Qwen-Serie (Qwen2.5, Qwen3 usw.)
- XVERSE
- ChatGLM2 / GLM-4
- DeepSeek-Serie
- Yi-Serie
- Gemma-Serie
- Phi-3
- CodeQwen
- Mixtral
- SOLAR
API-Modelle:
- Wenxin Yiyan
- Tongyi Qianwen
- Zhipu AI
- Und andere API-Dienste

Hauptmerkmale

1. Private Domain-Fragen und Datenverarbeitung

Das DB-GPT-Projekt bietet eine Reihe von Funktionen, die darauf abzielen, den Aufbau von Wissensdatenbanken zu verbessern und eine effiziente Speicherung und Abfrage von strukturierten und unstrukturierten Daten zu ermöglichen. Zu diesen Funktionen gehören:

Integrierte Unterstützung für das Hochladen verschiedener Dateiformate
Integration der Möglichkeit, benutzerdefinierte Datenextraktions-Plugins zu verwenden
Einheitliche Vektorspeicher- und Abruffunktionen

2. Mehrere Datenquellen und GBI

Das Projekt fördert die nahtlose Interaktion in natürlicher Sprache mit diversifizierten Datenquellen, darunter Excel, Datenbanken und Data Warehouses. Es vereinfacht den Prozess des Abfragens und Abrufens von Informationen aus diesen Quellen und ermöglicht es Benutzern, intuitive Gespräche zu führen und Einblicke zu gewinnen. Darüber hinaus unterstützt DB-GPT die Generierung von Analyseberichten.

3. Multi-Agent und Plugins

Es bietet Unterstützung für benutzerdefinierte Plugins zur Ausführung verschiedener Aufgaben und integriert nativ das Auto-GPT-Plugin-Modell. Das Agent-Protokoll folgt dem Agent Protocol-Standard.

4. Automatisierte Text2SQL-Feinabstimmung

Wir haben auch ein leichtgewichtiges Framework für die automatisierte Feinabstimmung entwickelt, das sich auf große Sprachmodelle (LLMs), Text2SQL-Datensätze, LoRA/QLoRA/Pturning und andere Feinabstimmungsmethoden konzentriert. Dieses Framework vereinfacht die Text-to-SQL-Feinabstimmung und macht sie so einfach wie einen Fließbandprozess.

5. SMMF (Serviceorientiertes Multi-Modell-Management-Framework)

Wir bieten eine breite Modellunterstützung, darunter Dutzende großer Sprachmodelle (LLMs) von Open-Source- und API-Agenten wie LLaMA/LLaMA2, Baichuan, ChatGLM, Wenxin, Tongyi, Zhipu usw.

Datenschutz und Sicherheit

Wir gewährleisten den Datenschutz und die Sicherheit von Daten durch die Implementierung verschiedener Technologien, darunter die Privatisierung großer Modelle und die Anonymisierung von Agenten.

Unterstützte Datenquellen

Ändern Sie im .env-Konfigurationsdatei den LANGUAGE-Parameter, um zu einer anderen Sprache zu wechseln. Standardmäßig ist Englisch eingestellt (Chinesisch: zh, Englisch: en, andere Sprachen werden später hinzugefügt).

Technische Architektur

DB-GPT verwendet ein modulares Architekturdesign, das hauptsächlich Folgendes umfasst:

AWEL-Workflow-Orchestrierungsschicht: Bietet die Möglichkeit, Agenten-Workflows auszudrücken und zu orchestrieren
Multi-Modell-Management-Schicht: Verwaltet und plant verschiedene große Sprachmodelle einheitlich
Datenzugriffsschicht: Unterstützt den Zugriff und die Verarbeitung verschiedener Datenquellen
Agenten-Kollaborationsschicht: Ermöglicht die Zusammenarbeit zwischen mehreren KI-Agenten
Anwendungsserviceschicht: Bietet Anwendungsservices für Endbenutzer