DB-GPT

DB-GPT：AIネイティブデータアプリケーション開発フレームワーク

プロジェクト概要

DB-GPTは、AWEL（Agentic Workflow Expression Language）とマルチエージェントシステムを統合した、オープンソースのAIネイティブデータアプリケーション開発フレームワークです。このプロジェクトは、マルチモデル管理（SMMF）、Text2SQL効果の最適化、RAGフレームワークと最適化、マルチエージェントフレームワークの連携、AWEL（エージェントワークフローオーケストレーション）など、さまざまな技術能力を開発することにより、大規模言語モデル（LLM）分野におけるインフラストラクチャを構築し、データに基づいた大規模言語モデルアプリケーションをより簡単かつ便利にすることを目的としています。

Data 3.0時代において、モデルとデータベースに基づいて、企業や開発者はより少ないコードで独自のカスタムアプリケーションを構築できます。

コアアーキテクチャと能力

主要な機能モジュール

1. RAG（検索拡張生成）

RAGは現在、最も実用的かつ緊急性の高い分野です。DB-GPTは、RAGベースのフレームワークをすでに実装しており、ユーザーはDB-GPTのRAG機能を使用してナレッジベースアプリケーションを構築できます。

2. GBI（生成型ビジネスインテリジェンス）

生成型BIは、DB-GPTプロジェクトの中核的な能力の1つであり、企業レポート分析とビジネスインサイトを構築するための基礎となるデータインテリジェンステクノロジーを提供します。

3. 微調整フレームワーク

モデルの微調整は、あらゆる企業が垂直および細分化された分野で実施する上で不可欠な能力です。DB-GPTは、DB-GPTプロジェクトとシームレスに統合された完全な微調整フレームワークを提供します。最近の微調整作業では、Spiderデータセットに基づいて82.5％の精度を達成しました。

4. データ駆動型マルチエージェントフレームワーク

DB-GPTは、データに基づいて継続的に意思決定と実行を行うことを目的とした、データ駆動型の自己進化マルチエージェントフレームワークを提供します。

5. データファクトリー

データファクトリーは、主に大規模言語モデル時代において、信頼できる知識とデータをクリーンアップおよび処理する役割を担います。

6. データソース統合

さまざまなデータソースを統合し、本番業務データをDB-GPTのコア機能にシームレスに接続します。

サポートされる言語モデル

DB-GPTは、以下を含む幅広い大規模言語モデルをサポートしています。

オープンソースモデル：
- LLaMA / LLaMA-2 / LLaMA-3 / LLaMA-3.1
- BLOOM / BLOOMZ
- Falcon
- Baichuan / Baichuan2
- InternLM
- Qwenシリーズ (Qwen2.5, Qwen3など)
- XVERSE
- ChatGLM2 / GLM-4
- DeepSeekシリーズ
- Yiシリーズ
- Gemmaシリーズ
- Phi-3
- CodeQwen
- Mixtral
- SOLAR
APIモデル：
- 文心一言
- 通义千问
- 智谱AI
- その他APIサービス

主な特徴

1. プライベートドメインの質問応答とデータ処理

DB-GPTプロジェクトは、ナレッジベースの構築を改善し、構造化データと非構造化データの効率的な保存と検索を実現することを目的とした一連の機能を提供します。これらの機能には以下が含まれます。

複数のファイル形式のアップロードサポートを内蔵
カスタムデータ抽出プラグインを統合する機能
統一されたベクトルストレージと検索機能

2. マルチデータソースとGBI

このプロジェクトは、Excel、データベース、データウェアハウスなど、多様なデータソースとのシームレスな自然言語インタラクションを促進します。これらのソースからの情報のクエリと検索のプロセスを簡素化し、ユーザーが直感的な会話を行い、洞察を得ることを可能にします。さらに、DB-GPTは分析レポートの生成をサポートしています。

3. マルチエージェントとプラグイン

さまざまなタスクを実行するためのカスタムプラグインのサポートを提供し、Auto-GPTプラグインモデルをネイティブに統合します。エージェントプロトコルは、Agent Protocol標準に準拠しています。

4. Text2SQLの自動微調整

大規模言語モデル（LLM）、Text2SQLデータセット、LoRA/QLoRA/Pturning、およびその他の微調整方法を中心とした自動微調整軽量フレームワークも開発しました。このフレームワークは、Text-to-SQLの微調整を簡素化し、組立ラインのプロセスのように簡単にします。

5. SMMF（サービス指向マルチモデル管理フレームワーク）

LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱など、オープンソースおよびAPIエージェントからの数十の大規模言語モデル（LLM）を含む、幅広いモデルサポートを提供します。

プライバシーとセキュリティ

プライベート大規模言語モデルやエージェントの非感作化など、さまざまな技術を実装することにより、データのプライバシーとセキュリティを確保します。

サポートされるデータソース

.env構成ファイルで、LANGUAGEパラメーターを変更して別の言語に切り替えます。デフォルトは英語です（中国語：zh、英語：en、その他の言語は後で追加されます）。

技術アーキテクチャ

DB-GPTは、モジュール式アーキテクチャ設計を採用しており、主に以下が含まれます。

AWELワークフローオーケストレーション層：エージェントワークフローの表現とオーケストレーション機能を提供します
マルチモデル管理層：さまざまな大規模言語モデルを統一的に管理およびスケジュールします
データアクセス層：複数のデータソースへのアクセスと処理をサポートします
エージェント連携層：複数のAIエージェント間の連携を実現します
アプリケーションサービス層：エンドユーザー向けのアプリケーションサービスを提供します