収録件数：261 件のニュース/91 個のAIツール/372 個のオープンソースプロジェクト/64 件の学習リソース
ホームニュースオープンソースモデルAIツール学習リソース
ホーム / オープンソース / qlora

qlora

QLoRA：効率的な量子化大規模言語モデルのファインチューニングフレームワーク。単一のGPU上で650億パラメータモデルのファインチューニングをサポート。

Jupyter NotebookMITFine Tuning
⭐ GitHubhttps://github.com/artidoro/qlora
10,969
スター数
+40
スター増加率
Jun 11, 2024
最終更新
1,150
クリック数

QLoRAプロジェクト詳細紹介

プロジェクト概要

QLoRA（Quantized Low Rank Adaptation）は、ワシントン大学NLPチームが開発した、効率的な大規模言語モデルのファインチューニングのためのオープンソースフレームワークです。このプロジェクトの主な目標は、革新的な量子化技術とパラメータ効率の良いファインチューニング手法を通じて、大規模言語モデルのトレーニングにおけるハードウェアの敷居を大幅に下げ、より多くの研究者が大規模モデルの研究に参加できるようにすることです。

プロジェクトアドレス： https://github.com/artidoro/qlora

核心的な技術革新

1. 4-bit量子化技術

  • NF4（4-bit NormalFloat）：正規分布の重みに最適化された情報理論的に最適なデータ型
  • 二重量子化：量子化定数を量子化することで、メモリ使用量をさらに削減
  • ページングオプティマイザ：メモリピークを効果的に管理し、メモリオーバーフローを回避

2. パラメータ効率の良いファインチューニング

  • LoRA（Low Rank Adaptation）技術との組み合わせ
  • 事前学習済みモデルの主要なパラメータを凍結し、低ランクアダプターのみをトレーニング
  • パフォーマンスを維持しながら、トレーニング可能なパラメータ数を大幅に削減

3. メモリ最適化戦略

  • 単一の48GB GPU上で650億パラメータモデルのファインチューニングをサポート
  • gradient checkpointingにより、アクティベーション値のメモリ使用量を削減
  • スマートなメモリ管理により、トレーニング中のメモリフラグメンテーションを回避

主な機能特性

トレーニング機能

  • マルチモデルサポート：LLaMA、T5などの主要な事前学習済みモデル
  • マルチデータセット形式：Alpaca、OpenAssistant、Self-Instructなど
  • マルチGPUトレーニング：自動的にマルチGPU分散トレーニングをサポート
  • 柔軟な設定：豊富なハイパーパラメータ設定オプション

推論機能

  • 4-bit推論：量子化モデルの効率的な推論をサポート
  • バッチ生成：バッチテキスト生成をサポート
  • インタラクティブなデモ：GradioおよびColabデモ環境を提供

評価システム

  • 自動評価：GPT-4評価スクリプトを統合
  • 手動評価：手動評価ツールとデータを提供
  • ベンチマークテスト：Vicunaなどのベンチマークテストでトップレベルのパフォーマンスを達成

技術アーキテクチャ

核心的なコンポーネント

  1. 量子化モジュール：bitsandbytesライブラリに基づいて4-bit量子化を実装
  2. アダプターモジュール：HuggingFace PEFTライブラリのLoRA実装を統合
  3. トレーニングエンジン：transformersライブラリに基づくトレーニングフレームワーク
  4. オプティマイザ：AdamWおよびページングオプティマイザをサポート
  5. データ処理：多形式データセットのロードと前処理

技術スタック

  • 深層学習フレームワーク：PyTorch
  • 量子化ライブラリ：bitsandbytes
  • モデルライブラリ：HuggingFace transformers
  • パラメータ効率の良いファインチューニング：HuggingFace PEFT
  • 分散トレーニング：HuggingFace Accelerate

インストールと使用

環境要件

  • Python 3.8+
  • CUDA 11.0+
  • GPUメモリ：7Bモデルは約6GB、65Bモデルは約48GBが必要

迅速なインストール

# 依存関係のインストール
pip install -U -r requirements.txt

# 基本的なファインチューニングコマンド
python qlora.py --model_name_or_path <モデルパス>

# 大規模モデルのファインチューニング（学習率を下げることを推奨）
python qlora.py --learning_rate 0.0001 --model_name_or_path <モデルパス>

設定例

# 量子化設定
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type='nf4'
)

性能表現

ベンチマークテスト結果

  • Vicunaベンチマーク：GuanacoモデルはChatGPTのパフォーマンスの99.3%を達成
  • トレーニング効率：24時間以内に単一GPUでのファインチューニングを完了
  • メモリ最適化：従来の方法と比較して65%以上のメモリ使用量を削減

モデルファミリー

プロジェクトは複数の規模のGuanacoモデルをリリースしました。

  • Guanaco-7B：個人研究や小規模アプリケーションに適しています
  • Guanaco-13B：パフォーマンスとリソース要件のバランスが取れています
  • Guanaco-33B：高性能な中規模モデル
  • Guanaco-65B：ChatGPTのパフォーマンスに近い大規模モデル

アプリケーションシナリオ

学術研究

  • 大規模言語モデルのファインチューニング実験
  • 指示追従能力の研究
  • 対話システムの性能評価
  • パラメータ効率の良いファインチューニング手法の検証

産業アプリケーション

  • エンタープライズレベルの対話システム開発
  • ドメイン固有のモデルカスタマイズ
  • 多言語モデルの適応
  • リソース制約のある環境でのモデルデプロイメント

教育用途

  • 深層学習コースの実験
  • 大規模モデル技術の学習
  • オープンソースプロジェクトへの貢献実践

プロジェクトのハイライト

技術革新

  1. 画期的な量子化方法：NF4量子化技術は理論的に最適
  2. 非常に高いメモリ効率：前例のないメモリ最適化効果を実現
  3. 優れたパフォーマンス維持：リソース要件を大幅に削減しながら、モデルのパフォーマンスを維持

オープンソース貢献

  1. 完全なツールチェーン：トレーニングから推論までの完全なソリューション
  2. 豊富な例：さまざまな使用シナリオのサンプルコードを提供
  3. 詳細なドキュメント：完全な技術ドキュメントと使用ガイドを含む

エコシステム

  1. HuggingFace統合：主要な機械学習エコシステムとの深い統合
  2. コミュニティサポート：活発なオープンソースコミュニティと継続的な技術サポート
  3. 継続的な更新：新機能とパフォーマンスの最適化を定期的にリリース

技術的な課題と解決策

主な課題

  1. 量子化精度損失：NF4データ型と二重量子化技術で解決
  2. メモリ管理の複雑さ：ページングオプティマイザとスマートメモリスケジューリングを開発
  3. トレーニングの安定性：勾配クリッピングと学習率調整により安定性を確保

結論

QLoRAプロジェクトは、大規模言語モデルのファインチューニング技術における重要なブレークスルーを表しています。革新的な量子化技術とパラメータ効率の良いファインチューニング手法を通じて、大規模モデルの研究と応用の敷居を大幅に下げました。このプロジェクトは、技術的に重要なだけでなく、大規模言語モデルの民主的な応用を推進する上で重要な役割を果たしています。

研究者や開発者にとって、QLoRAは強力で柔軟なツールを提供し、限られたハードウェアリソースで高品質の大規模モデルのファインチューニングを可能にします。技術の継続的な改善とコミュニティの継続的な貢献により、QLoRAは大規模言語モデルのファインチューニング分野における標準ツールになることが期待されます。

関連リソース