収録件数：307 件のニュース/102 個のAIツール/391 個のオープンソースプロジェクト/73 件の学習リソース
ホームニュースオープンソースモデルAIツール学習リソース
ホーム / オープンソース / MiniMax-H3

MiniMax-H3

MiniMax-H3は、テキスト、画像、動画、音声の入力から、同期したステレオ音声付き動画を生成するオープンウェイトのオムニモーダルモデルです。

PythonDeploy & Inference
⭐ GitHubhttps://github.com/MiniMax-AI/MiniMax-H3
5,245
スター数
+0
スター増加率
2026年8月11日
最終更新
3
クリック数

1. プロジェクト概要

MiniMax-H3は、オープンウェイトのオムニモーダル生成モデルであり、テキスト、画像、動画、音声の入力を、ネイティブで同期されたステレオ音声を伴う一貫性のある動画出力に変換します。これにより、別々の動画生成パイプラインと音声生成パイプラインを一つに統合するという問題を解決します。

2. 背景と位置づけ

MiniMax-H3（MiniMaxの消費者向け製品ではHailuo AI 3.0とも呼ばれます）は、無音で映像のみの動画生成機と、クリエイターが実際に必要とするような視聴覚コンテンツとの間のギャップを埋めるために構築されました。それは、後から吹き替えるのではなく、最初からリップシンクされた会話、効果音、音楽が組み込まれた単一のクリップです。

その中核的な使命は、1つのモデルに混合されたマルチモーダルコンテキスト（自由形式のテキストに加えて、参照画像、動画クリップ、音声トラック）を読み取らせ、視覚と音声のために別々のモデル（および別々のプロンプト）を必要とするのではなく、時間的かつ音響的に一貫性のある結果を生成させることです。

類似のオープンウェイト動画生成機と比較して、MiniMax-H3の主な差別化要因は、最大2K解像度、32kHzステレオ音声でのネイティブな共同音声・動画生成と、ほとんどの同等のオープンモデルが1つのチェックポイントでまとめて提供していない、最初/最後のフレーム条件付けおよびマルチ参照条件付けモードです。

3. 機能カテゴリ

🎬 生成モード — モデルを駆動する主な方法を網羅する3つのコアモード

  • テキストから動画と音声へ（T2VA）：テキストプロンプトのみから完全な視聴覚クリップを生成
  • 最初/最後のフレーム条件付け（FL2VA）：指定された開始フレームおよび/または終了フレームにクリップを固定
  • マルチ参照生成（Ref2VA）：最大9枚の画像、3つの動画クリップ、3つの音声トラックを参照として組み合わせる
  • 目的：純粋なアイデア出しから、正確で参照に制約された制作まで、あらゆる用途をカバー

🧩 モデルアーキテクチャ — エンドツーエンドの生成パスを形成する3つのパイプラインステージ

  • H3-Context-IR：マルチモーダル入力を構造化された中間表現に前処理および解釈
  • H3-Base：768pの動画と音声を生成する33BパラメータのTransformer
  • H3-Regenerate-2K：出力を2Kにアップスケールするインコンテキスト再生成ステージ
  • 目的：「理解」、「生成」、「精緻化」を構成可能なステージに分離

🛠️ デプロイとツーリング — さまざまな規模と統合ニーズに対応する4つのサポートされる推論パス

  • 高スループットでマルチGPUサーバーデプロイのためのSGLangとvLLM
  • Pythonネイティブな実験とパイプラインのためのdiffusers
  • ノードベースのノーコードワークフローのためのComfyUI
  • 目的：チームが既存のスタックに一致する統合パスを選択できるようにする

📚 スキルとプロンプティングリソース — プロンプトエンジニアリングと下流ツーリングのための9つのバンドルされたワークフロースキル

  • h3-prompt-writing：Claude、OpenAI、その他のエージェントプラットフォームと互換性のあるポータブルなプロンプティングスキル
  • ベース（base-en.txt）および参照条件付き（ref-en.txt）プロンプティングのリファレンスガイド
  • 目的：意図したショット、動き、音声を確実に生成するプロンプトを作成するための学習曲線を短縮

4. 主なハイライト

  • ネイティブな同期音声 — 動画と32kHzステレオ音声は、後から合成されるのではなく、1つのモデルによって共同で生成されるため、会話、音楽、効果音は映像と同期したままです。
  • 最大2K出力 — ベースモデルは768pで生成し、H3-Regenerate-2Kステージがインコンテキストでアップスケールするため、分離された別途トレーニングされた超解像ステップを回避します。
  • リッチなマルチモーダル参照 — Ref2VAモードは、最大9枚の画像、3つの動画クリップ、3つの音声トラックを同時に受け入れ、単一の呼び出しから複雑で合成されたシーン構築を可能にします。
  • 柔軟なアスペクト比と長さ — 21:9、16:9、4:3、1:1、3:4、9:16の出力を、24 FPSで4〜15秒間サポートし、シネマティックな形式と短尺の縦型形式の両方をカバーします。
  • 多言語サポート — 安定した出力品質で11言語をサポートし、その他の言語も部分的にサポートするため、英語のみのワークフローではなく、グローバルなコンテンツパイプラインで使用できます。
  • 複数のデプロイティア — 単一呼び出しのクラウドAPIから、SGLang/vLLMによるセルフホストのマルチGPU推論まで、チームはホスト型APIから開始し、ボリュームの増加に応じてセルフホスティングに移行できます。

5. 役割別のユースケース

  • 一般開発者：GPUインフラストラクチャを管理することなく、クラウドAPI（platform.minimax.io）を介して動画と音声の生成をアプリに統合。
  • DevOps/SRE：高スループット推論のためにSGLangまたはvLLMを使用して、自己管理のGPUクラスター上でオープンウェイトのチェックポイントをデプロイおよびスケーリング。
  • データ/研究科学者：マルチモーダル生成研究のために、H3-Omni-Transformerアーキテクチャ、モダリティ固有のVAE、3Dマルチモーダル回転位置埋め込みを研究または拡張。
  • プロジェクトマネージャー：同期されたオーディオビデオ生成を必要とする製品のビルド対バイのオプションとしてMiniMax-H3を評価し、セルフホストインフラストラクチャにコミットする前に、ホスト型APIを使用して迅速なプロトタイピングを行う。

6. はじめに

必要なものを見つける — skills/ディレクトリにあるバンドルされたスキルとプロンプティングガイドを参照し、プロンプト作成の基礎についてはskills/h3-prompt-writing/references/base-en.txtから始めてください。

インストール/統合 — Hugging Faceからモデルの重みをダウンロードしてローカルで提供します：

hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" "Ref2VA/*" --local-dir MiniMax-H3
sglang serve --model-path MiniMaxAI/MiniMax-H3 --num-gpus 4 --ulysses-degree 4

または、ローカル設定なしで、ホスト型APIをplatform.minimax.io（グローバル）で直接呼び出します。

貢献 — GitHubリポジトリで問題や議論を開くか、コラボレーションのお問い合わせは[email protected]までメンテナーに連絡してください。

7. プロジェクト構造（オプション）

MiniMax-H3/
├── FL2VA/              # 最初/最後のフレームから動画へのチェックポイント
├── Ref2VA/             # マルチ参照から動画へのチェックポイント
├── audio_scheduler/    # 音声生成スケジューリングロジック
├── audio_vae/          # 音声変分オートエンコーダ
├── processor/          # マルチモーダルコンテキストの入力前処理
├── scheduler/          # 拡散/生成スケジューラ
├── text_encoder/       # テキストエンコーディングモジュール
├── tokenizer/          # テキスト入力用トークナイザー
├── transformer/         # H3-Omni-Transformerコアモデル
├── vae/                # 視覚変分オートエンコーダ
├── skills/              # バンドルされたプロンプティングおよびワークフロースキル
└── model_index.json     # モデルコンポーネントマニフェスト

2つのチェックポイントディレクトリ（FL2VA/、Ref2VA/）はタスク固有の重みを保持し、共有のtransformer/、vae/、audio_vae/コンポーネントはコアのオムニモーダルアーキテクチャを定義します。

8. 関連エコシステム

  • 推論フレームワーク：サーバーグレードのデプロイ用のSGLangとvLLM。Pythonパイプライン用のdiffusers。ビジュアルワークフロー構築用のComfyUI。
  • ホスト型プラットフォーム：platform.minimax.io（グローバルAPI）、hailuoai.video（消費者向けウェブアプリ）、hub.minimax.io（デスクトップアプリ）。
  • モデルハブ：重みはHugging FaceのMiniMaxAI/MiniMax-H3で、オリジナル形式とdiffusers互換形式の両方で配布されています。
  • エージェントエコシステム：h3-prompt-writingスキルは、Claude、OpenAI、その他のエージェントプラットフォーム間で移植可能になるように設計されています。

9. ライセンス

MiniMax-H3は、MiniMax H3コミュニティライセンス契約の下でリリースされています。

  • ✅ 研究、個人プロジェクト、およびコミュニティライセンスで許可されているほとんどの商用アプリケーションにモデルを使用できます。
  • ❌ 違法、ポルノ、または権利を侵害するコンテンツを生成するためにモデルを使用しないでください。これはライセンスのモデレーションガードレールによって明示的に制限されています。
  • ℹ️ 商用デプロイの前に、リポジトリ内の完全なライセンステキストを確認してください。コミュニティライセンスには、ここで要約されていない使用規模や帰属条項が含まれることが多いためです。

10. よくある質問

Q: 参照メディアなしで、テキストだけから音声付き動画を生成できますか？
A: はい。テキストから動画と音声へ（T2VA）モードは、テキストプロンプトのみから同期されたステレオ音声付きの完全なクリップを生成します。

Q: FL2VAとRef2VAのチェックポイントの違いは何ですか？
A: FL2VAは指定された最初および/または最後のフレームに生成を条件付けますが、Ref2VAは最大9枚の画像、3つの動画クリップ、3つの音声トラックのより広い混合を参照として受け入れます。

Q: MiniMax-H3を使用するにはローカルGPUが必要ですか？
A: いいえ。ローカルインフラストラクチャなしでplatform.minimax.ioのホスト型APIを呼び出すか、スケールやカスタマイズが必要な場合はSGLang/vLLMを介してオープンウェイトをセルフホストできます。

Q: サポートされている解像度と長さは？
A: 最大2K解像度（デフォルトは768p、H3-Regenerate-2Kでアップスケール）と、6つのアスペクト比で24 FPSの4〜15秒のクリップです。

Q: モデルは英語のプロンプトに限定されていますか？
A: いいえ。11言語を安定してサポートし、追加の言語も部分的にサポートしています。

11. クイックリンク

12. まとめ

MiniMax-H3は、開発者と研究者に、テキスト、画像、動画、音声の混合入力から、ネイティブで同期されたステレオ音声付き動画を生成するためのオープンウェイトのパスを提供します。これは通常、別々のモデルを組み合わせる必要がある機能です。ホスト型APIを介した迅速なプロトタイプから、SGLangやvLLMを介した大規模なセルフホストパイプラインまで、視聴覚コンテンツ生成を必要とするチームが主な対象であり、研究者は、研究または拡張するための完全に検査可能なオムニモーダルTransformerアーキテクチャを獲得できます。