Skip to content

Latest commit

 

History

History
136 lines (84 loc) · 5.27 KB

README_ja.md

File metadata and controls

136 lines (84 loc) · 5.27 KB
Raw

🍭 ComfyUI Flux Accelerator

ComfyUI Flux Acceleratorは、ComfyUI用のカスタムノードです。 Flux.1をこのカスタムノードに通すだけで、画像生成を高速化できます。

How does ComfyUI Flux Accelerator work?

ComfyUI Flux Acceleratorは以下の方法で画像生成を高速化します:

  1. TAEF1の使用

    TAEF1はデフォルトと比較してパラメータサイズが小さいAEです。わずかな品質低下と引き換えに、非常に短い時間で画像をエンコード・デコードできます。

  2. 量子化とコンパイル

    torchaoとtorch.compile()を利用して、AEをfloat8/int8に量子化するほか、モデルをコンパイルすることで動作を高速化します。

  3. 冗長なDiT Blocksのスキップ

    ComfyUI Flux Acceleratorは、Flux.1内のTransformer Blockの評価を部分的にスキップするオプションを提供します。これにより、生成速度が直接的に向上します。

    当ノードのオプションでスキップするBlockのインデックスを選択できます（デフォルトはMMDiT Blocksの3,12）。

How much faster is ComfyUI Flux Accelerator?

ComfyUI Flux Acceleratorは、デフォルト設定よりも最大で 37.25% 高速に画像を生成できます。

以下にいくつかの例を示します（RTX 4090でテスト）:

512x512 4steps: 0.51s → 0.32s (37.25% faster)

1024x1024 4steps: 1.94s → 1.24s (36.08% faster)

1024x1024 20steps: 8.77s → 5.74s (34.55% faster)

How to install ComfyUI Flux Accelerator?

  1. リポジトリをクローンして、ComfyUIのcustom_nodesフォルダに配置する

    git clone https://github.com/discus0434/comfyui-flux-accelerator.git
mv comfyui-flux-accelerator custom_nodes/

  2. PyTorchとxFormersをインストール

    ## Copied and modified https://github.com/facebookresearch/xformers/blob/main/README.md

# cuda 11.8 version
pip3 install -U torch torchvision torchao triton xformers --index-url https://download.pytorch.org/whl/cu118
# cuda 12.1 version
pip3 install -U torch torchvision torchao triton xformers --index-url https://download.pytorch.org/whl/cu121
# cuda 12.4 version
pip3 install -U torch torchvision torchao triton xformers --index-url https://download.pytorch.org/whl/cu124

  3. TAEF1をダウンロード

    以下のコマンドを使用してダウンロードします。

    cd custom_nodes/comfyui-flux-accelerator
chmod +x scripts/download_taef1.sh
./scripts/download_taef1.sh

  4. ComfyUIを起動

    起動コマンドは環境によって異なる場合があります。

    a. H100、L40、またはそれ以上に新しいGPUの場合

    python main.py --fast --highvram --disable-cuda-malloc

    b. RTX 4090の場合

    python main.py --fast --highvram

    c. その他

    python main.py

  5. workflowフォルダ内のワークフローをロード

    ComfyUIのLoadボタンをクリックしてワークフローをロードできます。

  6. Enjoy!

How to use ComfyUI Flux Accelerator?

ワークフロー内で FluxAccelerator ノードを使用し、MODELとVAEを接続するだけです。

もしGPUのVRAMが24GB以下の場合、パラメータの変更時頻繁にOut Of Memoryエラーに遭遇するかもしれませんが、単に無視してもう一度実行し直せば動作します。

What are the limitations of ComfyUI Flux Accelerator?

ComfyUI Flux Acceleratorには以下の制限があります：

  1. 品質

    ComfyUI Flux Acceleratorは、TAEF1の使用や冗長なDiTレイヤーのスキップによって、わずかに 品質を犠牲にします。高品質な画像が必要な場合は、デフォルト設定の使用をお勧めします。

  2. コンパイル時間

    ComfyUI Flux Acceleratorは、ComfyUIの起動後、または生成解像度等の設定を変更した後の初回の画像生成時にモデルコンパイルを行いますが、その際に 30～60秒 の時間を要します。これは、モデルを最適化するために torch.compile() を使用するためです。

  3. 互換性

    ComfyUI Flux Acceleratorは現在 Linux のみで動作します。Windowsの場合はWSL2やDockerを使用してください。 さらに、ControlNetやその他のカスタムノードとの互換性が保証されていません。

ライセンス

ComfyUI Flux AcceleratorはMITライセンスの下でライセンスされています。詳細はLICENSEをご覧ください。