拡散モデルとは？画像生成AIがノイズから絵を作る仕組みを初心者向けに解説

拡散モデルとは、ノイズだらけの砂嵐のような状態から少しずつノイズを取り除いて、絵を作り上げるAIの仕組みです。画像生成AIの解説には必ず出てくる言葉ですが、名前だけ知っているという方も多いはずです。

そして初心者の方がいちばん知りたいのは、たぶん理論ではありません。「その処理、自分のPCで動くの？」というところですよね。

この記事では、Hugging Faceの公式ドキュメントとStability AI・ドスパラの公式ページ（いずれも2026年9月時点で確認）をもとに、絵ができる筋道と、必要なVRAMの目安までをまとめて整理します。

拡散モデルとは？ノイズから絵を作り出す画像生成AIの仕組み

拡散モデルとは、ノイズだらけの状態から少しずつノイズを取り除いて絵を作り上げる、AIの生成方式のことです。いま広く使われている画像生成AIの多くが、この考え方で動いています。

Hugging Faceが公開しているライブラリ「Diffusers」の公式ドキュメントは、動きをこう説明しています（2026年9月時点）。出力したいサイズと同じ大きさのランダムなノイズから始め、指定した回数だけモデルに通す、という流れです。

1回通すごとに、AIは「いまどれくらいノイズが乗っているか」を予測します。その分を引いて、ほんの少しだけノイズの少ない状態を作る。これを指定回数くり返した先に、1枚の絵が残ります。

なお同じ公式ドキュメントは、Diffusersを「動画・画像・音声を生成するための学習済み拡散モデルのライブラリ」と紹介しています。拡散モデルは画像だけの技術ではなく、動画生成AIをローカルで動かす話や音声合成AIの話とも地続きです。

拡散モデルの仕組み｜ノイズを足す工程とノイズを取る工程

よくある疑問：そもそも、なんでノイズから絵が出てくるの？

ここが拡散モデルのいちばん面白いところです。答えは「壊し方を先に覚えたから」。学習と生成を分けて見ると、すっきり理解できます。

学習のとき｜きれいな絵にノイズを足して壊していく

拡散モデルの学習では、まずきれいな写真やイラストに、少しずつノイズを足していきます。最後には元が何だったか分からない砂嵐になります。

このとき、AIは「どの段階で、どれだけノイズが足されたか」を大量に見ることになります。つまり壊し方を徹底的に覚えるわけです。

壊し方が分かれば、その逆再生が直し方になります。写真を伏せていく手順を全部知っている人なら、伏せた状態から巻き戻せる、というイメージです。

生成のとき｜ノイズを予測して、少しずつ取り除く

絵を作るときは、その逆をたどります。まっさらなランダムノイズを用意して、そこから少しずつノイズ除去をしていきます。

ここではU-Netを使うStable Diffusionの例で説明します。ノイズの予測を行うU-Netと、次の状態を計算するスケジューラが処理を分担します。Transformerを使う拡散モデルもあり、すべてが同じ構成ではありません。

面白いのは、スケジューラがモデルではないという点です。公式ドキュメントは、高速化のためにGPUへ載せるのはスケジューラ以外だと説明しています。スケジューラは学習した重みを持たない計算の段取りなので、GPUに載せる対象ではありません。

では入力した言葉はどこで効いてくるのか。プロンプトはテキストエンコーダがU-Netに分かる形へ翻訳し、ノイズ除去の方向を毎回誘導します。役割を並べると次のとおりです。

• テキストエンコーダ：プロンプトを、U-Netが解釈できる形に変換する
• U-Net：言葉を手がかりに、乗っているノイズを予測する
• スケジューラ：予測を受けて、次の状態を計算する
• VAE：小さな下書きと、実際の画像とを行き来する

家庭のPCで動く理由は「小さな下書き」で計算しているから

拡散モデルの中でも、画像生成AIとしてよく知られるStable Diffusionは「潜在拡散モデル」と呼ばれます。Hugging Faceの公式ブログによれば、実際のピクセルではなく低い次元に置き換えた表現で計算するため、メモリの効率が良いからです。

この置き換え先が潜在空間（＝絵をそのまま扱わず、小さな下書きの状態にして計算する場所）です。数字で見ると効果がはっきりします。

同ブログは、512×512の画像が潜在空間では64×64になると説明しています。縦横それぞれ8分の1、面積では64分の1です。

つまり拡散モデルは、大きな絵をそのまま何十回も磨いているわけではありません。小さな下書きを磨き、最後にVAEが実物大の画像へ戻しています。これが家庭用のGPUでも動く最大の理由です。

拡散モデルの使い方は3通り｜文章から・画像から・一部だけ

拡散モデルの使い道は、文章から絵を作ることだけではありません。Hugging Faceの公式ドキュメントは、同じ仕組みのまま入り口だけを変えた3つの使い方を解説しています（2026年9月時点）。

使い方	渡すもの	拡散モデルの出発点
文章から作る （Text to Image）	プロンプトだけ	まっさらなランダムノイズ
画像から作る （Image to Image）	プロンプト＋元になる画像	元画像の下書きにノイズを足したもの
一部だけ描き直す （Inpainting）	プロンプト＋元画像＋マスク	白く塗った範囲だけを描き直す

元画像を渡すと、拡散モデルの出発点が変わる

公式ドキュメントは、Image to Imageを「文章から作る方式と似ているが、プロンプトに加えて出発点となる元画像を渡せる」ものと説明しています。

渡された元画像は、まず潜在空間の小さな下書きに変換されます。そこへノイズを足したうえで、いつものノイズ除去が走る、という順番です。

つまり違いは、スタート地点がまっさらなノイズか、元画像に少しノイズを足したものかだけ。使っている拡散モデルも、ノイズ除去のくり返しも同じです。

画像の修復にも使える「一部だけ描き直す」使い方

Inpaintingは、マスクで指定した範囲だけを描き直す使い方です。公式ドキュメントは白く塗った部分が描き直され、黒い部分はそのまま残ると説明しています。

同ドキュメントはこれを、写り込んだ不要なものや傷を取り除く画像修復にも役立つ機能として紹介しています。拡散モデルは「ゼロから絵を作る道具」であると同時に、手直しの道具でもあるわけです。

どの使い方でもモデルと設定の確認は必要です。ただし、入力画像や追加の処理が変われば、必要メモリや実行時間も変わります。同じ解像度・ステップ数だけで、異なる処理の負荷を同じとは判断できません。

拡散モデルの重さはステップ数・解像度・モデルの条件で変わる

拡散モデルの負荷は、生成時間と必要なメモリを分けて考えます。同じモデルならステップ数や解像度が比較軸になりますが、モデル本体の大きさ、精度、同時生成枚数、省メモリ設定でも変わります。

Diffusers公式のメモリ節約ガイドは、モデルごとの違いと、VAEの分割処理・CPUへのオフロードなどを説明しています。メモリ節約と処理速度には兼ね合いがあるため、対応する方法だけを試します（2026年9月22日確認）。

ステップ数を増やすと計算回数がそのまま増える

ステップ数は、画像を作るためにノイズ除去などの処理を進める回数の指定です。同じモデル・方式なら増やすほど計算が増えますが、実行時間や必要VRAMが、そのまま同じ倍率になるとは限りません。

では何回が正解なのか。公式の情報を並べると、答えが1つではないことが見えてきます。

• 25：Hugging Face公式のサンプルコードに書かれた値
• 50：Hugging Face公式ブログが「まずはこれで」と案内する値
• 4：Stability AIが公開したStable Diffusion 3.5 Large Turboの値

特に3つ目が象徴的です。Stability AIは2024年10月22日の発表で、Large Turboがわずか4ステップで高品質な画像を生成すると説明しています。

これは軽量化のために蒸留された派生版だからです。「ステップ数は多いほど良い」という単純な話ではなく、適切な値は使う拡散モデルとスケジューラによって変わります。

解像度を上げると1ステップあたりの負担が増える

もう一方の軸が解像度です。Hugging Face公式のサンプルコードでは、Stable Diffusionの既定サイズとして512×512が使われています。

ここを大きくすると、潜在空間の下書きも同じ比率で大きくなります。8分の1という圧縮率は変わらないので、出力を大きくした分だけ下書きも重くなるわけです。

そして下書きが重くなれば、それを何十回も磨く1回1回が全部重くなります。解像度はステップ数と違い、毎ステップに掛かる係数として効いてくると考えると分かりやすいはずです。

変える項目	増やすと起きること	拡散モデルの計算への効き方
ステップ数	ノイズ除去のくり返しが増える	U-Netを通す回数がそのまま増える
解像度	1回あたりの下書きが大きくなる	毎ステップの計算量が増える
両方	回数と大きさの掛け算で増える	計算時間が増える。メモリはモデル・解像度・同時生成枚数等で別に確認

拡散モデルを自分のPCで動かすには？必要なVRAMの目安

では実際、どれくらいのPCがあれば拡散モデルを動かせるのでしょうか。いちばん見るべき数字はVRAM、つまりグラフィックボードが持っている専用メモリの容量です。

モデル別・用途別のVRAMの目安

公式が公表している数字を2つの角度から並べます。1つはモデル側の要件、もう1つは用途別の推奨です。

VRAMの目安	拡散モデルでできること	出典（2026年9月時点で確認）
8GB（RTX 5060以上）	1枚の画像生成	ドスパラ公式（2026年6月10日更新）
9.9GB（テキストエンコーダを除く）	Stable Diffusion 3.5 Mediumの性能を出し切る	Stability AI公式
12GB（RTX 5070 Ti以上）	高解像度など本格的な用途	ドスパラ公式（2026年6月10日更新）
16GB以上（RTX 5080／5090）	追加学習まで行う上級用途	ドスパラ公式（2026年6月10日更新）

Stability AIは、2024年10月29日にMediumを追記した同じ発表ページで、25億パラメータのStable Diffusion 3.5 Mediumについてこう説明しています。

「テキストエンコーダを除いて9.9GBのVRAMで性能を発揮できる」。この「除いて」を落とすと実機で足りなくなるので要注意です。

ちなみに同時期に公開された上位版のLargeは81億パラメータです。拡散モデルは大きいほど要求も上がるので、同じシリーズでも必要なVRAMは別物と考えてください。

用途別の目安は、ドスパラ公式のAI PC解説ページ（2026年6月10日更新）が分かりやすくまとめています。同ページは、VRAM 16GBの余力があれば複数の機能を重ね掛けした緻密なイラスト制作も余裕を持ってこなせる可能性が高まる、としています。

VRAMが足りないときに起きること・できること

よくある疑問：VRAMが足りないと、そもそも起動もしないの？

起動はしても、生成の途中で止まることがあります。ドスパラ公式は、VRAMに収まりきらないときにOut of Memoryが起きて処理が失敗すると説明しています。

VRAMを作業机の広さにたとえた説明も同ページにあります。机が狭いと道具を広げきれない、というわけです。

とはいえ、打つ手が無いわけではありません。公式が案内している回避策もあります。

• 精度を下げて読み込む：Hugging Face公式ブログは、GPUメモリが10GB未満ならfloat16で読み込むよう案内
• オフロード：使っていない部分を一時的にVRAMの外へ逃がす
• 量子化：データを軽い形式に置き換えて容量を削る
• 設定を見直す：解像度・同時生成枚数はメモリ、ステップ数は主に計算時間の調整候補

Hugging Faceの公式ドキュメントも、オフロードや量子化といった最適化によって、メモリの限られた機器でも大きなモデルを扱えるようにしていると記しています。

省メモリ機能は、対応モデルを限られたVRAMで扱うための選択肢です。処理速度やRAM使用量との兼ね合いがあるため、まず今の環境で必要な品質と待ち時間を満たせるかを確認してから買い替えを考えましょう。

なお画像生成AIでGeForce RTXが勧められるのは、ドスパラ公式によればStable Diffusionをはじめ主要なAI開発環境がNVIDIAのCUDAを軸に最適化されているからです。理由はCUDAとは？AIにGeForceが必要な理由でくわしく解説しています。

＼AI時代の相棒探し／

拡散モデルとChatGPTのようなAIは何が違う？

同じ生成AIでも、文章のAIと拡散モデルでは作り方がまるで違います。ここが分かると、必要なPCの見方も変わってきます。

ChatGPTのような文章のAIは、先頭から単語を1つずつ足していくタイプです。書き始めた文章に、次に来そうな言葉を継ぎ足していきます。

対して拡散モデルは、最初から完成サイズの絵が置いてあって、それを全体まるごと何度も磨き直すタイプです。部分を継ぎ足すのではなく、ぼんやりした全体が少しずつはっきりしていきます。

比べる点	文章のAI（ChatGPTなど）	拡散モデル（画像生成AI）
作り方	先頭から1つずつ足していく	全体を何度も磨き直す
途中の見え方	文が伸びていく	ぼんやりした絵が鮮明になる
重さを決めるもの	モデル・入力と出力の長さ・実行方法など	モデル・解像度・ステップ数・同時生成枚数など
PCで気にする数字	本体の大きさとメモリ	VRAM

この違いは、PCを選ぶときの着目点にそのまま出ます。文章のAIでは扱える文章の長さが壁になり、拡散モデルではVRAMとステップ数が壁になります。

もうひとつ、拡散モデル以前からよく知られている生成方式にGANがあります。絵を作る側と、本物か作り物かを見分ける側を競い合わせて学習させる仕組みです。

対して拡散モデルは、競わせる代わりに「ノイズを足して壊す工程」を学び、その逆をたどります。出発点の考え方がそもそも違う、と捉えておけば入り口としては十分です。

どちらが優れているかを一律に決められるものではありませんが、いま画像生成AIに触れるうえで最初に知っておきたい仕組みは拡散モデルのほうです。

仕組みが分かったら、次は実際に触ってみる番です。手元で動かす環境としてはComfyUIの始め方とPC要件が入口になります。

最後に注意点をひとつ。Stability AIが示したライセンス条件（非商用は無料、年間売上100万ドル以下の商用利用も無料）は2024年10月の発表時点のものです。仕事で使うなら、最新の条件を必ず公式サイトで確認してください。

まとめ

拡散モデルは難しそうな名前をしていますが、やっていること自体はとてもシンプルです。

仕組みを一度つかんでおくと、生成が遅い理由も、エラーが出た理由も自分で見当がつくようになります。数字の意味が分かれば、PC選びで迷う場面はぐっと減ります。

拡散モデルはCPUだけでも動きますか？

Hugging Faceの公式ドキュメントには、処理を実行する先としてGPUのほかCPUを指定する書き方も示されています。ただし公式が高速化のためにGPUへ載せることを勧めているとおり、快適さを求めるならVRAMを積んだグラフィックボードが前提と考えてください。

ステップ数は多いほどきれいになりますか？

単純に比例するわけではありません。Hugging Face公式のサンプルコードは25、公式ブログは50を案内する一方、Stability AIのStable Diffusion 3.5 Large Turboは4ステップで高品質な生成ができるとしています。

適切な値は、使う拡散モデルとスケジューラによって変わります。

VRAM 8GBのPCでも拡散モデルは動きますか？

動くかはモデルと解像度、生成枚数、精度、省メモリ設定によります。本文の8GB・12GB・16GBは販売店が用途別に示す目安で、全モデル共通の最低要件ではありません。使いたいモデルの公式要件と、実際の設定を照合してください。

拡散モデルは画像以外にも使えますか？

使えます。Hugging Faceの公式ドキュメントは、Diffusersを動画・画像・音声を生成するための学習済み拡散モデルのライブラリだと紹介しています。画像専用の技術ではありません。

Stable Diffusionは無料で使えますか？

Stability AIは2024年10月のStable Diffusion 3.5発表時、Stability AI Community Licenseのもとで非商用利用は無料、年間売上100万ドル以下の組織による商用利用も無料としていました。

これは発表時点の条件のため、最新のライセンス条件は公式サイトで確認してください。