量子化とは？AIモデルが4bitで軽くなる仕組みを初心者向けに解説

2026年8月19日

当ページのリンクには広告が含まれています。

「量子化（りょうしか）」という言葉を、ローカルAIの情報を調べていて見かけたことはないでしょうか。同じモデル名なのに、配布ページには7.6GB・13GB・24GBといったサイズがずらりと並んでいて、どれを落とせばいいのか分からない。その差を生んでいるのが量子化です。

さらに厄介なのが「Q4_K_M」「Q5_K_M」「Q8_0」といった暗号のような表記です。数字が大きいほうが良さそうに見えますが、そのぶんファイルは重くなります。自分のパソコンでAIを動かしたい人にとっては、ここが最初の関門になります。

この記事では、量子化がモデルを軽くできる仕組みと、表記の読み方、そして自分のPCに合ったものを選ぶときの考え方を整理します。数値はすべて2026年8月19日に公式の資料で確認したものだけを使い、出どころも本文中に書きました。

この記事の結論

量子化とは、AIモデルの中にある数値の精度をあえて粗くして、ファイルサイズと必要なメモリを小さくする技術です。

16bitのままなら約15GiBのモデルが、4bit系のQ4_K_Mでは約4.6GiBまで下がる（公式の実測値）
軽くするほど文章の生成は速くなる傾向。ただし精度は多少落ちる
迷ったらまず4bit以上。ファイルサイズを必要メモリの目安とし、少し余裕を持たせて選ぶ

量子化とは？AIモデルの数値を粗くしてサイズを小さくする技術

量子化とは、AIモデルの中にある膨大な数値（重み）の精度をあえて落として、ファイルサイズと必要メモリを小さくする技術です。llama.cppの公式ドキュメントでは「モデルの重みの精度を下げ（たとえば32bitの小数から4bitの整数へ）、モデルのサイズを縮め、推論を速くできることがある」と説明されています（2026年8月19日確認）。

AIモデルの正体は、何十億個という数値の集まりです。学習が終わった直後は、その1個1個が32bitの小数、あるいは16bitの形式で保存されています。Hugging Faceの公式ドキュメントも、近年はモデルが巨大なため16bitでの保存が広まり、さらにint8やint4といった整数まで落とす手法があると解説しています。

感覚としては、写真を無圧縮で保存するか、少し圧縮して保存するかの違いに近いものです。細部の情報はいくらか失われますが、ファイルは劇的に軽くなります。

よくある疑問：そもそも、どうしてわざわざ軽くする必要があるの？

理由は単純で、そのままのサイズでは家庭用のパソコンに載らないからです。同じドキュメントによると、Llama 3.1の80億パラメータ版は元のままで32.1GB、700億パラメータ版は280.9GB、4050億パラメータ版は1,625.1GBあります。

VRAM（＝グラフィックボードが持つ専用のメモリ）が8GBや12GBのPCでは、そもそも土俵に上がれません。

量子化は、この「載らない」を「載る」に変えるための技術です。ローカルAIそのものの全体像がまだつかめていない方は、ローカルLLMとは？必要なPCスペックの記事もあわせてどうぞ。

4bitにすると容量はどれだけ減る？公式の実測値で見る

llama.cppの公式リポジトリには、同じモデル（Llama 3.1の80億パラメータ版）を量子化の方式だけ変えて計測した表があります。2026年8月19日に確認した内容から、よく見かけるものを抜き出しました。

量子化の表記	1重みあたりのビット数	ファイルサイズ
Q2_K	3.1593	2.95 GiB
Q3_K_M	3.9960	3.74 GiB
IQ4_XS	4.4597	4.17 GiB
Q4_K_S	4.6672	4.36 GiB
Q4_K_M	4.8944	4.58 GiB
Q5_K_M	5.7036	5.33 GiB
Q6_K	6.5633	6.14 GiB
Q8_0	8.5008	7.95 GiB
F16（量子化なし）	16.0005	14.96 GiB

いちばん大きなF16は14.96GiBですが、よく見かけるQ4_K_Mでは4.58GiBまで下がります。およそ3分の1以下です。24GBクラスのグラフィックボードが要る話だったものが、8GBクラスでも視野に入る、という差になります。

実際の配布ページでも同じことが起きています。Ollamaの公式ライブラリでGemma 4のタグ一覧を開くと（2026年8月19日確認）、同じモデルがサイズ違いで何種類も並んでいます。

モデル	既定のタグ	q4_K_M	q8_0	bf16
gemma4:12b	7.6GB	7.6GB	13GB	24GB
gemma4:26b	18GB	18GB	28GB	52GB
gemma4:31b	20GB	20GB	34GB	63GB

この一覧で気づくのが、量子化を指定せずに落とすタグ（「gemma4:12b」など）のサイズが、q4_K_Mを指定したものと一致している点です。何も指定しないと4bit系が手に入っていることが多いと考えておくと、想像とのズレが減ります。ただしタグの構成もサイズも配布側の都合で変わるため、最新は配布ページで確認してください。

もう一つ、細かいようで混乱の元になるのが単位です。公式リポジトリの表はGiB（1024基準）、配布ページの表示はGBで、同じファイルでも数字がずれます。比べるときは単位をそろえてください。

同じリポジトリの別の表では、Q4_K_Mの8Bモデルが「4.9GB」と書かれています。4.58GiBと4.9GB、別物が並んでいるように見えますが、これは同じファイルを違う単位で言い換えているだけです。

「Q4_K_M」の読み方｜数字とアルファベットの意味

よくある疑問：Q4_K_MのKやMって、いったい何を表しているの？

分解すると、Qが量子化されていること、続く数字がおおよそのビット数、Kはk-quantと呼ばれる方式のグループ、末尾の_S / _M / _Lが同じビット数帯の中のバリエーションを指します。

記号	表しているもの
Q	量子化されたモデルであること
数字（2〜8）	おおよそのビット数。小さいほど軽く、粗い
K	k-quantと呼ばれる方式のグループ
_S / _M / _L	同じビット数帯の中でのサイズ違い（公式実測ではQ4_K_S＜Q4_K_M）
IQ	重要度行列（importance matrix）を使って重みを求める方式

ここで知っておきたいのが、「4bit」と書いてあってもぴったり4.0ではないことです。Hugging Face Hubの公式表（2026年8月19日確認）では、Q4_Kは4.5 bits-per-weight、Q5_Kは5.5、Q6_Kは6.5625と記載されています。

数値をブロックにまとめ、その補正値も一緒に保存する構造のため、そのぶんが上乗せされます。

_Sと_Mの差も、先ほどの計測値でそのまま確かめられます。Q4_K_Sが4.6672、Q4_K_Mが4.8944でした。Mのほうがわずかにビット数が多く、そのぶんファイルも少し大きい——読み取れる事実はここまでです。どの部分に何ビットを割り当てているかまでは公式の資料に書かれていないので、この記事では踏み込みません。

末尾が数字だけのQ4_0やQ5_0のような表記も残っていますが、公式表では「legacy quantization method（今日では広くは使われていない）」と明記されています。古い解説を参考にするときは、この点も頭に入れておくと選択を間違えにくくなります。

そして、これらのファイルが配られている入れ物がGGUFです。Hugging Face Hubの公式説明では「モデルの読み込みと保存を素早く行うために最適化されたバイナリ形式」とされています。PyTorchなど別の枠組みで作られたモデルを、この形式に変換して使うこともできます。

精度と速度はどう変わる？——軽くすると速くなる

ただし、軽くすればいいことばかりとはいきません。llama.cppの公式ドキュメントは、量子化について「多少の精度低下をもたらす可能性がある」と明記しています。

ではどれくらい落ちるのか。正直に書きますが、ひとことで「何％落ちる」と言える数字は公式には示されていません。公式が挙げているのは、パープレキシティ（＝言葉の予測にどれだけ迷いがないかを表す指標）やKLダイバージェンスで測るという測り方の話だけです。

ネット上でよく見る「精度は◯％保持」といった数字は、出どころが示されていないことも少なくありません。数字が具体的なほど正しく見えてしまうので、鵜呑みにしないほうが安全です。

一方、速度についてははっきりした傾向が出ています。同じLlama 3.1で計測された文章生成の速度（1秒あたりのトークン数）を並べると、次のようになります。

F16の29.17に対して、Q4_K_Mは71.93。2倍以上の開きがあります。1つの数値を表すデータ量が減れば、メモリからの読み出しも計算も軽くなるためです。ただしこの計測に使われたPCやGPUの条件は、そのページに書かれていません。自分の環境で同じ数字が出るという意味ではなく、あくまで相対的な傾向として受け取ってください。

ここまで見てきたのは、学習を終えたモデルを後から圧縮するやり方です。llama.cppの変換ツールの説明でも、F32やBF16といった高精度のファイルを受け取って量子化した形式へ変換する、とされています。この後から行う方式は一般にPTQ（学習後の量子化）と呼ばれます。

これに対して、精度の低下をできるだけ抑える工夫も進んでいます。その一つがQAT（学習の段階から低精度を織り込んでおく方式）です。

Googleの開発者向けブログでは、Gemma 3世代についてQATを「学習中に低精度の演算を模擬しておくことで、後から量子化しても劣化を抑える」手法だと説明し、Q4_0まで落としたときのパープレキシティの悪化を54%削減したと述べています（2026年8月19日確認）。

同じ記事には、Gemma 3のBF16とint4でのVRAM比較も載っています。27Bが54GB→14.1GB、12Bが24GB→6.6GB、4Bが8GB→2.6GB、1Bが2GB→0.5GB。

これはGemma 3世代についての公式値なので、ほかのモデルへそのまま当てはめないでください。配布ページにQATと書かれたタグが並んでいたら、この工夫が入ったものだと分かります。

自分のPCではどれを選ぶ？VRAMとの付き合い方

よくある疑問：結局、自分はどれをダウンロードすればいいの？

出発点になるのは、LM Studioの公式ドキュメントに書かれている一文です。同じモデルの複数の配布形式を「忠実さの度合いが違うもの」と説明したうえで、「マシンに余力があるなら4bit以上を選ぶ」と勧めています（2026年8月19日確認）。裏を返せば、4bitを下回る選択肢は余力がないときの手段ということになります。

そのうえで、自分のPCで動くかどうかは次の順に見ていくと判断しやすくなります。

配布ページを開く：動かしたいモデルのタグ一覧で、候補のファイルサイズを確認する
VRAMと比べる：そのサイズを、載せたいグラフィックボードの容量と突き合わせる
余裕を見込む：ぴったりではなく、いくらか空きが残る組み合わせを選ぶ

2番目の根拠は公式の言明にあります。llama.cppのドキュメントは「現状モデルはメモリへ完全に読み込まれるため、メモリとディスクの要件は同じ」と述べています。つまりファイルサイズがそのまま必要メモリの目安になる、ということです。

3番目が、いちばんつまずきやすいところです。ファイルサイズちょうどのVRAMでは足りません。先ほどのGoogleのブログも、掲載した数値はモデルの重みを読み込むぶんだけで、実行中にはKVキャッシュ（＝やり取りの途中経過を保持する領域）のぶんが別に必要になると注記しています。

この領域は扱う文章が長くなるほど増えていきます。長い文脈を扱う仕組みそのものは、コンテキストウィンドウとは？AIが前の会話を忘れる理由で解説しています。

では何GBのグラボならどのクラスまで狙えるのか。ここはモデルごとに事情が変わるため、ローカルLLMのVRAM目安とGPUの選び方で具体的に整理しています。画像生成AIも動かしたい場合の目安は、画像生成AIに必要なPCスペックが参考になります。

量子化の考え方が分かると、PC選びの判断も自分でできるようになります。「VRAMを何GB積んでおけば、どのクラスのモデルまで手が届くか」を、配布ページのサイズ表示から逆算できるからです。

＼大きいモデルまで狙うならVRAM重視で／

ドスパラでGPU搭載PCを見る

まとめ｜量子化はサイズと精度の折り合いをつける技術

量子化は、AIモデルを家庭用のパソコンに載せるための現実的な妥協点です。要点を整理します。

仕組み：モデル内部の数値の精度を落とし、サイズと必要メモリを小さくする
効果：Llama 3.1の80億パラメータ版で、F16の14.96GiBがQ4_K_Mでは4.58GiBに
表記：数字はおおよそのビット数、Kはk-quant系、_S/_M/_Lは同じ帯の中のサイズ違い
速度：軽いほど生成は速くなる傾向（公式値でF16の29.17に対しQ4_K_Mは71.93）
選び方：余力があるなら4bit以上。ファイルサイズを目安に、余裕を持たせて選ぶ

ひとまずQ4_K_Mから試し、余裕があればQ5_K_Mへ上げる——これが遠回りの少ない進め方です。ファイルサイズも体感速度も、その場で自分の目と手で確かめられます。

なお、ここに挙げた数値はいずれも2026年8月19日に各公式ページで確認したものです。タグの構成やファイルサイズは更新されていくので、落とす前に配布ページの表示を見る習慣をつけておくと確実です。

自分のPCで「動くか動かないか」は、突き詰めるとVRAMの容量とファイルサイズの引き算です。表記が読めれば、その引き算は買う前にできます。

量子化すると、AIは頭が悪くなりますか？

llama.cppの公式ドキュメントは「多少の精度低下をもたらす可能性がある」としています。ただし、どれくらい落ちるかを示す一律のパーセンテージは公式には示されていません。

公式が挙げているのはパープレキシティやKLダイバージェンスで測るという測り方だけで、落ち幅はモデルや使い方によって変わります。数字の断言を見かけたら、出どころを確かめてから受け取るのが安全です。

Q4_K_MとQ5_K_Mは、どちらを選べばいいですか？

Llama 3.1の80億パラメータ版での公式計測では、Q4_K_Mが4.58GiB、Q5_K_Mが5.33GiBでした。差は0.75GiBほどです。

この差を載せる余裕がメモリにあるならQ5_K_M、ぎりぎりならQ4_K_Mという考え方になります。LM Studioの公式ドキュメントは「マシンに余力があるなら4bit以上を選ぶ」と勧めており、どちらもその条件は満たしています。

量子化すると生成が速くなるのはなぜですか？

1つの数値を表すデータ量そのものが減るためです。文章を作るあいだ、AIは膨大な数の重みをメモリから読み出し続けるので、1個あたりが16bitから4bit台に減れば読み出しも計算も軽くなります。

公式リポジトリの計測値でも、F16の29.17に対しQ4_K_Mは71.93という差が出ています（測定環境はページに記載がないため、傾向として見てください）。

ファイルサイズと同じだけVRAMがあれば動きますか？

ちょうどでは足りません。llama.cppの公式ドキュメントは「メモリとディスクの要件は同じ」と述べており、ファイルサイズは必要メモリの目安になります。ただしGoogleの開発者向けブログの注記どおり、その数値は重みを読み込むぶんだけで、実行中はやり取りの途中経過を保持する領域が別に必要です。扱う文章が長いほど増えます。