GGUFとsafetensorsは、どちらを選べばいいですか？

用途で分かれます。Hugging Face公式はGGUFを、GGMLとその派生の実行環境で使うために設計された形式と説明しています。LM Studio・Ollamaなど手元のPCで動かすツールを使うなら、GGUF版が基本です。

Q4_K_MとQ5_K_Mでは、どれくらいサイズが違いますか？

llama.cpp公式記載のLlama-3.1-8Bの実測値では、Q4_K_Mが4.58 GiB、Q5_K_Mが5.33 GiBです（2026年9月1日確認）。特定モデルの実測値なので、別のモデルでは数字が変わります。

「_M」はMedium（中）という意味ですか？

そう説明されることもありますが、Hugging Face公式・llama.cpp公式のどちらの量子化タイプ表にも _S / _M / _L の意味は書かれていません。実測サイズで比べるのが確実です（同じQ4_KでもQ4_K_S＝4.36 GiB、Q4_K_M＝4.58 GiB）。

グラフィックボードがないPCでも動きますか？

ドスパラ公式（2026年8月20日更新）は、対応するソフトとモデルであればCPUとメモリだけでも動かせると説明しています。ただし同ページは、VRAMに収まらない場合に生成速度が大きく低下することがあるとも書いています。

GGUFとは？ローカルLLMのファイル形式とQ4_K_Mの選び方を解説

2026年9月1日

当ページのリンクには広告が含まれています。

ローカルLLMを試そうとモデルのページを開いたら、同じモデル名なのにGGUFのファイルがずらりと並んでいて手が止まった——自分のPCでAIを動かすときに、いちばん多いつまずきです。

並んでいるのは、いずれも末尾が「.gguf」のファイル。名前の違いは「Q4_K_M」「Q5_K_M」「Q8_0」といった表記の部分で、どれを選ぶかでファイルの大きさと、必要なパソコンのメモリが変わります。

この記事では、GGUFの定義からファイル名の読み方、公式ドキュメントの実測サイズ、自分のPCのメモリ・VRAMとの合わせ方までを整理します。

この記事の結論

GGUFは「ローカルAI用の、全部入り1ファイル形式」。迷ったらQ4_K_M系から試して、ファイルサイズが自分のメモリ・VRAMに収まるかで選べば大丈夫です。

重みと設定情報をまとめて収める形式。読み込みに必要な情報がファイル内で完結する
Llama-3.1-8Bの実測でQ4_K_Mは4.58 GiB、Q5_K_Mは5.33 GiB（llama.cpp公式・2026年9月時点）
VRAMに収まらなくても動かないわけではない。CPU側と分担して動くが、速度は落ちやすい

GGUFとは？ローカルAIのモデルを1つのファイルにまとめた形式

GGUFとは、自分のパソコンでAIモデルを動かすために、モデルの中身を1つのファイルにまとめた保存形式です。拡張子は「.gguf」で、ローカルLLMの配布形式の定番です。

ggml公式のGGUF仕様書は、GGML系の実行環境で推論（＝AIに実際に答えを作らせる処理）するためにモデルを保存しておく形式だと定義。Hugging Faceの公式ドキュメントでも、読み書きを速くするために最適化されたバイナリ形式と説明されています（2026年9月1日確認）。

作ったのはllama.cppの開発者と同じ人物。仕様書に並ぶ設計の狙いを読むと、性格が見えてきます。

1ファイルでの配布：外部ファイル不要で、配布も読み込みも簡単
情報の完結：読み込みに必要な情報がすべて中にある
速い読み込み：mmapという仕組みに対応している

なお、GGUFは「最初からGGUFで作られる」とは限りません。PyTorchなどで開発されたモデルを、あとから変換して使えると公式に書かれています。

いわば「持ち運び用にパッケージし直した状態」です。中身のモデルが別物になるわけではありません。

safetensorsとの違いは？なぜLM StudioやOllamaはGGUFを使うのか

モデルを探すと「safetensors」もよく目に入ります。この2つの違いが、GGUFの性格をよく表しています。

Hugging Face公式によれば、safetensorsのようなテンソル（重みの数値）だけの形式と違い、GGUFは重みと標準化されたメタデータ（＝モデルを動かすのに必要な設定情報）の両方を収めます。

項目	GGUF	safetensors
ファイルに入るもの	重みと標準化されたメタデータ	テンソル（重み）のみ
設計上の位置づけ	GGML系の実行環境で推論するための形式	Hugging Face Hub推奨のモデル形式のひとつ

※Hugging Face Hub公式ドキュメント（2026年9月1日確認）。

この違いは、設定に慣れていない段階ほど役立ちます。公式は、Ollamaで動かすときのチャットの書式がGGUFファイル内の設定情報から自動で選ばれると説明しています。設定を自分で用意しなくても会話が成立するのは、このおかげです。

対応ツールとして公式が挙げるのは、llama.cpp・LM Studio・GPT4All・Ollamaの4つ。llama.cppは、幅広いハードウェアで最小限の準備でLLMを動かすことを目的にしたC/C++実装です。

LM Studio公式は「LM Studioはllama.cppの上に作られている」と明記しています。見た目は違っても、GGUFを読む部分は同じ系統というわけです。使い分けはLM StudioとOllamaの違いの記事へ。

ファイル名の読み方｜「8B」「Q4_K_M」「.gguf」は何を表す？

ずらりと並んだファイルは、でたらめな名前ではありません。GGUF仕様書には命名規則があり、左から順に意味のある部品が並びます（上はイメージ図）。

モデル名：元になったモデルの名前
規模のラベル：「8B」ならパラメータ（規模を表す数）が80億
調整の種類：「Instruct」など、調整の内容を表す部分
量子化の表記：重みの記録方式。「Q4_K_M」などがここ
分割の位置：大きなモデルを分けたときの番号

よくある疑問：「Q4_K_M」の _M って、Medium（中くらい）のことじゃないの？

正直に書きます。表記は「Q＋ビット数」＋「K」＋「接尾辞」ですが、接尾辞 _S / _M / _L が何の略なのかは、Hugging Face公式にもllama.cpp公式にも定義がありません。

「K」も同じで、公式表の記載は方式の説明まで。Q4_Kは「重みを32個ずつのブロックにまとめ、8個束ねたスーパーブロック単位で4bit化する」方式だとされています。名前を推測するより、実測サイズで比べるほうが確実です。

公式に決まっていない部分は、覚えるより「サイズで判断する」に切り替えたほうが早いです。

Q4_K_M・Q5_K_M・Q8_0の違い｜量子化レベル別のサイズを比べる

量子化とは、ドスパラ公式の定義では「AIモデルが使う数値を元の状態より少ない情報量で表し、必要なデータ量を減らす技術」。仕組みは量子化とは？4bitで軽くなる仕組みの記事で扱うので、ここではどれくらい小さくなるのかに絞ります。

Hugging Face公式の量子化タイプ表には、重み1つあたりのビット数が載っています。Q2_Kが2.625、Q3_Kが3.4375、Q4_Kが4.5、Q5_Kが5.5、Q6_Kが6.5625ビット。数字が小さいほど軽く、元のモデルとの差は出やすくなります。

より実感しやすいのが実測値。llama.cpp公式ドキュメントには、meta-llama/Llama-3.1-8B（80億パラメータ）1本を量子化した結果が載っています（2026年9月1日確認）。

量子化	bits/weight	ファイルサイズ
Q3_K_M	3.9960	3.74 GiB
Q4_K_S	4.6672	4.36 GiB
Q4_K_M	4.8944	4.58 GiB
Q5_K_M	5.7036	5.33 GiB
Q6_K	6.5633	6.14 GiB
Q8_0	8.5008	7.95 GiB
F16（量子化なし）	16.0005	14.96 GiB

※llama.cpp公式記載のLlama-3.1-8Bの実測値。対象モデルが変われば、同じ量子化名でもサイズは変わります。

ほかのモデルでも傾向は同じ。ドスパラ公式（2026年8月20日更新）は8BモデルのQwen3を例に、FP16で約16GB、Q8_0で約8.9GB、Q4_K_Mでは約5.2GBまで減ると説明しています。

選ぶ前に知っておきたいのが、旧方式の扱いです。Hugging Face公式の表では、Q8_0・Q5_0・Q4_0などが「Legacy types」に置かれ、現在は広くは使われていない旧方式と注記されています。

「品質重視だからQ8_0」と決める前に、Q5_K_M（5.33 GiB）やQ6_K（6.14 GiB）という、より軽い選択肢も知っておいて損がありません。

逆にQ4_K_Mをよく見かけるのは、HubのモデルをOllamaで動かす場合、リポジトリ内にあれば既定で選ばれると公式に記載されているため。この場面での既定であって、最良と宣言されているわけではありません。

自分のPCではどれを選ぶ？メモリ・VRAMとの合わせ方

次は自分のPCとの突き合わせ。基準はメモリ（RAM）とグラフィックボードのVRAMの2つです。ドスパラ公式（2026年8月20日更新）が4ビット量子化モデルを例に示している目安を、表にまとめます。

モデルの規模	本体の容量目安	メモリ32GBでの扱いやすさ
7B〜8Bクラス	約5GB（4ビット量子化）	OSやブラウザの分を残しつつ読み込める
12B〜14Bクラス	約9GB	32GBに収まり、他アプリとの併用も可能
27B〜32Bクラス	約19〜20GB	読み込めるものもあるが、設定次第で不足も
70Bクラス	4bit量子化でも約40〜43GB	モデル本体だけで32GBを超える

※ドスパラ公式記載の目安（2026年9月1日確認）。「32GBないと動かない」という意味ではありません。同ページは、70Bクラスや動画編集との併用なら64GBが候補になる、としています。

よくある疑問：VRAMが足りないと、そのモデルは動かないということ？

ここは誤解されやすいところです。llama.cpp公式は、VRAMの総容量より大きいモデルでも、CPUとGPUを併用して一部を高速化できると明記。ドスパラ公式も、対応するソフトとモデルならCPUとメモリだけでも動かせるとしています。

つまりVRAM不足＝動かない、ではなく「遅くなる」。ただし同ページは、収まらない場合に生成速度が大きく低下することがあるとも書いています。快適さを求めるなら、収まるサイズが近道です。

見るべきは使いたいGGUFファイルのサイズに、作業用の余裕を足した容量がVRAMに収まるか。Q4_K_Mの8Bモデルならファイル自体は5GB前後ですが、扱う文章が長くなるほど必要量は増えるため、実際に必要な容量はそれより大きくなります。ファイルサイズ＝必要VRAMではない点に注意してください。GPU別の目安はローカルLLMに必要なVRAMは何GB？の記事へ。

手持ちのPCで軽い量子化から試し、物足りなければ上のレベルへ。順番を逆にすると遠回りになりがちです。

＼ローカルAIを動かす一台を探す／

ドスパラでAI向けPCのラインアップを見る

GGUFの使い方と、ダウンロード前に確認したいこと

実際の流れは、思っているより簡単です。ここでは画面の操作だけで完結する手順を追いかけます。

STEP

GGUF版のモデルを探す

Hugging Faceでは、GGUFファイルを含むモデルだけを絞り込めます。サイトの使い方はHugging Faceとは？AIモデルの入手先の記事へ。

STEP

量子化レベルを選ぶ

LM Studio公式によると、モデルごとに量子化の候補を展開でき、そのPCのハードウェアに合う推奨が強調表示され、対応可否も示されます。初めてなら、これに従うのが安全です。

STEP

使うツールへ渡す

モデルページの「Use this model」から使いたいアプリを選びます。事前にLocal Apps設定で有効にしておくのが条件。持っていれば起動し、無ければダウンロードの選択肢が出ます。

STEP

既定の設定のまま読み込む

LM Studioは読み込み時の設定を、既定でそのPCに合わせて選ぶと公式に記載されています。細かい調整を触る前に、そのまま読み込んでみてください。

STEP

重ければ1段軽い量子化へ

会話してみて重ければ、同じモデルの1段小さいファイルへ。Q5_K_MからQ4_K_Mへ、といった具合です。余裕があるなら逆に1段上げて試す価値もあります。

そのうえで、ダウンロード前に確認したいことがあります。

GGUF形式であること自体は、公式配布・安全性・商用利用の可否を保証しません。配布元とライセンスを必ず確認してください。

同じモデル名でも別ファイル：GGUFは入れ物にすぎず、量子化が違えばサイズも必要メモリも変わります
旧方式の表記も混在：Q8_0・Q4_0などLegacyも並びます。迷ったらK系から

まとめ

GGUFは、ローカルAI用にモデルを1つのファイルへまとめた保存形式です。設定情報まで同梱されているから、ファイルを1つ渡すだけで動く——ここがsafetensorsとの決定的な違いです。

ファイル名は「モデル名／規模（8B＝80億）／調整／量子化」の順。_S / _M / _L の意味は公式に定義がなく、実測サイズで比べる
Llama-3.1-8Bの実測でQ4_K_M＝4.58 GiB、Q5_K_M＝5.33 GiB、Q8_0＝7.95 GiB
Q8_0は公式表で旧方式の区分。品質を上げたいならQ5_K_M・Q6_Kも候補
VRAMに収まらなくてもCPUと分担して動く。ただし速度は落ちやすい

次の一歩は、パソコンのメモリ容量を確認して7B〜8BクラスのQ4_K_Mを1本試すこと。5GB前後のファイルが動くかどうかが分かれば、その先にどんなPCが必要かも見えてきます。ツールの仕様や目安は更新されるため、最新は各公式サイトでご確認ください（本記事は2026年9月時点）。

GGUFとsafetensorsは、どちらを選べばいいですか？: 用途で分かれます。Hugging Face公式はGGUFを、GGMLとその派生の実行環境で使うために設計された形式と説明しています。LM Studio・Ollamaなど手元のPCで動かすツールを使うなら、GGUF版が基本です。
Q4_K_MとQ5_K_Mでは、どれくらいサイズが違いますか？: llama.cpp公式記載のLlama-3.1-8Bの実測値では、Q4_K_Mが4.58 GiB、Q5_K_Mが5.33 GiBです（2026年9月1日確認）。特定モデルの実測値なので、別のモデルでは数字が変わります。
「_M」はMedium（中）という意味ですか？: そう説明されることもありますが、Hugging Face公式・llama.cpp公式のどちらの量子化タイプ表にも _S / _M / _L の意味は書かれていません。実測サイズで比べるのが確実です（同じQ4_KでもQ4_K_S＝4.36 GiB、Q4_K_M＝4.58 GiB）。
グラフィックボードがないPCでも動きますか？: ドスパラ公式（2026年8月20日更新）は、対応するソフトとモデルであればCPUとメモリだけでも動かせると説明しています。ただし同ページは、VRAMに収まらない場合に生成速度が大きく低下することがあるとも書いています。