MoEとは？AIモデルの「26B-A4B」表記の意味を初心者向けに解説

Q: 「26B-A4B」の26Bと4B、グラフィックボードを選ぶときはどちらを見ればいいですか？

26Bのほう、つまり前半の総パラメータを見てください。 アクティブパラメータは速度の目安であって、メモリの目安ではありません。 実際にGoogle公式のメモリ要件では、Gemma 4 26B A4Bは4bit相当で14.4GBとされています（2026年9月2日確認）。密の12Bが6.7GBですから、倍以上の開きがあります。

2026年8月20日2026年9月12日

当ページのリンクには広告が含まれています。

複数の専門モジュールから必要なものだけへ経路をつなぎ、MoEの仕組みを示すイメージ

MoEとは、AIモデルの中に「エキスパート」と呼ばれる担当を複数（モデルによっては数百個）用意しておき、1トークンを処理するあいだに動かすのはそのうちごく一部だけ、という仕組みのことです。最近のモデル名で見かける「26B-A4B」「2.4T-A95B」という不思議な表記も、このMoEから来ています。

つまずきやすいのが、「Aのあとの数字だけを見て、4Bぶんしか動かないなら自分のパソコンでも軽いはず」と考えてしまうところです。実際に用意するメモリは、その数倍にふくらみます。

この記事では、MoEの仕組みとモデル名の読み方を、Hugging Face・Mistral AI・Google・OpenAI・Qwenが公開している数値だけで整理します。掲載した数値はすべて2026年9月2日に各公式ページで確認したものです。

この記事の結論

MoEは「速さ」を稼ぐ仕組みで、必要なメモリはほとんど減りません。
「A◯B」の数字＝1トークンあたり実際に動くアクティブパラメータの数。前半が総パラメータ、後半が実働ぶん
速さはアクティブぶん、メモリは総パラメータぶん。Gemma 4の26B A4Bは4bit相当で14.4GBで、密の12B（6.7GB）の倍以上、密の31B（17.5GB）に近い位置（2026年9月2日確認）
グラフィックボードを選ぶときに見るのは、名前の前半にある総パラメータ側。しかも公式のメモリ表は重みぶんだけで、長い文脈を扱うとさらに上乗せが要る

MoE（Mixture of Experts）とは？必要な担当だけを動かす仕組み

中央の分岐路から複数の窓口へ光が伸び、そのうち1〜2本だけが明るく点灯しているイメージ

MoEとは、モデルの内部に複数の小さなニューラルネットワーク（エキスパート）を並べておき、入力に応じてその一部だけを使う設計のことです。正式にはMixture of Experts（混合エキスパート）といいます。

Hugging Faceの公式ブログ「Mixture of Experts Explained」によると、MoEは2つの部品でできています。1つ目が「Sparse MoE層」で、通常のモデルにある密なフィードフォワード層（FFN層）を置き換える形で組み込まれます。

同ブログは、このMoE層が一定数（例として8個）のエキスパートを持ち、その一つひとつがニューラルネットワークだと説明しています。実体は多くの場合FFNですが、もっと複雑なネットワークや、入れ子のMoEになることもあるとのことです。

つまり「専門家」の正体は、この層の中に並ぶ複数の小さなネットワークです。人間のように「この人は法律担当」と決められているのではなく、学習の過程で自然に役割が分かれていきます。

2つ目がルーター（＝どの入力をどのエキスパートに渡すか決める振り分け役）です。同ブログはこれを「どのトークンをどのエキスパートへ送るかを決めるゲートネットワーク、またはルーター」と説明しています。

トークン（＝AIが文章を細かく区切って処理する単位）ごとに、ルーターが担当を選び直します。同じ文章の中でも、単語が変われば送り先も変わるということです。

トークンそのものの考え方はAIのトークンとは？料金が決まる仕組みでも解説しています。

イメージは大きな総合病院の受付が近いかもしれません。院内に何科あっても、来た人が全部を回ることはありませんよね。症状を聞いた受付が合う科へ案内する——ルーターはこの受付役です。

注目される理由も、この「一部だけ動かす」性質にあります。同ブログの冒頭にはMoEの特徴が4行でまとめられていて、次のようになっています。

密なモデルと比べて、事前学習がはるかに速い
同じパラメータ数のモデルと比べて、推論が速い
すべてのエキスパートをメモリに載せるため、VRAMを多く要求する
ファインチューニングには課題が多い（ただし近年の指示チューニングの研究には見込みがあるとも書かれている）

3行目にすでに答えが書かれている点に注目してください。

公式の解説そのものが、MoEの利点として速度を挙げ、メモリはむしろ不利だと明記しています。同ブログは「MoEは、はるかに少ない計算量で事前学習でき、同じ計算予算のままモデルやデータの規模を大きく引き上げられる」とも述べており、これが開発側にとっての採用理由です。

「モデルは大きくしたい、でも計算コストは抑えたい」という両立しにくい願いへの答えがMoE、と考えると筋が通ります。

「26B-A4B」「2.4T-A95B」の読み方｜Aはアクティブパラメータ

大きな半透明の球の中に多数の小さな発光キューブが詰まり、ごく一部だけが光っているイメージ

よくある疑問：「8x7B」って、8×7で56Bのことじゃないの？

56Bにはなりません。Mistral AIが公表しているMixtral 8x7Bの総パラメータは46.7Bです。エキスパートとして分かれているのはFFN層だけで、残りの部分は全体で共有するため、単純なかけ算より小さくなります。

そのうえでモデル名の「A」のあとの数字は、1トークンを処理するときに実際に動くパラメータの数（アクティブパラメータ）を表します。前半が総パラメータ、後半が実働ぶん、という読み方です。

いちばんはっきりしているのがQwen3.8-2.4T-A95Bの公式モデルカードです。スペック表には「Number of Parameters: 2.4T in total and 95B activated」とあります。

総2.4Tのうち動くのは95Bで、名前の「A95B」がそのまま対応しています（2026年9月2日確認）。

同じ表のエキスパート数は「512」、動くのは「10 Routed + 1 Shared」。512個のうちルーターが選ぶのは10個で、これに常時動く共有1個が加わります。層数は92、コンテキスト長は262,144トークン（拡張時は最大1,010,000トークン）と記載されています。

公式リポジトリの更新履歴によれば、このモデルの公開は2026年8月12日、密モデルのQwen3.8-27Bは同8月14日でした。2026年9月2日時点で、この2件がQwen3.8シリーズの最新の項目です。

「8x7B」というかけ算風の表記は、Mistral AIのMixtral 8x7B発表が有名です。同社は「フィードフォワードのブロックが8つのパラメータ群から選ぶ。

各層・各トークンごとに、ルーターがこれらのグループから2つを選んで処理し、出力を足し合わせる」と説明。総パラメータは46.7B、1トークンあたりに使うのは12.9Bです。ライセンスはApache 2.0で公開されています。

つまり8×7＝56Bにはなりません。名前は構造の目安であって、正確な合計ではないわけです。

このズレは新しいモデルでも起きています。GoogleのGemma 4 26B A4Bモデルカードが挙げる数字は、総パラメータ「25.2B」、アクティブ「3.8B」。

エキスパートは「8 active / 128 total and 1 shared」、層数30、コンテキスト長256Kです。名前の「26B」「A4B」は、実測値をきりのよい数字に丸めた呼び名ということです。

スクロールできます

モデル名	総パラメータ	アクティブ（1トークンあたり）	公式の記載
Mixtral 8x7B	46.7B	12.9B	Mistral AI「46.7B total parameters」「only uses 12.9B parameters per token」
Gemma 4 26B A4B	25.2B	3.8B	Googleモデルカード（エキスパートは128個中8個＋共有1個）
gpt-oss-20b	21B	3.6B	OpenAI「21B parameters with 3.6B active parameters」
gpt-oss-120b	117B	5.1B	OpenAI「117B parameters with 5.1B active parameters」
Qwen3.8-2.4T-A95B	2.4T	95B	Qwen公式「2.4T in total and 95B activated」

※2026年9月2日に各公式ページで確認した記載です。構成は更新されることがあるため、最新は公式のモデルカードで確認してください。

表のgpt-oss 2行を見比べると、名前の読み方がよくわかります。gpt-oss-120bは20bに対して総パラメータが5倍以上ありますが、アクティブは3.6B→5.1Bと1.5倍未満です。総が増えてもアクティブはあまり増えないのがMoEの設計で、だからこそ速度とメモリの見積りがずれます。

Qwen3.8-27Bのように「A◯B」が付かない名前のモデルもあります。MoEのモデルには「A◯B」を添える表記が使われている、と読んでおくと迷いません。

Qwen3.8-Maxの中身はQwen3.8-Maxとは？性能・料金と自分のPCで動かせるかで扱っています。

MoEは何が速い？「12.9Bのモデルと同じ速度」の意味

速さの説明としてよく引用されるのが、Mistral AIの一文です。同社はMixtral 8x7Bについて「入力の処理も出力の生成も、12.9Bのモデルと同じ速度・同じコストで行う」と述べています。総46.7Bなのに体感は12.9Bクラス、というわけです。

理由はシンプルで、1トークン処理するたびに触る計算量が減るからです。

Hugging Faceの解説はこの内訳まで書いていて、1トークンにつき2つのエキスパートが使われる場合、計算量（FLOPs）は「7B×2＝14Bぶんではなく12Bのモデルを使うのに近い」としています。

共有されている層のぶん、かけ算より小さくなるという説明です。

読み違えやすいのが比較の相手です。同解説は「同じパラメータ数の密なモデルと比べて推論がはるかに速い」と書いています。比べているのは「総パラメータが同じ密モデル」で、「アクティブぶんと同じ大きさの密モデル」ではありません。

46.7BのMoEが速いのは「46.7Bの密モデルと比べたら」という話で、もともと12.9Bの密モデルより速くなるわけではありません。大きなモデルの賢さを、小さなモデルの速度で使えるかもしれない——そこがMoEの利点です。

Googleの書き方も同じ形です。

Gemma 4のモデルカードは26B A4Bについて「4Bのパラメータしか使わないため、26Bという総数から想像するよりずっと速く動く」「4Bパラメータのモデルとほぼ同じ速さで動くため、密の31Bと比べたときに推論の速さで有利になる」と説明しています。

ここでも比較の相手は同じ規模の密モデル（31B）であって、4Bの密モデルではありません。

数字での比較例もあります。Mistral AIはMixtral 8x7Bについて「ほとんどのベンチマークでLlama 2 70Bを上回り、推論は6倍速い」と述べています。相手は総70Bの密モデルで、ここでもMoEの速さは「大きな密モデルとの比較」で語られています。

なお「12.9Bのモデルと同じ速度」は、あくまでMixtral 8x7Bについての同社の説明です。エキスパートの数も割り振り方もモデルごとに違うため、すべてのMoEが同じとは限りません。

落とし穴｜速いのにメモリは総パラメータぶん必要

グラフィックボードの上で小さく速く回る歯車と、場所を占める大きく重い箱が同居しているイメージ

よくある疑問：4Bしか動かないなら、VRAMも4Bぶんで足りるの？

足りません。ここがMoE最大の落とし穴です。

Hugging Faceの解説は、はっきりこう書いています。「すべてのパラメータをメモリに読み込む必要があるため、メモリ要件は高い」「たとえばMixtral 8x7Bなら、密な47Bのモデルを収められるだけのVRAMが必要になる」。

VRAM（＝グラフィックボードが持つ専用メモリ）で言えば、実働が12.9Bでも置き場所は46.7Bぶん要ります。ルーターがどのエキスパートを選ぶかは事前に分からないので、全員を待機させておくしかありません。

アクティブが4Bでも、必要なメモリは4Bぶんにはなりません。

同じ内容を、モデルを配る側も明記しています。

Google公式のGemmaドキュメントは26B A4Bについて「生成時に動くのは40億パラメータだけだが、ルーティングと推論速度を保つために260億パラメータすべてをメモリへ読み込む必要がある」「そのためベースラインのメモリ要件は、4Bのモデルよりも密な26Bモデルにずっと近い」と明記しています。

同ページが公開している、おおよそのGPU／TPUメモリ要件が次の表です（2026年9月2日確認）。比較のため、アクティブぶんに近い大きさの密モデルとしてGemma 4 E4Bも並べました。

スクロールできます

モデル	BF16（16bit）	SFP8（8bit）	Q4_0（4bit）
Gemma 4 E4B（密・実効4.5B）	17.9 GB	8.9 GB	4.5 GB
Gemma 4 12B（密）	26.7 GB	13.4 GB	6.7 GB
Gemma 4 26B A4B（MoE）	57.7 GB	28.8 GB	14.4 GB
Gemma 4 31B（密）	69.9 GB	34.9 GB	17.5 GB

4bit相当で見ると、実働3.8BのMoEが14.4GB。同じ4Bクラスの密モデル（E4B・4.5GB）の3倍を超え、密の12B（6.7GB）の倍以上、密の31B（17.5GB）に近い位置です。「4Bぶんしか動かないから軽い」という直感は、ここで裏切られます。

この表を読むときに見落としやすい条件が2つあります。1つは、数値が静的な重みを読み込むぶんだけで、コンテキスト（KVキャッシュ）ぶんは含まれていないこと。

Googleは「プロンプトと生成の合計トークン数に応じてメモリ消費は動的に増える」と注記しています。26B A4Bのコンテキスト長は256Kなので、長い文章を投げるほど上乗せが大きくなります。

もう1つは、この数値が読み込み時の付随ぶんとして20%のオーバーヘッドを含んだ見積りだという点です。さらにファインチューニングを行う場合は、推論とは比べものにならないほど大きなメモリが必要になるとも書かれています。表の値は下限に近いと受け止めておくと、選定を外しません。

同じ傾向は配布ページの実物でも確かめられます。Ollama公式ライブラリのgemma4タグ一覧に並んでいるダウンロードサイズです（2026年9月2日確認）。

タグ	ダウンロードサイズ
gemma4:12b（密・4bit系）	7.6GB
gemma4:26b（MoE・4bit系／現在の既定）	19GB
gemma4:31b（密・4bit系）	20GB
gemma4:26b-a4b-it-q4_K_M	18GB
gemma4:26b-a4b-it-qat	16GB
gemma4:26b-a4b-it-q8_0	28GB
gemma4:26b-a4b-it-bf16	52GB

ここは2026年8月時点から数字が動いた箇所です。既定の「gemma4:26b」は18GBから19GBになりました。

この行の更新表示は9月2日時点で「1週間前」で、同じ識別子がMTP付きの4bit版（26b-a4b-it-mtp-q4_K_M）に付いています。既定の中身が入れ替わったということです。

従来の26b-a4b-it-q4_K_Mは18GBのまま別タグで残っているので、以前と同じものを使いたい場合はタグを指定して取得します。

Googleの表とOllamaの表は性質が違う数字です。前者はメモリ要件の見積り、後者はファイルのダウンロードサイズで、14.4GBと19GBは同じものを指していません。ただ「26Bは密の12Bの倍以上、密の31Bとほぼ同格」という並び順は共通しています。

ここで量子化とMoEの役割の違いを押さえておくと迷いません。量子化は1個の重みを軽くするのでメモリそのものが減り、MoEは使う重みの数を減らすだけなのでメモリは減りません。

上の表でも、同じ26B A4Bがbf16の52GBからqatの16GBまで開いています。差を作っているのは全部量子化のほうです。

だからこそ両者は組み合わせて使われます。仕組みは量子化とは？AIモデルが4bitで軽くなる仕組みにまとめています。

弱点はメモリだけではありません。Hugging Faceの解説は「MoEは歴史的に、ファインチューニングでの汎化に苦戦してきた」とし、過学習に陥りやすい点も挙げています。

ただし同じ箇所には、MoE向けの指示チューニングに関する近年の研究は見込みがある、とも添えられています。自分のデータで追加学習させたい人にとっては、ここも判断材料になります。

自分のPCで動かすなら？モデル名の「総パラメータ」側を見る

ここまでをPC選びの言葉に翻訳すると、答えは1行です。グラフィックボードを選ぶときに見るのは、モデル名の前半にある総パラメータのほう。「A◯B」は速度の目安であって、置き場所の目安ではありません。

家庭のパソコンで現実的な入口として名前が挙がるのが、OpenAIが公開したgpt-oss-20bです。

モデルカードには「21B parameters with 3.6B active parameters」とあり、総21B・アクティブ3.6BのMoEだと分かります。ライセンスはApache 2.0です（2026年9月2日確認）。

メモリについて同カードは、MoEの重みをMXFP4で量子化したことで「gpt-oss-20bは16GBのメモリに収まって動く」と説明しています。VRAM単体かシステムのメモリ込みかまでは書かれていませんので、「16GBあれば必ず快適」とは受け取らないほうが無難です。

同じシリーズの上位、gpt-oss-120bは「117B parameters with 5.1B active parameters」で、80GBのGPU 1枚に収まるという位置づけです。

アクティブは20bの1.5倍未満なのに、必要な置き場所は桁が変わります。名前の前半で見積もる理由がここに出ています。

配布サイズも見ておくと感覚がつかめます。Ollama公式のgpt-ossタグ一覧では20bが14GB、120bが65GBです（2026年9月2日確認・8月時点から変更なし）。20bならVRAMに余裕のあるパソコンの射程に入ってきます。

よくある疑問：じゃあ、密モデルとMoEはどう使い分ければいいの？

順番を決めておくと迷いません。まず手持ちのVRAMに収まるサイズを決め、その枠に入る候補の中から選びます。

同じくらいの容量を占める候補が並んだとき、応答の速さを優先するならMoE、追加学習や安定した挙動を優先するなら密モデル、という分け方です。判断材料を並べると次のようになります。

見るポイント	密モデル	MoE
必要なメモリ	パラメータ数どおり	総パラメータぶん（アクティブぶんではない）
名前の読み方	「31B」など1つの数字	「26B-A4B」など総＋アクティブの2つ組
速さの傾向	サイズなりの速さ	同じ総パラメータの密モデルより速い設計
追加学習との相性	手順の情報が多い	汎化に課題があるとHugging Faceが指摘
選ぶときの目安	入るサイズを素直に選ぶ	前半の数字でメモリを見積もる