PromptMeterLLM 容量とコスト

ローカル VRAM · GGUF 量子化 · API バッチ費用

このモデルは GPU に載るか、このバッチはいくらか

PromptMeter は GGUF ファイルをダウンロードする前に、そして API バッチを送る前に二つの問いに答えます。ひとつは選択した量子化・コンテキスト長・バッチサイズで重み、KV キャッシュ、活性化オーバーヘッドが占める VRAM。もうひとつは基準日を画面に示した単価表(編集可能)で計算したバッチ 1 回の費用です。どちらも計算式とデータの基準日、そしてこの推定が見ていないものを併記し、すべてこのタブ内で計算されるため、アップロードもアカウントもサーバー呼び出しもありません。

1.5B から 671B までのプリセットを選ぶかパラメータを直接入力し、FP16 から Q2_K までの量子化、2K〜128K のコンテキスト、FP16/Q8/Q4 の KV キャッシュ、バッチサイズを設定すると、合計 VRAM を重み・KV キャッシュ・オーバーヘッドに分けて表示します。8GB から 80GB までの各 GPU 容量について収まるか不足量を GiB で示し、マルチ GPU に必要な枚数と帯域ベースの毎秒トークン推定も計算します。2 つ目のタブは API 側で、コンテキスト使用率、リクエストあたりとバッチ合計の費用、処理時間、30 日間の見込みを、基準日付きの単価表で算出します。単価表のすべての欄を書き換えられます。

単価の基準日 2026-11-21VRAM の計算 重み + KV + オーバーヘッドツールの通信 0 件

PromptMeter の計算機

モデルと実行条件

必要な VRAM 合計

0GiB

—
  • 重み 0 GiB
  • KV キャッシュ 0 GiB
  • オーバーヘッド 0 GiB
トークンあたり KV—
VRAM 使用率—
必要枚数—
余裕—
単一ストリーム—tok/s
バッチ合計—tok/s
リクエストあたり—tok/s

この設定での GPU 適合性

    この合計の計算方法

    —

    weights_GiB = P × bpw ÷ 8 × 0.9313 KV_GiB = kv_KiB/token ÷ 1,048,576 × tokens × batch overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch tok/s ≈ bandwidth × 0.55 ÷ weights_GiB

    トークンあたりの KV はこのモデルのレイヤー数と KV ヘッドを FP16 で計算した値で、そこに量子化係数とバッチサイズを掛けています。

    できること

    計算機は二つ、誠実なページは一つ

    判断の左側が容量、右側が支出です。

    VRAM

    合計を三つの部分に分けて

    パラメータ数とビット/重みから重みを、レイヤー・コンテキスト・バッチから KV キャッシュを、さらに活性化の余裕分を加えます。数字ひとつではなく、三つの内訳と比率を示します。

    GGUF

    量子化は 7 段階

    FP16、Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q3_K_M、Q2_K と、それぞれの概算ビット/重みを表示するので、一段下げるとどれだけ減るかがダウンロード前に分かります。

    KV

    コンテキストと KV キャッシュの量子化

    2K から 128K までのコンテキスト、FP16・Q8・Q4 の KV キャッシュ、保存されるすべてのトークンに掛かるバッチサイズ。長いコンテキストとバッチは同じキャッシュを倍々に増やします。

    適合

    GPU 判定と必要枚数

    8GB から 80GB までの各容量について、余裕または不足を GiB で表示し、切れる安全余裕を適用し、選択した GPU でのマルチ GPU 構成に必要な枚数を計算します。

    速度

    式のついた毎秒トークン

    メモリ帯域による近似で、単一ストリームとバッチのデコード速度を出します。数字の出どころが検算でき、どれだけ外れうるかも書いてあります。

    費用

    信じるか直すか、API バッチ費用

    基準日を示した単価表から、コンテキスト使用率、リクエストあたりとバッチ合計の費用、処理時間、月間見込みを計算します。単価を変えれば結果はすぐに追従します。

    使い方

    モデル名から判断まで 4 ステップ

    登録も準備も不要です。すべての手順はお使いの端末で完結します。

    01

    モデルを選ぶ

    プリセットを選ぶか「直接入力」を選んでパラメータ数とトークンあたりの KV サイズを入力します。どちらも画面に出るので、プリセットの裏に数字が隠れません。

    02

    実行条件を決める

    量子化、コンテキスト長、KV キャッシュの精度、バッチサイズが合計の大部分を決めます。入力すると内訳と GPU 判定がすぐ更新されます。

    03

    適合性を読む

    合計、三つの内訳、安全余裕、必要な枚数、毎秒トークンの推定が一か所に並び、現在の設定に該当する注意書きも一緒に表示されます。

    04

    API 費用を出して書き出す

    API タブに移ってトークンと量を入れ、単価を調整したうえで、設定と結果の全体を JSON またはMarkdown でコピー・ダウンロードします。

    参考資料

    GGUF 量子化の段階と重さ

    KV キャッシュとオーバーヘッドを除いた重みのみを GiB で示します。計算機も同じビット/重みの値を使います。

    段階ビット/重み8B の重み (GiB)70B の重み (GiB)405B の重み (GiB)
    FP16
    16-bit
    16.0014.90130.4754
    Q8_0
    8-bit, near-lossless
    8.507.9269.3401
    Q6_K
    K-quant
    6.566.1153.5309
    Q5_K_M
    K-quant, medium
    5.695.3046.4268
    Q4_K_M
    K-quant, medium
    4.854.5239.5229
    Q3_K_M
    K-quant, medium
    3.913.6431.9184
    Q2_K
    smallest, visibly lossy
    2.632.4521.4124

    ビット/重みは llama.cpp の K-quant でよく報告される平均値で、ファイルによって多少異なります。Q2_K と Q3_K_M はサイズを縮める代わりに目に見える品質低下があり、Q4_K_M が既定値として使われるのには理由があります。

    参考資料

    GPU のメモリと帯域

    最後の列は、このページの毎秒トークン式を 8B モデルの Q4_K_M(重み約 4.5GiB)に当てはめた値です。単一ストリーム、KV キャッシュを除く。

    GPUVRAM (GB)帯域 (GB/s)8B Q4_K_M 約 tok/s
    RTX 4060 Ti 16 GB16288~35
    RTX 4070 Ti SUPER 16 GB16672~82
    RTX 4080 SUPER 16 GB16736~90
    RTX 3090 24 GB24936~114
    RTX 4090 24 GB241008~123
    RTX 5090 32 GB321792~218
    RTX A6000 48 GB48768~94
    RTX 6000 Ada 48 GB48960~117
    L40S 48 GB48864~105
    A100 80 GB802039~248
    H100 80 GB SXM803350~408
    Apple M4 Max 128 GB (unified)128546~66
    Apple M2 Ultra 192 GB (unified)192800~97

    帯域はメーカー公称のピークメモリ帯域です。実際のデコード速度はランタイムやカーネル、GPU が同時に行う他の処理によって、この式の値の 40〜70% 程度になるのが普通です。

    計算方法

    数字がどう作られるか

    このページの式と仮定はすべてここに書いてあります。

    重みは単純です。パラメータ数 × ビット/重み ÷ 8 を、十億バイトから GiB に換算します。70B を Q4_K_M で使うと 70.6 × 4.85 ÷ 8 = 42.8 十億バイト、つまり 39.9GiB です。コンテキストやバッチを変えてもこの値は動かないので、どの構成でもこれが下限になります。

    見落とされやすいのが KV キャッシュです。レイヤーごと、トークンごと、系列ごとにキーと値の2 つのテンソルが必要なので、コンテキスト長とバッチサイズの両方に比例して増えます。Llama 3.1 8B は FP16 でトークンあたり 128KiB、8K コンテキストで 1GiB、64K で 8GiB です。キャッシュを Q8 に量子化するとおよそ半分、Q4 でおよそ 4 分の 1 になります。

    活性化オーバーヘッドは、重みとキャッシュの外でランタイムが必要とする演算バッファ、ロジット、断片化を指します。カーネルとバッチに依存するため、このページは単純な余裕分の式を使います。0.40GiB にパラメータ数(十億)の平方根あたり 0.10GiB、さらにバッチ枠あたり 1,024 トークンごとに 0.00025GiB を加えます。測定値ではなく計画用の余裕分として扱ってください。

    API 側は公開定価に対する算術です。プロンプトのトークンと出力トークンを百万トークンあたりの単価で別々に計算し、通常は出力側が費用を支配します。時間は単純な待ち行列モデルで、最初のトークンまでの遅延に、仮定したプリフィル速度で割ったプロンプト処理時間と、仮定したデコード速度で割った出力時間を足し、同時実行数で割った回数だけ繰り返します。実際の遅延は提供元の負荷、リージョン、思考トークンによって変わるので、桁感覚として読んでください。

    重み
    weights_GiB = P(B) × bpw ÷ 8 × 0.9313
    0.9313 は 10⁹ バイトを GiB に直す係数です。P は十億単位のパラメータ数。
    KV キャッシュ
    KV_GiB = kv_KiB_per_token × factor ÷ 1,048,576 × tokens × batch
    factor は FP16 が 1、Q8 が 0.53、Q4 が 0.28 で、スケールのオーバーヘッドを含みます。
    活性化オーバーヘッド
    overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch
    測定値ではなく計画用の余裕分です。
    合計
    total_GiB = weights + KV + overhead
    安全余裕をオンにすると 容量 − 1GiB − 4% と比較します。
    デコード速度
    tok/s ≈ bandwidth_GB/s × 0.55 ÷ weights_GiB; バッチは × batch^0.72
    帯域律速のデコードに効率 55% を掛けた値で、プロンプト処理は含みません。
    API 費用
    per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_out
    バッチ合計はリクエストあたり × リクエスト数、日次と 30 日は入力した 1 日の量を使います。
    API 時間
    latency ≈ 0.6 s + prompt ÷ prefill + output ÷ decode; wall = ⌈requests ÷ concurrency⌉ × latency
    プリフィルとデコードの速度は単価表で編集できる仮定値です。

    質問

    よくある質問

    8B モデルを Q4_K_M で動かすには VRAM がどのくらい必要ですか?

    重みが約 4.5GiB(8 × 4.85 ビット/重み)で、そこに KV キャッシュとオーバーヘッドが加わります。Llama 3.1 8B を 8K コンテキストで使うとキャッシュが 1GiB、このページのオーバーヘッド余裕分が約 0.7GiB なので、計画値は 6.2GiB 前後です。8GB カードなら安全余裕を引いても 0.5GiB ほど残ります。同じモデルを 32K にするとキャッシュだけで 4GiB、合計が 9GiB を超えるため 8GB カードには収まりません。

    70B モデルではどうですか?

    Q4_K_M で重みだけで約 39.9GiB、8K コンテキストの KV キャッシュが 2.5GiB、オーバーヘッド余裕分が約 1.2GiB で、合計およそ 43.6GiB です。48GB カード 1 枚で収まり、24GB を 2 枚でも安全余裕を適用して収まります。ただしテンソル並列は帯域が完全には比例せず速度が落ちます。

    実際に表示される VRAM がこの数字より大きいのはなぜですか?

    計算機は重み、KV キャッシュ、固定の活性化余裕分だけを数えます。実際の実行では CUDA コンテキスト、グラフィックスドライバーとデスクトップ、アロケータの断片化、ランタイム固有のバッファも必要で、コンパイル済みカーネルや長いコンテキストのアテンションも加わります。10〜20% は空けておいてください。安全余裕のオプションがそのためのものです。

    KV キャッシュの量子化でそんなに減りますか?

    およそ FP16 に対して Q8 は半分、Q4 は 4 分の 1 にスケールのオーバーヘッドを足した程度です。Llama 3.1 8B の 64K コンテキストでは 8GiB が 4.2GiB または 2.2GiB になります。flash-attention 系のカーネルが必要で、すべてのランタイムが対応しているわけではなく、長いコンテキストでは品質が下がることがあるので、実際に測ってから頼ってください。

    API の単価はどこから来ていて、どのくらい新しいですか?

    2026-11-21 に各提供元の公開価格ページから読んだ定価で、表にその日付を表示しています。一部は期間限定です。Gemini 4 Carbon は 2026-11-30 まで百万トークンあたり 2/10 ドルで 12 月 1 日から 4/20 ドル、Gemini 3.8 Flash は 2026-12-31 まで 0.75/3.75、DeepSeek はピーク外で半額です。すべての欄を編集でき、コンテキスト窓も変えられるので、契約単価を入れて使ってください。

    毎秒トークンの推定はどのくらい正確ですか?

    帯域律速の近似で、メモリ帯域 × 0.55 ÷ 重みの GiB です。1,000GB/s のカードで 8B Q4_K_M なら約 120tok/s となり、この組み合わせで報告される範囲に収まります。演算律速のモデル、非常に小さいバッチ、CPU オフロード、プロンプト処理では 40% 以上外れることがあるので、構成どうしの比較に使ってください。

    入力した内容はどこかに送られますか?

    送られません。二つの計算機、単価表、書き出しはすべてこのページの JavaScript で、fetch も XHR もビーコンもありません。設定はお使いのブラウザの localStorage にだけ残り、ページの外部リクエストは head の広告ローダーだけです。

    正直な限界

    このページが答えられないこと

    推定であって測定ではありません

    VRAM の合計はモデルであり、お使いの機械から読み取った値ではありません。ランタイムやカーネル、コンパイルされたアテンション経路によって使用量は変わり、このページが収まると示した構成でも実際には読み込みに失敗することがあります。

    オーバーヘッドは式です

    活性化メモリはバッチの形、カーネル、コンテキストに依存します。0.40 + 0.10√P の余裕分は意図的に単純にした値で、非常に長いコンテキストではアテンションのバッファがこれを大きく超えることがあります。

    毎秒トークンは演算限界を知りません

    この推定は、デコードが重みをメモリから読む速度に律速されると仮定しています。演算律速のモデル、小さなバッチ、CPU オフロード、他の処理が動く GPU ではこの仮定が崩れます。

    API 単価は動きます

    表はある日の定価のスナップショットです。提供元はコンテキスト長、キャッシュ命中、リージョン、バッチ処理で価格を分け、思考トークンは出力として課金されます。ここではその区別を扱っていないので、実際の予算には自分の単価を入れてください。

    数字の根拠

    • 量子化 — llama.cpp GGUF K-quant のビット/重み: FP16 16.0、Q8_0 8.5、Q6_K 6.56、Q5_K_M 5.69、Q4_K_M 4.85、Q3_K_M 3.91、Q2_K 2.63
    • KV キャッシュ — レイヤーごとトークンごとに 2 つのテンソル。トークンあたりの値は各プリセットのレイヤー数と KV ヘッドのサイズから求めています
    • GPU 情報 — メーカー公称の最大 VRAM とメモリ帯域。ユニファイドメモリの Mac を含みます
    • API 単価 — 2026-11-21 に読んだ提供元の定価。ページ上で編集できます
    • プライバシー — アップロード・アカウント・解析なし。設定は localStorage のみ