총합을 세 부분으로 나눠서
파라미터 수와 비트/가중치로 가중치를, 레이어·컨텍스트·배치로 KV 캐시를, 여기에 활성화 여유분을 더합니다. 숫자 하나가 아니라 세 부분과 각 비중을 함께 보여 줍니다.
로컬 VRAM · GGUF 양자화 · API 배치 비용
PromptMeter는 GGUF 파일을 내려받기 전에, 그리고 API 배치를 보내기 전에 두 가지를 답합니다. 첫째는 선택한 양자화·컨텍스트 길이·배치 크기에서 가중치·KV 캐시·활성화 오버헤드가 차지하는 VRAM이고, 둘째는 적용 기준일이 화면에 표시된 단가표(직접 수정 가능)로 계산한 배치 1회 비용입니다. 두 결과 모두 계산식과 데이터 기준일, 그리고 이 추정이 보지 못하는 부분을 함께 보여 주며, 전부 이 탭 안에서 계산되어 업로드도 계정도 서버 호출도 없습니다.
1.5B부터 671B까지 프리셋을 고르거나 파라미터를 직접 입력하고, FP16부터 Q2_K까지 양자화를 선택하고, 2K~128K 컨텍스트와 FP16/Q8/Q4 KV 캐시, 배치 크기를 정하면 총 VRAM을 가중치·KV 캐시·오버헤드로 나눠 보여 줍니다. 8GB부터 80GB까지 각 GPU 용량에 들어가는지 여유 또는 부족 용량으로 표시하고, 다중 GPU 구성에 필요한 장 수와 대역폭 기반 초당 토큰 추정치도 계산합니다. 두 번째 탭은 API 쪽으로, 컨텍스트 점유율·요청당 및 배치 총비용·처리 시간·30일 예상 비용을 기준일이 적힌 단가표로 계산하며 단가표의 모든 칸을 직접 고칠 수 있습니다.
필요한 총 VRAM
0GiB
이 설정에서의 GPU 적합성
—
weights_GiB = P × bpw ÷ 8 × 0.9313
KV_GiB = kv_KiB/token ÷ 1,048,576 × tokens × batch
overhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batch
tok/s ≈ bandwidth × 0.55 ÷ weights_GiB
토큰당 KV 값은 이 모델의 레이어 수와 KV 헤드를 FP16 기준으로 계산한 값이며, 여기에 양자화 계수와 배치 크기를 곱합니다.
배치 총비용
$0.00
—
cost_per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_out
batch_cost = cost_per_request × requests
context_use = (prompt + output) ÷ context_window
latency ≈ 0.6 s + prompt ÷ prefill_tok/s + output ÷ output_tok/s
wall_clock = ⌈ requests ÷ concurrency ⌉ × latency
프리필·디코드 속도는 단가표에 있는 가정값입니다. 실제 지연은 제공사 부하와 출력으로 과금되는 사고 토큰에 따라 달라집니다.
기준일 2026-11-21 · 제공사 기본값
| 모델 | 입력 $/1M | 출력 $/1M | 컨텍스트 | 프리필 tok/s | 출력 tok/s |
|---|---|---|---|---|---|
| GPT-6.2 AstraOpenAI | |||||
| GPT-6.2 SolOpenAI | |||||
| GPT-6.1 TerraOpenAI | |||||
| Claude Fable 5.2Anthropic | |||||
| Claude Opus 5.5Anthropic | |||||
| Claude Sonnet 5.5Anthropic | |||||
| Claude Haiku 5.5Anthropic | |||||
| Gemini 4 CarbonGoogle | |||||
| Gemini 4 NeonGoogle | |||||
| Gemini 3.8 FlashGoogle | |||||
| DeepSeek FlashDeepSeek | |||||
| DeepSeek V4 ProDeepSeek |
모든 칸을 고칠 수 있습니다. 계약 단가, 다른 컨텍스트 창, 측정한 디코드 속도를 넣어 보십시오. 수정값은 이 브라우저에만 저장됩니다.
이 스냅숏의 한시 가격: Gemini 4 Carbon은 2026-11-30까지 백만 토큰당 2/10, 2026-12-01부터 4/20입니다. Gemini 3.8 Flash는 2026-12-31까지 0.75/3.75, 2027-01-01부터 1.50/7.50입니다. DeepSeek 수치는 첨두 시간 기준이며 비첨두는 절반입니다. Claude Haiku 5.5는 프롬프트가 10만 토큰을 넘으면 0.50/2.50을 받습니다.
무엇을 하는가
결정의 왼쪽은 용량, 오른쪽은 지출입니다.
파라미터 수와 비트/가중치로 가중치를, 레이어·컨텍스트·배치로 KV 캐시를, 여기에 활성화 여유분을 더합니다. 숫자 하나가 아니라 세 부분과 각 비중을 함께 보여 줍니다.
FP16, Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q3_K_M, Q2_K와 각 단계의 대략적인 비트/가중치를 보여 주므로, 한 단계 내렸을 때 얼마나 줄어드는지 다운로드 전에 알 수 있습니다.
2K에서 128K까지 컨텍스트, FP16·Q8·Q4 KV 캐시, 그리고 저장되는 모든 토큰에 적용되는 배치 크기까지. 긴 컨텍스트와 배치는 같은 캐시를 곱절로 늘립니다.
8GB부터 80GB까지 각 용량에 대해 여유 또는 부족 용량을 GiB로 표시하고, 끌 수 있는 안전 여유를 적용하며, 선택한 GPU 기준으로 다중 GPU에 필요한 장 수를 계산합니다.
메모리 대역폭 근사식으로 단일 스트림과 배치 디코드 속도를 냅니다. 숫자가 어디서 나왔는지 검산할 수 있고, 얼마나 틀릴 수 있는지도 함께 적혀 있습니다.
기준일이 표시된 단가표로 컨텍스트 점유율, 요청당·배치 총비용, 처리 시간과 월 예상 비용을 계산합니다. 단가를 고치면 결과가 즉시 따라옵니다.
사용 방법
가입도 준비도 필요 없습니다. 모든 단계가 사용자 기기에서 일어납니다.
프리셋을 선택하거나 ‘직접 입력’을 골라 파라미터 수와 토큰당 KV 크기를 적습니다. 두 값이 모두 화면에 드러나므로 프리셋 뒤에 숨는 숫자가 없습니다.
양자화, 컨텍스트 길이, KV 캐시 정밀도, 배치 크기가 총합의 대부분을 결정합니다. 입력하는 즉시 구성비와 GPU 판정이 갱신됩니다.
총합, 세 부분, 안전 여유, 필요한 장 수, 초당 토큰 추정치가 한자리에 모이고, 현재 설정에 해당하는 주의 사항이 함께 표시됩니다.
API 탭으로 옮겨 토큰과 물량을 넣고 단가를 조정한 뒤, 설정과 결과 전체를 JSON 또는 Markdown으로 복사하거나 내려받습니다.
참고 자료
KV 캐시와 오버헤드를 빼고 가중치만 GiB로 표시했습니다. 계산기도 같은 비트/가중치 값을 씁니다.
| 단계 | 비트/가중치 | 8B 가중치 (GiB) | 70B 가중치 (GiB) | 405B 가중치 (GiB) |
|---|---|---|---|---|
FP1616-bit | 16.00 | 14.90 | 130.4 | 754 |
Q8_08-bit, near-lossless | 8.50 | 7.92 | 69.3 | 401 |
Q6_KK-quant | 6.56 | 6.11 | 53.5 | 309 |
Q5_K_MK-quant, medium | 5.69 | 5.30 | 46.4 | 268 |
Q4_K_MK-quant, medium | 4.85 | 4.52 | 39.5 | 229 |
Q3_K_MK-quant, medium | 3.91 | 3.64 | 31.9 | 184 |
Q2_Ksmallest, visibly lossy | 2.63 | 2.45 | 21.4 | 124 |
비트/가중치는 llama.cpp K-quant에서 흔히 보고되는 평균값이며 파일마다 조금씩 다를 수 있습니다. Q2_K와 Q3_K_M은 크기를 줄이는 대신 눈에 띄는 품질 손실이 있고, Q4_K_M이 기본값으로 많이 쓰이는 데에는 이유가 있습니다.
참고 자료
마지막 열은 이 페이지의 초당 토큰 공식을 8B 모델 Q4_K_M(가중치 약 4.5GiB)에 적용한 값입니다. 단일 스트림, KV 캐시 제외.
| GPU | VRAM (GB) | 대역폭 (GB/s) | 8B Q4_K_M 약 tok/s |
|---|---|---|---|
| RTX 4060 Ti 16 GB | 16 | 288 | ~35 |
| RTX 4070 Ti SUPER 16 GB | 16 | 672 | ~82 |
| RTX 4080 SUPER 16 GB | 16 | 736 | ~90 |
| RTX 3090 24 GB | 24 | 936 | ~114 |
| RTX 4090 24 GB | 24 | 1008 | ~123 |
| RTX 5090 32 GB | 32 | 1792 | ~218 |
| RTX A6000 48 GB | 48 | 768 | ~94 |
| RTX 6000 Ada 48 GB | 48 | 960 | ~117 |
| L40S 48 GB | 48 | 864 | ~105 |
| A100 80 GB | 80 | 2039 | ~248 |
| H100 80 GB SXM | 80 | 3350 | ~408 |
| Apple M4 Max 128 GB (unified) | 128 | 546 | ~66 |
| Apple M2 Ultra 192 GB (unified) | 192 | 800 | ~97 |
대역폭은 제조사가 표시하는 최대 메모리 대역폭입니다. 실제 디코드 속도는 런타임과 커널, GPU가 동시에 하는 다른 작업에 따라 이 공식 값의 40~70% 수준이 보통입니다.
계산 방식
이 페이지의 모든 공식과 가정을 여기에 적었습니다.
가중치는 단순합니다. 파라미터 수 × 비트/가중치 ÷ 8을 십억 바이트에서 GiB로 환산합니다. 70B 모델을 Q4_K_M으로 쓰면 70.6 × 4.85 ÷ 8 = 42.8십억 바이트, 즉 39.9GiB입니다. 컨텍스트나 배치를 바꿔도 이 값은 그대로이므로, 어떤 구성에서도 이 값이 바닥선입니다.
사람들이 가장 자주 놓치는 것이 KV 캐시입니다. 레이어마다, 토큰마다, 시퀀스마다 키와 값 두 개의 텐서가 필요하므로 컨텍스트 길이와 배치 크기에 동시에 비례해 커집니다. Llama 3.1 8B는 FP16에서 토큰당 128KiB로, 8K 컨텍스트에서 1GiB, 64K에서 8GiB입니다. 캐시를 Q8로 양자화하면 대략 절반, Q4로 하면 대략 4분의 1이 됩니다.
활성화 오버헤드는 가중치와 캐시 밖에서 런타임이 필요로 하는 연산 버퍼, 로짓, 단편화를 뜻합니다. 커널과 배치에 따라 달라지므로 이 페이지는 단순한 여유분 공식을 씁니다. 0.40GiB에 파라미터 수(십억)의 제곱근당 0.10GiB, 그리고 배치 슬롯당 1,024토큰마다 0.00025GiB를 더합니다. 측정값이 아니라 계획용 여유분으로 보십시오.
API 쪽은 공개 정가에 대한 산술입니다. 프롬프트 토큰과 출력 토큰을 백만 토큰당 단가로 따로 계산하며 보통 출력 쪽이 비용을 지배합니다. 시간은 단순한 대기열 모델입니다. 첫 토큰 지연에 가정한 프리필 속도로 나눈 프롬프트 처리 시간과 가정한 디코드 속도로 나눈 출력 시간을 더하고, 동시성으로 나눈 만큼의 파도를 곱합니다. 실제 지연은 제공사 부하, 리전, 사고 토큰에 따라 달라지므로 결과는 자릿수 감각으로 읽으십시오.
weights_GiB = P(B) × bpw ÷ 8 × 0.9313KV_GiB = kv_KiB_per_token × factor ÷ 1,048,576 × tokens × batchoverhead_GiB = 0.40 + 0.10 × √P + 0.00025 × (tokens ÷ 1024) × batchtotal_GiB = weights + KV + overheadtok/s ≈ bandwidth_GB/s × 0.55 ÷ weights_GiB; 배치는 × batch^0.72per_request = prompt ÷ 1M × price_in + output ÷ 1M × price_outlatency ≈ 0.6 s + prompt ÷ prefill + output ÷ decode; wall = ⌈requests ÷ concurrency⌉ × latency질문
가중치가 약 4.5GiB(8 × 4.85비트/가중치)이고 여기에 KV 캐시와 오버헤드가 붙습니다. Llama 3.1 8B를 8K 컨텍스트로 쓰면 캐시가 1GiB, 이 페이지의 오버헤드 여유분이 약 0.7GiB라서 계획값은 6.2GiB 부근입니다. 8GB 카드는 안전 여유를 빼고도 0.5GiB 정도 남습니다. 같은 모델을 32K 컨텍스트로 올리면 캐시만 4GiB, 합계가 9GiB를 넘어 8GB 카드에는 들어가지 않습니다.
Q4_K_M에서 가중치만 약 39.9GiB, 8K 컨텍스트의 KV 캐시 2.5GiB, 오버헤드 여유분 약 1.2GiB를 더해 43.6GiB 정도입니다. 48GB 카드 한 장이면 들어가고, 24GB 두 장으로도 안전 여유를 적용해 들어갑니다. 다만 텐서 병렬은 대역폭이 완전히 비례하지 않아 속도 손실이 있습니다.
계산기는 가중치, KV 캐시, 고정된 활성화 여유분만 셉니다. 실제 실행에는 CUDA 컨텍스트, 그래픽 드라이버와 데스크톱, 할당자 단편화, 런타임별 버퍼가 더해지고 컴파일된 커널과 긴 컨텍스트 어텐션도 몫을 차지합니다. 10~20%는 비워 두십시오. 안전 여유 옵션이 그 역할입니다.
대략 FP16 대비 Q8은 절반, Q4는 4분의 1에 스케일 오버헤드를 더한 수준입니다. Llama 3.1 8B의 64K 컨텍스트에서 8GiB가 4.2GiB 또는 2.2GiB가 됩니다. flash-attention 계열 커널이 필요하고 일부 런타임은 지원하지 않으며, 긴 컨텍스트에서 품질이 떨어질 수 있으므로 실제로 재 보고 판단하십시오.
2026-11-21에 각 제공사의 공개 가격 페이지에서 읽은 정가이며, 표에 그 날짜를 적어 두었습니다. 일부는 한시 가격입니다. Gemini 4 Carbon은 2026-11-30까지 백만 토큰당 2/10달러이고 12월 1일부터 4/20달러, Gemini 3.8 Flash는 2026-12-31까지 0.75/3.75, DeepSeek은 비첨두 시간에 절반입니다. 모든 칸을 고칠 수 있고 컨텍스트 창까지 바꿀 수 있으므로 계약 단가를 넣어 쓰십시오.
대역폭 한계 근사식으로, 메모리 대역폭 × 0.55 ÷ 가중치 GiB입니다. 1,000GB/s 카드에서 8B Q4_K_M이면 약 120tok/s가 나오는데, 이 조합에서 사람들이 보고하는 범위와 비슷합니다. 연산 병목 모델, 아주 작은 배치, CPU 오프로드, 프롬프트 처리에서는 40% 이상 벗어날 수 있으니 구성 간 비교용으로 쓰십시오.
전송되지 않습니다. 두 계산기와 단가표, 내보내기는 모두 이 페이지의 JavaScript이며 fetch, XHR, 비콘 호출이 없습니다. 설정은 사용자 브라우저의 localStorage에만 남고, 페이지의 유일한 외부 요청은 head의 광고 로더입니다.
솔직한 한계
VRAM 총합은 모델이지 사용자 기기에서 읽은 값이 아닙니다. 런타임과 커널, 컴파일된 어텐션 경로에 따라 사용량이 달라지고, 이 페이지가 들어간다고 표시한 구성도 실제로는 로드에 실패할 수 있습니다.
활성화 메모리는 배치 형태, 커널, 컨텍스트에 따라 달라집니다. 0.40 + 0.10√P 여유분은 일부러 단순하게 만든 값이고, 아주 긴 컨텍스트에서는 어텐션 버퍼가 이보다 훨씬 커질 수 있습니다.
이 추정은 디코드가 가중치를 메모리에서 읽는 속도에 묶여 있다고 가정합니다. 연산 병목 모델, 아주 작은 배치, CPU 오프로드, 다른 작업이 도는 GPU에서는 이 가정이 깨집니다.
표는 특정 날짜의 정가 스냅숏입니다. 제공사는 컨텍스트 길이, 캐시 적중, 리전, 배치 처리로 가격을 나누고 사고 토큰은 출력으로 과금합니다. 여기서는 그런 구분을 모델링하지 않으므로 실제 예산에는 직접 단가를 넣으십시오.