Qwen3.8 2.4T A95B 本地部署测算
Qwen3.8 2.4T A95B（阿里/通义）在不同算力卡上的本地部署配置、预估性能与适用场景。
数据更新时间：2026-09-16B300 288GB
288GB · 8,000GB/s带宽 · 顶级Blackwell卡（对华无官方渠道）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 8张
- 预估解码速度
- 1,347 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 2,291 tok/s输入 12,316 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥2,010,120–¥2,345,136按1台8卡整机计价云端时租(实时)×8张：¥532.0–¥532.8/时（2026-10-15）
- 硬件市场价
- ¥7,000,000按1台8卡整机计价报价日期 2026-09-17
- 适用场景
- 机构级超大规模训练与高并发推理集群
GB200 192GB（单卡等效）
192GB · 8,000GB/s带宽 · 顶级Blackwell卡（对华无官方渠道）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 8张
- 预估解码速度
- 1,347 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 2,291 tok/s输入 13,684 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥1,601,280–¥2,401,920
- 硬件市场价
- ¥4,800,000–¥9,600,000报价日期 2026-06
- 适用场景
- 超大规模万亿参数模型训练与推理集群（与Grace CPU协同组网）
B200 180GB
180GB · 8,000GB/s带宽 · 顶级Blackwell卡（对华无官方渠道）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 16张（超单机，需多节点）
- 预估解码速度
- 2,695 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 4,581 tok/s输入 24,632 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥3,216,192–¥7,533,312按2台8卡整机计价云端时租(实时)×16张：¥670.4–¥923.2/时（2026-10-15）
- 硬件市场价
- ¥6,000,000–¥7,000,000按2台8卡整机计价报价日期 2026-06
- 适用场景
- 机构级大规模在线推理与训练
H200 141GB
141GB · 4,800GB/s带宽 · 顶级出口管制卡（对华渠道多变）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 16张（超单机，需多节点）
- 预估解码速度
- 1,617 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 2,749 tok/s输入 10,827 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥3,753,008–¥4,825,296按2台8卡整机计价云端时租(实时)×16张：¥428.8–¥494.4/时（2026-10-15）
- 硬件市场价
- ¥3,000,000–¥3,120,000按2台8卡整机计价报价日期 2026-01（较旧）
- 适用场景
- 企业级生产环境高并发推理
H100 SXM5 80GB
80GB · 3,350GB/s带宽 · 顶级出口管制卡（对华无官方渠道）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 2,257 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 3,837 tok/s输入 21,654 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥6,646,784–¥8,576,512按4台8卡整机计价云端时租(实时)×32张：¥412.8–¥1,286.4/时（2026-10-15）
- 硬件市场价
- ¥10,800,000–¥11,200,000按4台8卡整机计价报价日期 2024-04（较旧）
- 适用场景
- 企业级生产环境高并发推理/训练
H800 SXM 80GB
80GB · 3,350GB/s带宽 · 顶级出口管制卡（已停供）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 2,257 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 3,837 tok/s输入 21,654 tok/s · 多请求批处理估算
- 硬件出厂价
- ¥7,840,000–¥8,320,000按4台8卡整机计价
- 硬件市场价
- ¥10,800,000–¥11,200,000按4台8卡整机计价报价日期 2024-04（较旧）
- 适用场景
- 企业级生产部署（原对华合规型号，现已停供）
H20 96GB
96GB · 4,000GB/s带宽 · 出口合规特供卡（算力大幅阉割）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 16张（超单机，需多节点）
- 预估解码速度
- 1,347 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 2,291 tok/s输入 1,620 tok/s · 多请求批处理估算
- 硬件出厂价
- 资料不足
- 硬件市场价
- ¥1,280,000–¥1,760,000报价日期 2026-09-16
- 适用场景
- 出口合规环境下的次优选择，中大规模推理部署（FP16算力仅约H100的15%，但内存带宽较高，解码密集场景相对占优）
A800 PCIe 80GB
80GB · 1,935GB/s带宽 · 合规特供卡（出口合规状态多次调整）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 1,304 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 1,330 tok/s输入 4,099 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥3,200,000–¥3,328,000
- 硬件市场价
- ¥4,640,000报价日期 2026-10-08
- 适用场景
- 出口合规环境下的中等规模推理/训练部署
昇腾910C 128GB
128GB · 3,200GB/s带宽 · 华为双芯片数据中心卡（国产）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 16张（超单机，需多节点）
- 预估解码速度
- 1,078 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 1,832 tok/s输入 8,232 tok/s · 多请求批处理估算
- 硬件出厂价
- 资料不足
- 硬件市场价
- 资料不足
- 适用场景
- 国产化大模型训练与推理集群，CloudMatrix 等超节点方案
昇腾910B 64GB
64GB · 400GB/s带宽 · 国产替代（不受美国出口管制）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 269 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 458 tok/s输入 7,006 tok/s · 多请求批处理估算
- 硬件出厂价
- 资料不足
- 硬件市场价
- ¥3,520,000–¥3,840,000报价日期 2026-09-16
- 适用场景
- 国产替代，不受美国出口管制，中大规模推理/训练部署，内存带宽明显低于同显存量级NVIDIA卡
RTX PRO 6000 Blackwell 96GB
96GB · 1,792GB/s带宽 · 专业工作站/服务器卡（对华版为 6000D 84GB）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 16张（超单机，需多节点）
- 预估解码速度
- 604 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 616 tok/s输入 3,284 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥1,600,000–¥1,760,000云端时租(实时)×16张：¥107.2–¥251.2/时（2026-10-15）
- 硬件市场价
- 资料不足
- 适用场景
- 单卡大显存推理、中型 MoE 模型本地部署、私有化一体机
RTX PRO 5500 Blackwell 84GB
84GB · 1,398GB/s带宽 · 专业工作站卡（规格为 NVIDIA 初步数据）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 942 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 961 tok/s输入 5,938 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- 资料不足
- 硬件市场价
- ¥2,720,000–¥3,040,000报价日期 2026-10-13
- 适用场景
- 工作站大显存推理、部门级私有化部署
RTX PRO 5000 Blackwell 48GB
48GB · 1,344GB/s带宽 · 专业工作站卡- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 905 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 924 tok/s输入 3,389 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- 资料不足云端时租(实时)×32张：¥128.0–¥230.4/时（2026-10-15）
- 硬件市场价
- ¥1,728,000报价日期 2026-10-14
- 适用场景
- 中小模型推理、开发测试、单机多卡私有化
L40S 48GB
48GB · 864GB/s带宽 · 合规推理卡- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 582 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 594 tok/s输入 4,756 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥1,440,000–¥2,080,000云端时租(实时)×32张：¥128.0–¥179.2/时（2026-10-15）
- 硬件市场价
- ¥1,440,000–¥2,080,000报价日期 2026-09-16
- 适用场景
- 中小团队自建推理服务，中低并发
L20 48GB
48GB · 864GB/s带宽 · 合规推理卡- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 32张（超单机，需多节点）
- 预估解码速度
- 582 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 594 tok/s输入 1,570 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥747,104–¥751,392
- 硬件市场价
- ¥800,000–¥1,120,000报价日期 2026-09-29
- 适用场景
- 中小团队自建推理服务，中低并发
RTX 5090 32GB
32GB · 1,792GB/s带宽 · 消费级旗舰（对华不售，国内为 5090D）- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 64张（超单机，需多节点）
- 预估解码速度
- 2,414 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 2,463 tok/s输入 11,009 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- 资料不足云端时租(实时)×64张：¥198.4–¥320.0/时（2026-10-15）
- 硬件市场价
- ¥2,615,680–¥4,078,720报价日期 2026-09-15
- 适用场景
- 个人/小团队本地推理与开发，多卡拼显存跑量化 MoE
RTX 5090D 24GB
24GB · 1,344GB/s带宽 · 消费级/小规模自建- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 64张（超单机，需多节点）
- 预估解码速度
- 1,811 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 1,847 tok/s输入 7,803 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥1,055,936云端时租(实时)×64张：¥198.4–¥320.0/时（2026-10-15）
- 硬件市场价
- ¥1,920,000–¥2,560,000报价日期 2026-09-10
- 适用场景
- 个人开发/小规模验证/POC，不建议生产级高并发
RTX 4090D 24GB
24GB · 1,008GB/s带宽 · 消费级/小规模自建- 建议精度
- INT4量化(AWQ/GPTQ)
- 所需卡数
- 64张（超单机，需多节点）
- 预估解码速度
- 1,358 tok/s单流理论上限 · 原厂API实测 40 tok/s
- 预估并发吞吐
- 输出 1,385 tok/s输入 7,724 tok/s · 多请求批处理估算 · PCIe 多卡打折
- 硬件出厂价
- ¥831,936–¥1,215,936云端时租(实时)×64张：¥172.8–¥211.2/时（2026-10-15）
- 硬件市场价
- ¥1,664,000–¥1,920,000报价日期 2026-09-16
- 适用场景
- 个人开发/小规模验证/POC，不建议生产级高并发
FAQ
常见问题
预估解码速度是怎么算的?
预估解码速度 = (显存带宽 × 卡数) ÷ (激活参数 × 精度字节数),是内存带宽瓶颈下单条请求吞吐量的理论上限(roofline 模型),按卡数线性放大,未计入多卡通信开销、批处理并发和框架损耗,实际压测通常明显低于此值。
消费级显卡的速度数字可信吗?
线性放大对带 NVLink/NVSwitch 的数据中心卡(H/B 系列)相对合理;对常见 PCIe 互联、无 NVLink 的消费级卡(RTX 5090D/4090D 等)明显过于乐观,多卡张量并行会因通信大打折扣。所以「卡数一样、速度不输数据中心卡」是理论上限的假象,仅用于数量级横向比较,不是性能承诺。
「建议精度」是怎么选的?
按单机常见的 8 张卡以内容纳的最高精度自动选择,超过即标注「需多节点」。实际大规模生产部署也常用更多卡换取更高并发,而不是单纯追求最高精度。
价格从哪来?
硬件出厂价/市场价按所需卡数折算总额,取自公开报道、每周自动检索更新;「云端时租(实时)」取自 vast.ai 公开市场 API,每日刷新,是国际云端市场时租价 × 卡数,不代表中国大陆整卡采购价。完整硬件明细见 大模型本地部署测算总览 底部硬件对照表。