05 · 扩容选型 · 管理层决策
从受控试点，到可靠内部服务
当前最合理的目标不是追求更长上下文，而是保持 8K 保守准入、补齐当前配置回归和多用户治理，再依据真实需求扩容。
本页解决什么怎么上线、何时扩容、钱应该花在哪里本页只讲方案与投入；通信原理和实测数据分别在前两页
01 · 方案结构
一套最小可用的本地大模型平台
模型留在内网，业务系统只通过统一入口调用；入口负责安全、限流和长文本控制。
↓
↓
↓
02 · 方案比较
端侧部署不是全面替代云，而是补上“本地可控”能力
| 选择 | 优势 | 限制 | 适合场景 |
|---|---|---|---|
| 单台 DGX Spark | 部署简单、成本和运维较低 | 本项目 284B 模型权重装不下 | 中小模型、个人研发、原型验证 |
| 三台 DGX Spark当前方案 | 284B 模型本地运行，数据留在内网 | 单实例、吞吐有限、长文本慢 | 内部研发、代码助手、复杂分析 |
| 六台，两套三机 | 可做高可用，整体吞吐接近翻倍 | 设备与运维投入增加 | 生产核心业务、多团队共享 |
| 云端 API / 数据中心 GPU | 弹性更强、并发和高可用更成熟 | 持续费用、数据边界和供应商依赖 | 公网产品、高并发、流量波动大 |
“接近翻倍”指两个独立副本在请求可均衡分配时的总体吞吐方向，不是本项目实测承诺，也不代表单个请求快一倍。
03 · 当前部署职责
三台共同组成一个服务，不是三份独立算力
这里看每台机器负责什么；物理连线与请求动画请看工作原理。
⇄
⇄
管理面OpenAI-compatible API、进程协调、SSH数据面ConnectX-7 200GbE RoCE Ring、六个不重叠子网故障域任一 Rank 退出，三机协调重启
当前实测只有 Rank 0 是用户 API 入口。
三个节点的 health 与 metrics 均正常，但 Rank 1 / 2 的模型 API 返回 404；它们是 PP 计算 Worker，不是三套可独立访问的模型服务。
04 · 生产 Gate
当前通过项与阻断项
网络与 RDMA
六子网 Ring、12/12 rail、三条链路 183.50–185.22 Gb/s。
三 Rank、入口与监控
health 与真实 forward 正常；KV Token 池 1,579,520；HTTPS、Web UI、Prometheus、Grafana 在线。
mem=0.50 性能与容量
Scale8 120/120、Arrival 160/160、Cold-long 10/10、NIAH 6/6；只代表 2026-08-15/16 基线。
当前性能与 Tool-call
大 KV 配置尚未重跑完整矩阵；基础 auto Function-call 待复验，required / named / strict / schema 暂不支持。
三机 OTA 对齐
spark-6/7 与 spark-8 的 OS、Kernel、Driver 批次仍有漂移。
模型全量签名
46 个分片数量完整，但生产 SHA-256 manifest 仍待签署。
高可用副本
当前只有一个 PP3 实例，没有无缝接管能力。
05 · 分阶段投入
建议分三步走
内部受控试点
限定用户和业务，输入不超过 8K；≤0.10 req/s 仅作为历史基线的保守起点，同时收集真实输入长度、排队和失败模式。
目标：证明业务价值生产化补强
完成当前配置性能与 Tool-call 回归、系统版本统一、模型哈希签署、逐用户治理、完整告警和恢复演练。
目标：把“能跑”变成“可运营”第二套三机副本
当真实流量、停机风险或多团队需求超过单实例能力时，再复制完整集群并增加负载均衡。
目标：高可用与横向扩容06 · 风险清单
需要管理层知道的五件事
单点故障
当前三台共同组成一个实例，任何一台故障都会中断服务。核心生产业务需要第二套副本。
长文本越界
历史配置下 12K 重复请求触发内存压力；当前配置未完成复验，不能依据更大的 KV 池或模型标称 1M 做业务承诺。
三机软件版本漂移
系统、内核和驱动批次不完全一致，升级后必须重新验证网络和性能。
容量被成功率掩盖
高流量下请求仍能成功，但排队时间已经不可接受。
模型输出风险
本地部署不消除幻觉、偏见、错误答案或敏感输出风险。
07 · 投入判断
是否扩容，看四个真实指标
不要只看 GPU 利用率，也不要只看请求是否成功。
业务价值
每周活跃用户、节省工时、任务完成率是否持续增长。
排队体验
首字 p95 是否经常超过业务容忍值，0.10 req/s 是否成为常态瓶颈。
停机损失
一次三机重启是否会影响关键业务；若答案是“会”，就需要第二套副本。
数据边界
本地处理带来的合规和数据控制收益，是否高于云端弹性的便利。
08 · 最终建议
批准试点，暂不以“高并发生产平台”立项
以三机现有方案承载受控内部场景，继续执行 8K 输入 cap；先补齐当前配置性能和 Tool-call 回归，再用 4–8 周真实使用数据决定是否增加第二套三机副本。
建议批准范围内部试点 / 敏感数据本地推理 / 小团队助手暂不批准范围公网高并发 / 核心业务单实例 / 12K+ 生产承诺
09 · 官方资料
外部依据
设备规格
DGX Spark 采用 GB10、128 GB 统一内存、最高 1 PFLOP FP4 和 ConnectX-7 200 Gbps。
NVIDIA 产品页 ↗软件支持
NVIDIA SGLang 26.07 明确包含多节点、DGX Spark 和 Blackwell NVFP4 支持。
SGLang 26.07 说明 ↗模型说明
NVFP4 模型卡给出 284B / 13B 激活、Blackwell 支持和理论 1M 上下文。
NVIDIA 模型卡 ↗