06 · 数据依据 · 技术复核

每一个结论，都要标明时间和配置

当前运行健康来自 2026-08-17 内网接口与 Prometheus；性能数字来自 2026-08-15/16 的 mem=0.50 历史验收。两套证据不能混写。

当前运行证据 · 2026-08-17可以证明“在线”，不能证明“性能不变”以下均来自内网只读健康接口与公开指标，不读取启动日志或密钥。

PP 拓扑Rank 0 / 1 / 2三台 health 与 metrics 正常

用户 API仅 Rank 0Worker 模型 API 返回 404

当前缓存配置mem=0.57 · KV 1,579,520运行记录与三 Rank 指标交叉确认

可观测性SGLang 1/1、节点 3/3、GPU 3/3 UP当前完整性能矩阵待重跑

本页解决什么数据从哪里来、能证明什么、该如何复核证据优先级：本项目实测＞厂商官方资料＞社区经验

01 · 历史证据地图

mem=0.50 基线到底测了多少

2026-08-15/16 代表性混合负载共至少 296 个通过请求；12K 重复与 16K 边界另有失败，不能概括为所有测试 100% 成功。

120 / 120历史并发性能矩阵

256→128 与 1K→256，C4/C8 全部成功。

160 / 160历史到达率测试

0.05 / 0.10 / 0.20 / 0.30 req/s 四档。

10 / 104K/8K 冷长输入

每次请求前刷新请求缓存。

6 / 6NIAH 检索正确性

4K/8K，针位于 10% / 50% / 90%。

约 83 分钟混合负载观察

无容器退出、OOM、热降频、Xid、AER 或 RoCE 硬错误。

12K / 16K FAIL边界测试

能完成一次不等于能安全重复；资源门槛优先于 HTTP 成功。

02 · 原始资料

从结论回到报告和 JSON

以下证据保留在内部资料包中。公网发布版仅展示索引和结论，不上传节点、日志及运维原始文件。

历史总验收

性能与 Agent 验收报告

mem=0.50 配置、并发、长上下文、NIAH、Arrival、Agent 协议与生产缺口。

内部归档 · 未随站点发布

并发

Final Scale8

120 个正式请求；C4/C8 的 TTFT、TPOT、E2E 与 output tok/s。

内部归档 · 未随站点发布

流量

Final Arrival

四档泊松到达率、客户端排队、服务端队列和资源门槛。

内部归档 · 未随站点发布

长文本

4K / 8K Cold-long

重复长输入的首字、逐字和完整耗时；12K 阶段因 PSI 主动停止。

内部归档 · 未随站点发布

正确性

NIAH 4K / 8K

针位于文本前、中、后，6 次全部检索正确。

内部归档 · 未随站点发布

网络

RDMA 与 NCCL

三条 200G 物理链、三节点 collective 正确性和恢复性重传记录。

内部归档 · 未随站点发布

03 · 测试方法

为什么这些数据比“随手问一句”更可信

输入长度可复现

合成内容通过模型 Tokenizer 校准到目标 Token，而不是用字符数猜测。

缓存影响可控

长输入与 NIAH 在每个正式请求前刷新请求/Radix Cache，避免“第二次更快”污染结论。

同时测体验和吞吐

记录 TTFT、TPOT、E2E、请求/秒和输出 Token/秒，不用单一数字代替全部体验。

资源失败优先

即使 HTTP 200，只要出现持续 PSI、Swap-out、OOM、重启或硬件错误，就判定调参失败。

内容不落盘

结果保存 Token 数、时延、状态、字符数与内容哈希，不保存 API Key、原始提示词和生成正文。

小样本不冒充 SLA

20/40 次样本的 p95 用于方向判断；正式 p99 或 SLA 需要至少 100 次并结合真实业务回放。

04 · 社区数字辨析

为什么网上 65t、82t、284t 和本项目 35.1 不能直接比

差异不是一句“谁优化得更好”就能解释，而是测试对象和计时口径不同。

维度	本项目实测	社区双机示例所述	影响
设备/并行	3 台，PP=3，14/14/15 层	2 台，常见 TP=2	通信频率和流水线行为不同
模型/精度	NVIDIA NVFP4，46 分片	常见 0731 FP8 或其他 NVFP4 路径	权重、KV 和内核不同
推理引擎	SGLang 26.07，SM121 CUTLASS	常见 vLLM + 专用镜像	调度器、Kernel 与缓存不同
加速功能	未启用 MTP 投机解码	部分示例启用 MTP5	Decode tok/s 可能大幅变化
性能口径	历史 mem=0.50：35.105 tok/s，C8 完整请求总输出	65/82 常指单流 Decode；284.8 是另一环境八并发 Decode 合计	配置和计时窗口均不同，不能横比
输入边界	历史 8K 通过；当前配置继续沿用 8K cap、待复验	部分展示配置 1M 或单次极限通过	“能接受”不等于“低延迟、可重复”