> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt
> Use this file to discover all available pages before exploring further.

# AIHubMix Provider Benchmark Standard v2.0

> 了解 AIHubMix Provider Benchmark Standard 的四项评分维度、总分公式、原生能力与接口兼容性判定、响应速度与缓存测量，以及题集来源和统计边界。

AIHubMix Provider Benchmark 以同一模型在不同模型推理厂商服务中的交付表现为测量对象，分别评估任务结果正确性、功能可用性、响应性能及首次请求完成情况。总分与四项维度分共同呈现，用于在规定测试条件下比较同一模型的服务表现。

本文采用 **AIHubMix Provider Benchmark Standard v2.0**，项目版本为 **APB v2.0**。主分使用按厂商文档配置的功能支持与缓存测量结果；接口兼容性及默认配置下的缓存结果分别作为诊断指标报告。

## 符号与命名

正文、表格与公式统一使用下列代号；同一符号不混用文字下标与数学下标两种写法。

| 类别 | 符号 | 含义 |
| - | - | - |
| 评分维度 | $Q,\ F,\ P,\ R$ | 回答质量、功能支持、响应速度、服务稳定 |
| 计算层 | $A,\ B,\ C,\ D$ | 绝对表现、相对官方参考、证据完整度、三层合成 |
| 维度分 | $A_Q$、$A_F$ $A_P$、$A_R$ $D_Q$、$D_F$ $D_P$、$D_R$ | 层符号加维度下标；例如 $A_F$ 为绝对表现层的功能支持得分，$D_F$ 为三层合成后的功能支持得分 |
| 配置后缀 | $F_{\mathrm{native}}$ $F_{\mathrm{strict}}$ $K_{\mathrm{native}}$ $K_{\mathrm{default}}$ | 原生/严格功能支持，原生/默认配置缓存 |
| 缓存子项 | $K$、$K_\ell$ $K_{8k}$、$K_{32k}$ | 缓存有效命中子分；$\ell$ 表示前缀长度档，8k/32k 等权聚合为 $K$ |
| 缓存 token | $T_{\mathrm{read}}$ $T_{\mathrm{reuse}}$ | 热请求实际报告的缓存读取 token 数、按规则应可复用的前缀 token 数；均按指定原生 tokenizer 计量 |
| 速度子项 | $P_{\mathrm{response}}$ $l_{\mathrm{ttfa}}$、$l_{\mathrm{tpot}}$ | 响应性能子分、首字延迟子分、每 token 耗时子分 |

配置后缀中的 `native`、`strict`、`default` 表示测量配置，不是维度名。$K$ 是缓存符号，不表示 Quality；函数名与分位名同样使用数学记号（如 $S(x;\tau)$、$P50_{\mathrm{TTFA,C1}}$、$f_{\text{组}}$）。

## 评分范围与阅读方式

| 评分项 | 代号 | 权重 | 测量内容 |
| - | - | - | - |
| 回答质量 | $Q$（Quality） | 35% | 工具调用、知识与推理、长文理解任务的结果正确性 |
| 功能支持 | $F$（Functionality） | 25% | 流式传输、工具、结构化输出、参数、上下文、错误响应及用量计量的功能可用性 |
| 响应速度 | $P$（Performance） | 20% | 首个正文响应延迟、生成速率、并发有效吞吐及缓存有效命中情况 |
| 服务稳定 | $R$（Reliability） | 20% | 固定请求集合在首次执行时有效完成的比例 |

**独立评分对象为“模型推理厂商 × 模型版本”**，即某家模型推理厂商提供的某一模型版本的服务。每个对象在指定测评批次和配置下形成一组四维分数及总分。

思考模式、请求参数、账号服务等级、测试地区及观察时段属于测量条件，随结果记录。不同条件下的结果分别标注，不直接合并。模型版本、地区或服务等级无法核验时，注明相应的未验证状态，不推定为已确认。

测评通过 AIHubMix API 执行，结果描述该接入方式下的实际观测表现。官方参考服务也通过 AIHubMix API 测量，不作为独立直连官方 API 的测量结果。

同一比较组采用相同题集、轮次、超时、请求预算、失败计分及统计方法。厂商文档规定的必要请求字段、流式结构和用量字段由接入适配层（adapter）处理，测量目标保持一致。本方法不用于跨模型智能能力排名，模型推理厂商身份不构成加分依据。

### 分数状态

| 状态 | 含义 |
| - | - |
| 正式 | 已按相应标准完成测试登记、采样、判分及证据核验 |
| 参考结果（PROVISIONAL） | 可形成计算结果，但采样、判分、适配登记或证据存在适用限制 |
| 不可用（UNAVAILABLE） | 必要判分、分母或参考缺失，不赋予数值 |
| 不可比较 | 模型配置、观测条件或结果视图不一致，不纳入同口径比较 |

缺失值与 0 分分别处理。服务明确失败或未提供必需能力时，按对应规则计为失败；缺测、分母未知或证据不足时保留相应状态。任一维度不可用时，总分也标记为不可用，其权重不向其他维度重新分配。

### 结果解释

* 原始指标按计分公式换算为绝对表现 $A$，经过相对参考与证据合成后得到维度合成分 $D$。总分使用 $D$，不直接对原始正确率、功能通过率或服务成功率加权。
* 分数反映特定题集、负载、地区、配置及观察窗口下的表现，适用条件随结果记录。
* 展示精度不代表统计区分能力。回答质量差异结合配对统计区间解释，不能仅凭小数差异判断优劣。
* 总分为汇总索引，不作为认证，不提供置信区间。统计结论以具体维度的证据为依据。
* 服务稳定同时报告首次成功数、计划机会数及双侧 95% 区间，不能直接解释为长期 SLA。

经复核确认模型身份不符、输入被静默裁剪、敏感内容泄露、严重协议损坏或计费异常时，结果单独标记“未通过准入”，保留复现证据及使用限制。维度分与总分不抵消该限制。

## 总分与维度合成

### 总分公式

总分由四项维度合成得分加权计算。$D_Q$、$D_F$、$D_P$、$D_R$ 分别表示回答质量、功能支持、响应速度、服务稳定的合成得分。

$$
\begin{aligned}
\mathrm{Overall}
&= 0.35\,D_Q + 0.25\,D_F \\
&\quad + 0.20\,D_P + 0.20\,D_R
\end{aligned}
$$

四项维度合成得分均采用 0–100 分制。总分概括整体结果，四项维度分用于识别具体差异。

### 三层合成

对每个维度 $X \in \{Q,F,P,R\}$，维度合成得分 $D_X$ 由绝对表现 $A_X$、相对官方参考 $B_X$ 及证据完整度 $C_X$ 加权计算：

$$
D_X = 0.65\,A_X + 0.20\,B_X + 0.15\,C_X
$$

展开后的四项：

$$
\begin{aligned}
D_Q &= 0.65\,A_Q + 0.20\,B_Q + 0.15\,C_Q \\
D_F &= 0.65\,A_F + 0.20\,B_F + 0.15\,C_F \\
D_P &= 0.65\,A_P + 0.20\,B_P + 0.15\,C_P \\
D_R &= 0.65\,A_R + 0.20\,B_R + 0.15\,C_R
\end{aligned}
$$

| 输入层 | 权重 | 定义 |
| - | - | - |
| A：绝对表现 | 65% | 按规定测试与统计方法得到的实际测量结果 |
| B：相对官方参考 | 20% | 同一维度的绝对表现相对于官方参考服务的差异 |
| C：证据完整度 | 15% | 样本覆盖、观测一致性及计量证据对本次结果的支撑程度 |

$A$、$B$、$C$ 是计算层的符号，不表示接入等级。绝对表现使用规定公式，不将本批次最快或最高分服务设为 100，也不按批次重新归一化。

下标表示评分维度：$A_F$ 是绝对表现层的功能支持得分，$D_F$ 是三层合成后的功能支持得分。

主分及诊断值还使用以下配置后缀：

| 代号 | 英文全称 | 含义及用途 |
| - | - | - |
| $F_{\mathrm{native}}$ | Native Functionality Score | 按厂商文档配置与解析后得到的原生功能支持得分，用作主分的 $A_F$ |
| $F_{\mathrm{strict}}$ | Strict Interface Compatibility Score | 直接按 AIHubMix 接口约定检查得到的严格兼容性得分，单列诊断 |
| $K$ | Cache Hit Score | 缓存有效命中子分，计入响应速度绝对表现 $A_P$ |
| $K_{\mathrm{native}}$ | Native Cache Hit Score | 按厂商文档所需配置测量的缓存子分，用于主分 |
| $K_{\mathrm{default}}$ | Default-Configuration Cache Hit Score | 统一不附加会话亲和配置时测量的缓存子分，单列诊断 |

`native` 表示按厂商文档配置，`strict` 表示严格接口检查，`default` 表示本文定义的默认配置。$K$ 是本方法的缓存符号，不表示 Quality。主分统一采用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$，诊断值不与主分混合使用。

### 相对官方参考 B

$A_{\mathrm{official}}$ 表示官方参考服务在当前维度的绝对表现得分；其相对参考分 $B_{\mathrm{official}}$ 固定为 50。

$$
B_{\mathrm{official}} = 50
$$

$$
\begin{aligned}
B_X
&= 50 + 50 \times \operatorname{clip} \\
&\quad \left(
\frac{A_X - A_{\mathrm{official}}}{\delta_X}, -1, 1
\right)
\end{aligned}
$$

$\operatorname{clip}(x,-1,1)$ 是限幅函数，将 $x$ 限制在 −1 至 1。差异尺度参数 $\delta$ 按维度定义：

| 维度 | $\delta$ |
| - | - |
| 回答质量 Q | 2 |
| 功能支持 F | 15 |
| 响应速度 P | 10 |
| 服务稳定 R | 2 |

回答质量采用 5,000 次配对任务聚类 bootstrap 估计相对官方参考的差异区间。**双侧 95% 区间包含 0 时，$B_Q = 50$**；区间不包含 0 时，按上述映射计算。

官方参考服务独立接受绝对表现测量，其自身 $B$ 固定为 50，不预设满分。不同配置、超时、时段或结果视图不具可比性时，相对层不填入推定值。

### 证据完整度 C

$C$ 由以下五项组成，每项最高 20 分，总分 100。各项按记录中的覆盖程度及证据情况赋值，可为 20、10 或 0 分：

| 项目 | 核验内容 |
| - | - |
| 样本覆盖 | 实际有效记录与计划样本量的符合程度 |
| 窗口覆盖 | 所需时段或回答质量采集分段的完整程度 |
| 用量完整度 | 原始 `usage` 的覆盖及可核验程度 |
| 分母证据 | 题目判分、功能判定及缓存计量分母的可复核程度 |
| 协议一致性 | 请求配置、记录归属及观测协议的一致程度 |

$C$ 衡量测量证据，不直接测量模型能力。每项赋值与证据记录关联，结果状态独立保留；证据层得分不替代必要的数据有效性核验。

## 回答质量

回答质量 Q 依据标准答案及规定判分协议，测量全部有效任务实例的正确比例。

### 题集与判分

| 方向 | 测量内容 | 题数 × 轮次 | 计划实例数 | 判分方法 |
| - | - | - | - | - |
| BFCL | 函数选择、参数填充、并行调用、无关调用抑制及三阶段工具链 | 500 × 3 | 1,500 | 基于指定版本官方 AST checker 的 Python-only JSON 匹配适配 |
| HLE | 按学科分层的高难度文本知识与推理题 | 250 × 10 | 2,500 | 答案等价性裁判，记录裁判模型、提示词及版本 |
| AA-LCR | 约 7.4 万至 11.4 万 token 的多文档综合问答 | 25 × 10 | 250 | 指定文档及标准答案，采用答案等价性判分 |
| 合计 | 775 道不同题目 | 按方向规定轮次执行 | 4,250 | 按全部有效实例汇总 |

$$
A_Q
= 100 \times \frac{\text{正确实例数}}{\text{有效计分实例数}}
$$

$$
\begin{aligned}
\text{完整计划分母}
&= 1{,}500 + 2{,}500 + 250 \\
&= 4{,}250
\end{aligned}
$$

三个方向按实例数汇总，不对各方向正确率作等权平均。多轮工具任务可能对应多次 API 请求，任务实例数与请求数分别统计。

> [!NOTE]
>
> 本题集为 APB Suite 的派生题集，不构成 Artificial Analysis 官方的精确子集，也不复现其榜单成绩。50 个 BFCL 多轮任务基于真实题目编排，与 BFCL 官方有状态多轮执行环境分别定义。来源及版本见[数据集来源](#dataset-sources)。

### 比较条件与缺失处理

* 任务正确性依据标准答案判定，官方参考回答不作为真值。
* 各方使用相同可控预算、采样次数及语义等价参数；思考模式、工具模板或 `effort` 无法对齐时，标记“配置不可比”。
* 服务失败、超时、拒答及预算耗尽按任务失败计入分母。
* 裁判无效或缺少有效判定的记录单独标注，排除出可计算分母，并保留参考结果状态。
* 题目过滤规则在测试登记中明确，报告同时列出计划数、过滤数及实际计分数。
* 重复轮次归属于同一题目聚类，不作为新增独立题目处理。

相对差异采用分方向的配对任务聚类 bootstrap，重复 5,000 次。各方使用相同题目抽样索引，报告差异的双侧 95% 区间。区间包含 0 时，标记“未分出高下”，相对参考层取 50。

## 功能支持

功能支持 F 测量接口功能在规定配置下是否可用，不重复计入任务回答正确率。

### 功能分组与权重

| 功能组 | 权重 | 检查内容 |
| - | - | - |
| 流式与消息协议 | 20% | 流式增量、事件顺序、终止块、`finish_reason` 及 `usage` 位置 |
| 工具接口 | 20% | 工具名、schema、参数解析、并行调用、工具结果回传及错误处理 |
| 输出约束与参数 | 20% | `temperature`、`max_tokens`、`stop`、结构化输出及思考配置的实际行为 |
| 上下文与状态 | 15% | 窗口边界、超限处理、历史消息及长输入完整性 |
| 错误与恢复 | 15% | 错误码、错误体、限流及重试语义与文档约定的一致性 |
| 计量与缓存协议 | 10% | `usage` 完整性、总量自洽性及缓存计量 |

$f_{\text{组}}$（Functional Group Pass Score，功能组通过得分）表示单个功能组的有效适用实例通过率。公式中的 $f_{\text{流式}}$、$f_{\text{工具}}$、$f_{\text{约束}}$、$f_{\text{上下文}}$、$f_{\text{错误}}$、$f_{\text{计量}}$ 分别对应表中六组。

$$
f_{\text{组}}
= 100 \times \frac{\text{通过实例数}}{\text{有效适用实例数}}
$$

$$
\begin{aligned}
A_F
&= 0.20\,f_{\text{流式}}
+ 0.20\,f_{\text{工具}} \\
&\quad + 0.20\,f_{\text{约束}}
+ 0.15\,f_{\text{上下文}} \\
&\quad + 0.15\,f_{\text{错误}}
+ 0.10\,f_{\text{计量}}
\end{aligned}
$$

每组 10 个用例，每例在 3 个窗口执行 1 次，共 60 个用例、180 个判定。用例内规定的重复请求单独记录，不改变用例分组及权重。

### 判定状态

| 状态 | 含义 | 聚合处理 |
| - | - | - |
| PASS | 全部适用检查项通过 | 计入通过及有效适用实例 |
| FAIL | 功能缺失、契约不符、值错误或非预期服务故障 | 计入有效适用实例，不计入通过 |
| NA | 模型原生不支持该能力，已有充分证据并事前登记 | 排除出适用分母 |
| UNTESTED | 未执行测试 | 必测记录不足时保留受限或不可用状态 |
| INVALID | 测试器、夹具或配置证据无效，无法归责于被测服务 | 不作为功能失败，记录有效分母及证据限制 |
| UNOBSERVED | 前序步骤中断，未形成后续观测 | 不记通过，保留观测缺失状态 |

原生能力分按有效适用记录计算。存在 INVALID 或 UNOBSERVED 时，同时披露覆盖与分母限制；必要检查缺少证据时，严格兼容性分不可用。模型原生支持但服务未提供的能力记为 FAIL，不能归入 NA。

### 原生能力与接口兼容性

| 指标 | 英文全称与中文含义 | 检查依据 | 用途 |
| - | - | - | - |
| $F_{\mathrm{native}}$ | Native Functionality Score，原生功能支持得分 | 按厂商文档解释字段、流式结构及必要请求配置，核验功能存在且语义正确 | 作为主分的 $A_F$ |
| $F_{\mathrm{strict}}$ | Strict Interface Compatibility Score，严格接口兼容性得分 | 直接按 AIHubMix 接口约定检查字段、事件结构及返回行为 | 单列接口兼容性诊断 |

字段存在且位置或命名符合厂商文档时，原生能力检查按其实际结构解析。字段完全缺失、数值错误或相互矛盾时，按实际检查结果判定。适配层保留原始字段和映射依据，不将未知值推定为功能通过。

$F_{\mathrm{native}}$ 与 $F_{\mathrm{strict}}$ 分别报告，不能在同一比较表的主分中交替选用。缓存有效命中比例计入[响应速度](#speed)，账单准确性单独核验。

## 响应速度

响应速度 $P$ 由正文响应性能与缓存有效命中共同构成。主分使用 $K_{\mathrm{native}}$。

### 负载与采样

非思考档 I（Non-thinking Profile，非思考负载档）与思考档 T（Thinking Profile，思考负载档）分别测量和报告。I、T 是负载档标识；I 档要求模型原生支持非思考模式，T 档记录 `effort`、思考预算及输出预算。

C1（Concurrency 1，单并发）与 C10（Concurrency 10，10 并发）表示同时执行的请求数。此处 C 表示 Concurrency，与证据完整度层 C 分别使用。

| 配置项 | 测量约定 |
| - | - |
| 输入 | 10,000 ± 2% token，以 `o200k_base` 计量；输入起始位置加入唯一前缀，控制非预期缓存命中 |
| 输出 | 1,000 至 1,200 个正文 token，包含固定核验点 |
| 超时 | 300 秒，同一比较组一致 |
| 单并发 C1 | 90 次，3 窗 × 30 |
| 10 并发 C10 | 90 次，3 窗 × 30 |
| 缓存子测 | 30 次，3 窗 × 8k/32k 两档 × 5 次 |
| 隔离 | 回答质量与响应速度分别执行，响应速度使用独立测量时段 |

并发测试采用闭环补充机制，每完成一个请求补发一个请求。C10 表示该负载下的观测结果，不构成完整容量曲线。

### 计时与有效输出

| 指标 | 英文全称 | 定义及用途 |
| - | - | - |
| 计时起点 | Measurement Start Time | 预建连接完成后，正式请求开始写入的时刻；连接冷启动耗时另行记录 |
| TTFT | Time to First Token | 首个实际推理、正文或工具参数载荷的等待时间；空角色及心跳事件不计入，作为原始指标 |
| TTFA | Time to First Answer | 首个非空最终正文片段的等待时间，包含此前的思考耗时，用于延迟计分 |
| TPOT | Time per Output Token | 正文生成阶段的平均每 token 耗时，依据首尾正文片段时间及对应 token 数计算 |
| goodput | Valid-Output Throughput | C10 完整墙钟时间内，满足正确性及完整性要求的有效正文 token 数率 |

正文一次性整块返回时，TPOT 记为无效，不据此构造逐 token 速率。计分统计量采用包含失败处理的 P50（50th Percentile，第 50 百分位数，即中位数）；另行报告经验 P95（95th Percentile，第 95 百分位数）及窗口间波动，每档 90 次样本不支持 P99（99th Percentile，第 99 百分位数）结论。这里 P 表示 Percentile，与响应速度维度 P 分别使用。

### 计分公式

本节函数名与子分符号均为本方法的计算记号，含义如下：

| 代号 | 英文名称 | 含义 |
| - | - | - |
| $S(x;\tau)$ | Latency Score Function | 将等待时间 $x$ 转换为延迟子分的函数，$\tau$ 为延迟尺度 |
| $L(x;t,k)$ | Lower-is-Better Score Function | 数值越低越好的计分函数；本节用于 TPOT，$t$ 为满分目标，$k$ 为范围倍数 |
| $H(x;t)$ | Higher-is-Better Score Function | 数值越高越好的计分函数；本节用于有效吞吐，$t$ 为满分目标 |
| $l_{\mathrm{ttfa}}$ | Answer Latency Subscore | 首个正文响应延迟子分，取 C1 与 C10 两档计分结果的较小值 |
| $l_{\mathrm{tpot}}$ | Output Token Time Subscore | 正文每 token 耗时子分，取 C1 与 C10 两档计分结果的较小值 |
| $P_{\mathrm{response}}$ | Response Performance Score | 响应性能子分，由延迟、每 token 耗时与有效吞吐合成，不含缓存子分 |
| $P50_{\mathrm{TTFA,C1}}$、$P50_{\mathrm{TTFA,C10}}$ | Median Time to First Answer at Concurrency 1 / 10 | 单并发或 10 并发下，包含失败处理的 TTFA 中位数 |
| $P50_{\mathrm{TPOT,C1}}$、$P50_{\mathrm{TPOT,C10}}$ | Median Time per Output Token at Concurrency 1 / 10 | 单并发或 10 并发下，包含失败处理的 TPOT 中位数 |

$A_P$ 是包含响应性能与缓存子分的绝对响应速度得分；$D_P$ 是再经过相对参考与证据合成、参与总分的响应速度维度分。

以下 $\operatorname{clip}$ 将数值限制在 0 至 1，$\ln$ 为自然对数，$\min$ 表示取较小值，$\Sigma$ 表示求和。公式中的 $\tau$、$b$、$c$、$k$ 在紧随公式的参数表中定义：

$$
S(x;\tau) = 100 \times \frac{\tau}{\tau + x}
$$

$$
L(x;t,k) = 100 \times \operatorname{clip}
\left[\frac{\ln(k t / x)}{\ln k}\right]
$$

$$
H(x;t) = 100 \times \operatorname{clip}
\left[\frac{\ln\left(x / (0.05t)\right)}{\ln 20}\right]
$$

$$
\begin{aligned}
l_{\mathrm{ttfa}}
&= \min\bigl(
S(P50_{\mathrm{TTFA,C1}};\tau), \\
&\qquad S(P50_{\mathrm{TTFA,C10}};\tau)
\bigr)
\end{aligned}
$$

$$
\begin{aligned}
l_{\mathrm{tpot}}
&= \min\bigl(
L(P50_{\mathrm{TPOT,C1}};b,10), \\
&\qquad L(P50_{\mathrm{TPOT,C10}};b,10)
\bigr)
\end{aligned}
$$

$$
\begin{aligned}
\mathrm{goodput}
&= \sum_{\text{有效}} \min(\text{正文 token}, 1000) \\
&\quad \Big/ \sum_{\mathrm{C10}} \text{墙钟时长}
\end{aligned}
$$

$$
\begin{aligned}
P_{\mathrm{response}}
&= 0.35\,l_{\mathrm{ttfa}}
+ 0.35\,l_{\mathrm{tpot}} \\
&\quad + 0.30\,H(\mathrm{goodput}; c)
\end{aligned}
$$

$$
A_P = 0.80\,P_{\mathrm{response}} + 0.20\,K_{\mathrm{native}}
$$

| 参数 | 英文名称 | 取值 | 含义 |
| - | - | - | - |
| $\tau$ | Latency Scale | 2 秒 | 延迟子分达到 50 时的 TTFA |
| $b$ | Target Time per Output Token | 5 ms/token | TPOT 满分目标；达到或低于该值时为 100 |
| $c$ | Target Valid-Output Throughput | 1,200 token/s | C10 有效吞吐满分目标；达到或超过该值时为 100 |
| $k$ | TPOT Range Multiplier | 10 | TPOT 对数映射的范围倍数 |

上述目标用于本标准规定的负载，不代表所有模型及所有工作负载的通用阈值。

| TTFA | 0 秒 | 1 秒 | 2 秒 | 4 秒 | 10 秒 |
| - | - | - | - | - | - |
| 延迟子分 | 100 | 66.7 | 50 | 33.3 | 16.7 |

### 无效输出与测量隔离

长度不符、核验点错误、循环退化、流内错误、非正常终止或截断的输出判为无效，仍计入负载及耗时。计算 P50 前应用以下处理：

* TTFA 计为正无穷，对应延迟分 0。
* TPOT 计为 `10b`，即 50 ms/token。
* goodput 的有效输出贡献为 0，时间保留在对应 C10 窗口中。
* 原始实测耗时单独保留，不由计分处理值覆盖。

同时报告有效请求数、计划数及输出有效率。性能结果包含服务失败对交付的影响，不能仅根据成功请求的延迟解释。

## 缓存命中

缓存子分 $K$（Cache Hit Score，缓存有效命中子分）测量应可复用前缀中实际报告为缓存读取的 token 比例。每种长度先汇总热请求的读取量和应可复用量，再对 8k、32k 两种长度等权聚合。

| 代号 | 英文全称 | 含义 |
| - | - | - |
| $K_\ell$ | Length-Specific Cache Hit Score | 某一前缀长度档（$\ell$）的缓存有效命中子分 |
| $K_{8k}$ | 8k-Prefix Cache Hit Score | 约 8k token 前缀档的缓存有效命中子分 |
| $K_{32k}$ | 32k-Prefix Cache Hit Score | 约 32k token 前缀档的缓存有效命中子分 |
| $T_{\mathrm{read}}$ | Cache-Read Native Token Count | 热请求实际报告的缓存读取原生 token 数，不含缓存写入 |
| $T_{\mathrm{reuse}}$ | Expected Reusable Native Token Count | 按规则应可复用的前缀原生 token 数，作为命中率分母 |

$T_{\mathrm{read}}$ 与 $T_{\mathrm{reuse}}$ 均按指定原生 tokenizer 计量；`native` 与 $K_{\mathrm{native}}$ 中表示厂商文档配置的 `native` 分别解释。

$$
K_\ell
= 100 \times
\frac{\sum_{\text{热请求}} T_{\mathrm{read}}}
{\sum_{\text{热请求}} T_{\mathrm{reuse}}}
$$

$$
K = \frac{K_{8k} + K_{32k}}{2}
$$

不同长度合并后的 token 加权命中率可作为诊断指标，不替代主分中的等权 $K$。

### 测试序列与分母

每组使用固定长前缀及变化的新问题，共 5 次请求：

1. 首次请求写入缓存，前缀起始位置加入独立随机标识，隔离不同测试组。
2. 第 2 至 4 次保持前缀逐字节一致，末尾使用不同的短问题，分别在上次请求完成后 5 秒、30 秒、120 秒发起。
3. 第 5 次替换为完全独立的新前缀，作为冷对照。

三窗口各覆盖约 8k、32k 两档，共 30 次请求。只有第 2 至 4 次进入热命中计分，每种长度有 9 个热请求机会。首次写入及冷对照单独核验。

分母使用登记的应可复用前缀原生 token 数，以指定 tokenizer、模板及缓存规则为依据。新问题及不可复用部分单独识别，不用全部输入 token、实际命中量或 `o200k_base` 计数替代分母。按块上报的读取量保留原值及块大小。

主分使用 **$K_{\mathrm{native}}$**：按照厂商文档启用缓存所需配置，必要的会话亲和字段属于接入适配。**$K_{\mathrm{default}}$** 记录统一不附加会话亲和配置时的结果，作为默认配置诊断。各家均按同一配置判定原则执行，报告保留具体配置。

### 异常与不可观测情形

| 情形 | 处理 |
| - | - |
| 应可复用分母未知 | $K$ 不可用，不记 0 |
| 成功请求缺少缓存读取字段 | 默认记不可观测；仅在文档明确零命中省略字段、已登记且证据一致时按 0 解析 |
| 读取量超过分母或字段冲突 | 记录异常及原值，不截断至 100% |
| 冷对照成功且读取量为 0 | 可作为冷对照证据；未能完成的对照保留限制状态 |
| 热请求失败且分母可确定 | 读取量按 0 纳入，失败记录单列 |
| 模型原生支持缓存，服务未提供 | $K = 0$ |
| 模型原生不支持缓存且已事先定义 | 单列 No-cache 档，$A_P = P_{\mathrm{response}}$，与含缓存档分别报告 |
| 不支持命中计量 | $K$ 及 $P$ 标记不可用，不转移缓存权重 |

`usage` 只能证实接口上报的缓存读取量。实际费用经核对后方可标记为已验证；缓存命中不等于免费，也不保证总费用降低。

## 服务稳定

服务稳定 R 测量固定请求集合的首次有效完成比例，计分不使用自动重试或跨模型推理厂商回退：

$$
A_R
= 100 \times \frac{\text{首次有效完成数}}{\text{有效计划机会数}}
$$

$$
\text{完整计划机会数} = 300
$$

### 测试集合与成功条件

测试共 300 次机会，分布于 3 个窗口，每窗 100 次。每 100 次采用相同任务组合：短文本 40、约 10k 长输入 30、工具协议调用 20、带多轮历史的单次调用 10。

工具任务采用预制合法历史，保持计分分母稳定。默认单并发，请求速率在已核实的 RPM、TPM 配额内。该套件独立执行，不混入回答质量题、功能负向用例、诊断重试、预热或压力负载请求。

首次成功同时满足：

* HTTP 状态符合预期，响应结构及事件序列合法。
* 正文或工具载荷非空，正常结束。
* 无流内错误、非预期截断或必需字段缺失。
* 规定的 `usage` 字段完整，并按相应接口结构解析。
* 在 300 秒截止时间内完成。

HTTP 200 不足以单独判定成功；任务回答错误与服务失败分别统计。

### 失败、无效记录与区间

配额内的 429、服务端错误、连接失败、超时、空返回、断流及异常截断计为失败。模型推理厂商故障导致计划请求未能发出时，计入失败并记录原因。

测试环境或测试器异常标记 INVALID，不归因于被测服务，同时保留有效机会数及覆盖限制。诊断请求独立记录，不替代首次结果。

成功率报告双侧 95% Clopper–Pearson 区间。300/300 的观察成功率为 100%，区间下界约 98.78%，仍不能证明长期服务成功率为 100%。分窗口及任务类别记录失败分布和最长连续失败段。

## 测试规模与可比性

### 样本规模

以下为 APB Suite 中 APB Full 的计划规模：

| 项目 | 每家计划规模 | 构成 |
| - | - | - |
| 回答质量 | 4,250 个实例 | BFCL 1,500、HLE 2,500、AA-LCR 250 |
| 功能支持 | 180 个判定 | 60 个用例 × 3 窗口 |
| 响应速度 | 180 次请求 | C1/C10 各 90 次，分布于 3 个窗口 |
| 缓存 | 30 次请求 | 3 窗口 × 两种前缀长度 × 5 次 |
| 服务稳定 | 300 次机会 | 3 窗口 × 100 次 |

任务实例数、API 请求数与裁判请求数分别统计，多阶段工具任务及用例内重复可能对应额外请求。

### 执行条件

* 同一比较组统一题集、轮次、超时、温度、输出预算、失败处理及计分公式。
* 采用同一客户端、网络地区及连接策略，记录账号服务等级、实际起止时间和执行顺序。
* 完整测试采用 3 个窗口，窗口间隔至少 60 分钟；回答质量与响应速度分别执行。
* 模型 ID、鉴权、必要字段、流式格式、用量映射、缓存语义及 tokenizer 依据形成适配记录。
* 接入适配在采样前登记并验证，同一规则适用于所有符合条件的模型推理厂商。
* 计分主视图统一采用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$，兼容性及默认配置诊断分别报告。
* 首次执行结果持续保留，计划量、实际量、过滤、失败、无效及未观测记录分别核对。

测试在获准的配额、权限及费用范围内执行。必要条件不满足时，结果保留受限、未完成或不可用状态，不对剩余项目重新归一化。

## 数据集来源与结果记录

### 数据集来源

回答质量使用版本化派生题集，保留来源、抽样记录及完整性校验信息。APB Full 的回答质量题集包含 775 道不同题目，来源快照如下：

| 方向 | 来源快照 | 版本记录 | 许可及使用边界 |
| - | - | - | - |
| BFCL | [Berkeley Function Calling Leaderboard 数据与检查器](https://github.com/ShishirPatil/gorilla/tree/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/berkeley-function-call-leaderboard) | `6ea57973c7a6` | 来源仓库 Apache-2.0；本测评使用派生题集及检查适配 |
| HLE | [文本镜像快照](https://huggingface.co/datasets/macabdul9/hle_text_only/tree/e3e9cb5a550ec7de645fac553b0e2768d30a03ee)；[官方数据集](https://huggingface.co/datasets/cais/hle) | 镜像 `e3e9cb5a550e` | 来源记录为 MIT；未核验与官方当前版本逐字节等同 |
| AA-LCR | [Artificial Analysis AA-LCR 数据及文档快照](https://huggingface.co/datasets/ArtificialAnalysis/AA-LCR/tree/9a77ef56b717057ade24ceab4d273712a0b4f19e) | `9a77ef56b717` | 数据集仓库 Apache-2.0；引用文档的第三方权利继续归原权利人 |

BFCL 按类别配额抽样；HLE 与 AA-LCR 按分层比例抽样并保证各层最少覆盖。抽样采用指定种子及 SHA-256 排序，题集版本、过滤清单和判分协议随结果记录。

上述链接用于核验原始来源，不等同于可直接复现 APB 分数的完整测评包。受限数据不在本文重新分发，具体许可遵循相应来源。

### 结果记录与核验

供应商报告统一称为 APB Profile，记录以下测评信息：

| 记录类别 | 必要内容 |
| - | - |
| 测评身份 | 标准与题集版本、模型推理厂商、精确模型版本及官方参考服务 |
| 测量条件 | 思考配置、账号等级、地区、时段、超时、并发及性能参数 |
| 适配依据 | 文档查阅日期、必要字段、流式结构、用量解析及缓存配置 |
| 样本覆盖 | 计划数、实际数、计分分母、过滤、失败、无效及未观测项 |
| 判分依据 | 标准答案、检查器或裁判配置、判分状态及偏差评估 |
| 原始测量 | 脱敏请求与响应、事件时间、状态、终止原因及原始 `usage` |
| 聚合结果 | $A/B/C$ 分层输入、四项 $D$ 分、总分、维度区间及未舍入值 |
| 诊断指标 | $F_{\mathrm{strict}}$、$K_{\mathrm{default}}$、有效率、错误类别及对应适用限制 |

服务成功、任务正确与输出有效分别标注。负向用例不混入服务稳定分，缓存读写分别计量，估算费用与实际费用核验状态分别记录。对外展示前移除密钥、用户标识及敏感内容；数值附单位，缺失值保留状态。

## 参考数据与计算示例

以下采用 DeepSeek V4.1 Flash 1017 的五家服务结果说明计算方法。主分使用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$。数值按两位小数展示，计算以结果文件保存的中间值为准。

> [!NOTE]
>
> 本节为参考结果（PROVISIONAL）。采集与适配的事前登记证据不完整，不能作为 AIHubMix Provider Benchmark Standard 的正式 APB Full 结果。回答质量每家计入 4,240 个实例，另有 10 个过滤实例。HLE/AA-LCR 的裁判与被测模型同属 DeepSeek 家族，独立校准证据不足。结果限于所记录的配置与观察范围。

### 绝对表现与缓存子分

下表 $Q$、$F$、$P$、$R$ 均为绝对表现 $A$（$F$ 取 $F_{\mathrm{native}}$），**不直接作为总分中的四项维度展示分**。$K$ 为 $A_P$ 中的缓存子分。

| 模型推理厂商 | $A_Q$ | $A_F$ | $A_P$ | $K_{\mathrm{native}}$ | $A_R$ |
| - | - | - | - | - | - |
| 字节跳动 | 42.05 | 74.98 | 84.37 | 93.83 | 100.00 |
| 百度 | 38.00 | 88.39 | 37.77 | 68.85 | 100.00 |
| 阿里云 | 41.75 | 89.78 | 88.58 | 99.37 | 100.00 |
| DeepSeek 官方参考 | 42.45 | 94.00 | 86.14 | 98.38 | 100.00 |
| Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100.00 |

* 五家服务稳定套件均为 300/300；其他套件的服务失败仍计入其所属维度，不能以 $R$ 套件结果替代。
* Fireworks 的 $K_{\mathrm{native}}$ 使用文档规定的会话亲和配置，其余服务按各自文档要求的配置测量。
* 百度的 $K$ 采用零命中省略字段按 0 解析的样本规则，相关事前登记证据不完整；8k 冷对照存在未完成记录，$K$ 保留参考状态。
* DeepSeek 的 $F_{\mathrm{strict}}$ 因 27 条 INVALID 记录不可用；$F_{\mathrm{native}}$ 按有效适用记录计算。

### 功能支持的维度合成

以阿里云为例，绝对功能支持得分 $A_F = 89.777778$，官方参考的同项绝对得分为 94，差异尺度 $\delta_F = 15$，证据完整度 $C_F = 100$。先计算相对参考分 $B_F$，再合成维度分 $D_F$：

$$
\begin{aligned}
B_F
&= 50 + 50 \times \operatorname{clip} \\
&\quad \left(\frac{89.777778 - 94}{15}, -1, 1\right) \\
&\approx 35.925926
\end{aligned}
$$

$$
\begin{aligned}
D_F
&= 0.65 \times 89.777778 \\
&\quad + 0.20 \times 35.925926
+ 0.15 \times 100 \\
&\approx 80.540741
\end{aligned}
$$

89.78 表示原生功能绝对表现，80.54 表示参与总分计算的功能维度展示分。

### 官方参考的服务稳定分

官方参考的 $R$ 套件为 300/300，绝对服务稳定得分 $A_R = 100$，相对参考分 $B_R = 50$，证据完整度 $C_R = 100$：

$$
\begin{aligned}
D_R
&= 0.65 \times 100 + 0.20 \times 50 \\
&\quad + 0.15 \times 100 = 90
\end{aligned}
$$

100% 是本轮服务稳定套件的观察成功率，90 是三层合成后的维度展示分。

### 维度展示分与总分

下表使用 $D$ 值，与总分公式对应。表格沿用服务展示顺序，不按分数排列。

| 模型推理厂商 | 回答质量 $D_Q$ | 功能支持 $D_F$ | 响应速度 $D_P$ | 服务稳定 $D_R$ | 总分 |
| - | - | - | - | - | - |
| 字节跳动 | 50.83 | 62.24 | 76.57 | 88.50 | **66.37** |
| 百度 | 36.70 | 75.71 | 36.55 | 87.00 | **56.48** |
| 阿里云 | 52.13 | 80.54 | 85.01 | 90.00 | **73.38** |
| DeepSeek 官方参考 | 52.59 | 84.60 | 80.99 | 90.00 | **73.76** |
| Fireworks | 50.42 | 60.16 | 68.55 | 88.50 | **64.10** |

以官方参考为例：

$$
\begin{aligned}
\mathrm{Overall}
&= 0.35 \times 52.594340 \\
&\quad + 0.25 \times 84.600000 \\
&\quad + 0.20 \times 80.990116 \\
&\quad + 0.20 \times 90.000000 \\
&\approx 73.76
\end{aligned}
$$

### 独立诊断指标

| 模型推理厂商 | $F_{\mathrm{strict}}$ | $K_{\mathrm{default}}$ |
| - | - | - |
| 字节跳动 | 56.83 | 93.83 |
| 百度 | 66.17 | 68.85 |
| 阿里云 | 89.78 | 99.37 |
| DeepSeek 官方参考 | 不可用 | 98.38 |
| Fireworks | 71.78 | 11.06 |

$F_{\mathrm{strict}}$ 表达接口兼容性，$K_{\mathrm{default}}$ 表达统一不附加会话亲和配置时的缓存结果。两列均不替代主分输入。

回答质量相对官方参考的差异区间中，字节跳动、阿里云及 Fireworks 的 95% 区间均包含 0，相应 $B_Q = 50$。百度差异约 −4.46 个百分点，95% 区间约为 −5.78 至 −3.16 个百分点。该结论限于本次任务集合及观察条件，不延伸为总分的统计显著性结论。

## 标准与适用条件

标准标识：**AIHubMix Provider Benchmark Standard v2.0**。结果同时记录 APB Suite、适配配置、判分协议及测量条件。不同配置或统计口径的结果分别解释。

模型页中的四项评分为 $D$ 值；报告中的正确率、功能通过率、延迟、缓存比例及首次成功率为相应原始指标或 $A$ 值。总分用于汇总展示，具体接入判断以维度结果、功能要求及证据条件为依据。

相关文档：[选择模型](https://docs.aihubmix.com/cn/guides/choose-models.md) · [模型详情与比较](https://docs.aihubmix.com/cn/guides/model-details.md)

文档日期：2026-11-05


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.