AIHubMix Provider Benchmark Standard v2.0

了解 AIHubMix Provider Benchmark Standard 的四项评分维度、总分公式、原生能力与接口兼容性判定、响应速度与缓存测量，以及题集来源和统计边界。

AIHubMix Provider Benchmark 以同一模型在不同模型推理厂商服务中的交付表现为测量对象，分别评估任务结果正确性、功能可用性、响应性能及首次请求完成情况。总分与四项维度分共同呈现，用于在规定测试条件下比较同一模型的服务表现。

本文采用 AIHubMix Provider Benchmark Standard v2.0，项目版本为 APB v2.0。主分使用按厂商文档配置的功能支持与缓存测量结果；接口兼容性及默认配置下的缓存结果分别作为诊断指标报告。

​

符号与命名

正文、表格与公式统一使用下列代号；同一符号不混用文字下标与数学下标两种写法。

类别	符号	含义
评分维度	$Q,\ F,\ P,\ R$	回答质量、功能支持、响应速度、服务稳定
计算层	$A,\ B,\ C,\ D$	绝对表现、相对官方参考、证据完整度、三层合成
维度分	$A_Q$、$A_F$ $A_P$、$A_R$ $D_Q$、$D_F$ $D_P$、$D_R$	层符号加维度下标；例如 $A_F$ 为绝对表现层的功能支持得分，$D_F$ 为三层合成后的功能支持得分
配置后缀	$F_{\mathrm{native}}$ $F_{\mathrm{strict}}$ $K_{\mathrm{native}}$ $K_{\mathrm{default}}$	原生/严格功能支持，原生/默认配置缓存
缓存子项	$K$、$K_\ell$ $K_{8k}$、$K_{32k}$	缓存有效命中子分；$\ell$ 表示前缀长度档，8k/32k 等权聚合为 $K$
缓存 token	$T_{\mathrm{read}}$ $T_{\mathrm{reuse}}$	热请求实际报告的缓存读取 token 数、按规则应可复用的前缀 token 数；均按指定原生 tokenizer 计量
速度子项	$P_{\mathrm{response}}$ $l_{\mathrm{ttfa}}$、$l_{\mathrm{tpot}}$	响应性能子分、首字延迟子分、每 token 耗时子分

配置后缀中的 native、strict、default 表示测量配置，不是维度名。$K$ 是缓存符号，不表示 Quality；函数名与分位名同样使用数学记号（如 $S(x;\tau)$、$P50_{\mathrm{TTFA,C1}}$、$f_{\text{组}}$）。

​

评分范围与阅读方式

评分项	代号	权重	测量内容
回答质量	$Q$（Quality）	35%	工具调用、知识与推理、长文理解任务的结果正确性
功能支持	$F$（Functionality）	25%	流式传输、工具、结构化输出、参数、上下文、错误响应及用量计量的功能可用性
响应速度	$P$（Performance）	20%	首个正文响应延迟、生成速率、并发有效吞吐及缓存有效命中情况
服务稳定	$R$（Reliability）	20%	固定请求集合在首次执行时有效完成的比例

独立评分对象为“模型推理厂商 × 模型版本”，即某家模型推理厂商提供的某一模型版本的服务。每个对象在指定测评批次和配置下形成一组四维分数及总分。

思考模式、请求参数、账号服务等级、测试地区及观察时段属于测量条件，随结果记录。不同条件下的结果分别标注，不直接合并。模型版本、地区或服务等级无法核验时，注明相应的未验证状态，不推定为已确认。

测评通过 AIHubMix API 执行，结果描述该接入方式下的实际观测表现。官方参考服务也通过 AIHubMix API 测量，不作为独立直连官方 API 的测量结果。

同一比较组采用相同题集、轮次、超时、请求预算、失败计分及统计方法。厂商文档规定的必要请求字段、流式结构和用量字段由接入适配层（adapter）处理，测量目标保持一致。本方法不用于跨模型智能能力排名，模型推理厂商身份不构成加分依据。

​

分数状态

状态	含义
正式	已按相应标准完成测试登记、采样、判分及证据核验
参考结果（PROVISIONAL）	可形成计算结果，但采样、判分、适配登记或证据存在适用限制
不可用（UNAVAILABLE）	必要判分、分母或参考缺失，不赋予数值
不可比较	模型配置、观测条件或结果视图不一致，不纳入同口径比较

缺失值与 0 分分别处理。服务明确失败或未提供必需能力时，按对应规则计为失败；缺测、分母未知或证据不足时保留相应状态。任一维度不可用时，总分也标记为不可用，其权重不向其他维度重新分配。

​

结果解释

• 原始指标按计分公式换算为绝对表现 $A$，经过相对参考与证据合成后得到维度合成分 $D$。总分使用 $D$，不直接对原始正确率、功能通过率或服务成功率加权。
• 分数反映特定题集、负载、地区、配置及观察窗口下的表现，适用条件随结果记录。
• 展示精度不代表统计区分能力。回答质量差异结合配对统计区间解释，不能仅凭小数差异判断优劣。
• 总分为汇总索引，不作为认证，不提供置信区间。统计结论以具体维度的证据为依据。
• 服务稳定同时报告首次成功数、计划机会数及双侧 95% 区间，不能直接解释为长期 SLA。

经复核确认模型身份不符、输入被静默裁剪、敏感内容泄露、严重协议损坏或计费异常时，结果单独标记“未通过准入”，保留复现证据及使用限制。维度分与总分不抵消该限制。

​

总分与维度合成

​

总分公式

总分由四项维度合成得分加权计算。$D_Q$、$D_F$、$D_P$、$D_R$ 分别表示回答质量、功能支持、响应速度、服务稳定的合成得分。

$$\begin{aligned} \mathrm{Overall} &= 0.35\,D_Q + 0.25\,D_F \\ &\quad + 0.20\,D_P + 0.20\,D_R \end{aligned}$$

四项维度合成得分均采用 0–100 分制。总分概括整体结果，四项维度分用于识别具体差异。

​

三层合成

对每个维度 $X \in \{Q,F,P,R\}$，维度合成得分 $D_X$ 由绝对表现 $A_X$、相对官方参考 $B_X$ 及证据完整度 $C_X$ 加权计算：

$$D_X = 0.65\,A_X + 0.20\,B_X + 0.15\,C_X$$

展开后的四项：

$$\begin{aligned} D_Q &= 0.65\,A_Q + 0.20\,B_Q + 0.15\,C_Q \\ D_F &= 0.65\,A_F + 0.20\,B_F + 0.15\,C_F \\ D_P &= 0.65\,A_P + 0.20\,B_P + 0.15\,C_P \\ D_R &= 0.65\,A_R + 0.20\,B_R + 0.15\,C_R \end{aligned}$$

输入层	权重	定义
A：绝对表现	65%	按规定测试与统计方法得到的实际测量结果
B：相对官方参考	20%	同一维度的绝对表现相对于官方参考服务的差异
C：证据完整度	15%	样本覆盖、观测一致性及计量证据对本次结果的支撑程度

$A$、$B$、$C$ 是计算层的符号，不表示接入等级。绝对表现使用规定公式，不将本批次最快或最高分服务设为 100，也不按批次重新归一化。

下标表示评分维度：$A_F$ 是绝对表现层的功能支持得分，$D_F$ 是三层合成后的功能支持得分。

主分及诊断值还使用以下配置后缀：

代号	英文全称	含义及用途
$F_{\mathrm{native}}$	Native Functionality Score	按厂商文档配置与解析后得到的原生功能支持得分，用作主分的 $A_F$
$F_{\mathrm{strict}}$	Strict Interface Compatibility Score	直接按 AIHubMix 接口约定检查得到的严格兼容性得分，单列诊断
$K$	Cache Hit Score	缓存有效命中子分，计入响应速度绝对表现 $A_P$
$K_{\mathrm{native}}$	Native Cache Hit Score	按厂商文档所需配置测量的缓存子分，用于主分
$K_{\mathrm{default}}$	Default-Configuration Cache Hit Score	统一不附加会话亲和配置时测量的缓存子分，单列诊断

native 表示按厂商文档配置，strict 表示严格接口检查，default 表示本文定义的默认配置。$K$ 是本方法的缓存符号，不表示 Quality。主分统一采用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$，诊断值不与主分混合使用。

​

相对官方参考 B

$A_{\mathrm{official}}$ 表示官方参考服务在当前维度的绝对表现得分；其相对参考分 $B_{\mathrm{official}}$ 固定为 50。

$$B_{\mathrm{official}} = 50$$ $$\begin{aligned} B_X &= 50 + 50 \times \operatorname{clip} \\ &\quad \left( \frac{A_X - A_{\mathrm{official}}}{\delta_X}, -1, 1 \right) \end{aligned}$$

$\operatorname{clip}(x,-1,1)$ 是限幅函数，将 $x$ 限制在 −1 至 1。差异尺度参数 $\delta$ 按维度定义：

维度	$\delta$
回答质量 Q	2
功能支持 F	15
响应速度 P	10
服务稳定 R	2

回答质量采用 5,000 次配对任务聚类 bootstrap 估计相对官方参考的差异区间。双侧 95% 区间包含 0 时，$B_Q = 50$；区间不包含 0 时，按上述映射计算。

官方参考服务独立接受绝对表现测量，其自身 $B$ 固定为 50，不预设满分。不同配置、超时、时段或结果视图不具可比性时，相对层不填入推定值。

​

证据完整度 C

$C$ 由以下五项组成，每项最高 20 分，总分 100。各项按记录中的覆盖程度及证据情况赋值，可为 20、10 或 0 分：

项目	核验内容
样本覆盖	实际有效记录与计划样本量的符合程度
窗口覆盖	所需时段或回答质量采集分段的完整程度
用量完整度	原始 usage 的覆盖及可核验程度
分母证据	题目判分、功能判定及缓存计量分母的可复核程度
协议一致性	请求配置、记录归属及观测协议的一致程度

$C$ 衡量测量证据，不直接测量模型能力。每项赋值与证据记录关联，结果状态独立保留；证据层得分不替代必要的数据有效性核验。

​

回答质量

回答质量 Q 依据标准答案及规定判分协议，测量全部有效任务实例的正确比例。

​

题集与判分

方向	测量内容	题数 × 轮次	计划实例数	判分方法
BFCL	函数选择、参数填充、并行调用、无关调用抑制及三阶段工具链	500 × 3	1,500	基于指定版本官方 AST checker 的 Python-only JSON 匹配适配
HLE	按学科分层的高难度文本知识与推理题	250 × 10	2,500	答案等价性裁判，记录裁判模型、提示词及版本
AA-LCR	约 7.4 万至 11.4 万 token 的多文档综合问答	25 × 10	250	指定文档及标准答案，采用答案等价性判分
合计	775 道不同题目	按方向规定轮次执行	4,250	按全部有效实例汇总

$$A_Q = 100 \times \frac{\text{正确实例数}}{\text{有效计分实例数}}$$ $$\begin{aligned} \text{完整计划分母} &= 1{,}500 + 2{,}500 + 250 \\ &= 4{,}250 \end{aligned}$$

三个方向按实例数汇总，不对各方向正确率作等权平均。多轮工具任务可能对应多次 API 请求，任务实例数与请求数分别统计。

本题集为 APB Suite 的派生题集，不构成 Artificial Analysis 官方的精确子集，也不复现其榜单成绩。50 个 BFCL 多轮任务基于真实题目编排，与 BFCL 官方有状态多轮执行环境分别定义。来源及版本见数据集来源。

​

比较条件与缺失处理

• 任务正确性依据标准答案判定，官方参考回答不作为真值。
• 各方使用相同可控预算、采样次数及语义等价参数；思考模式、工具模板或 effort 无法对齐时，标记“配置不可比”。
• 服务失败、超时、拒答及预算耗尽按任务失败计入分母。
• 裁判无效或缺少有效判定的记录单独标注，排除出可计算分母，并保留参考结果状态。
• 题目过滤规则在测试登记中明确，报告同时列出计划数、过滤数及实际计分数。
• 重复轮次归属于同一题目聚类，不作为新增独立题目处理。

相对差异采用分方向的配对任务聚类 bootstrap，重复 5,000 次。各方使用相同题目抽样索引，报告差异的双侧 95% 区间。区间包含 0 时，标记“未分出高下”，相对参考层取 50。

​

功能支持

功能支持 F 测量接口功能在规定配置下是否可用，不重复计入任务回答正确率。

​

功能分组与权重

功能组	权重	检查内容
流式与消息协议	20%	流式增量、事件顺序、终止块、finish_reason 及 usage 位置
工具接口	20%	工具名、schema、参数解析、并行调用、工具结果回传及错误处理
输出约束与参数	20%	temperature、max_tokens、stop、结构化输出及思考配置的实际行为
上下文与状态	15%	窗口边界、超限处理、历史消息及长输入完整性
错误与恢复	15%	错误码、错误体、限流及重试语义与文档约定的一致性
计量与缓存协议	10%	usage 完整性、总量自洽性及缓存计量

$f_{\text{组}}$（Functional Group Pass Score，功能组通过得分）表示单个功能组的有效适用实例通过率。公式中的 $f_{\text{流式}}$、$f_{\text{工具}}$、$f_{\text{约束}}$、$f_{\text{上下文}}$、$f_{\text{错误}}$、$f_{\text{计量}}$ 分别对应表中六组。

$$f_{\text{组}} = 100 \times \frac{\text{通过实例数}}{\text{有效适用实例数}}$$ $$\begin{aligned} A_F &= 0.20\,f_{\text{流式}} + 0.20\,f_{\text{工具}} \\ &\quad + 0.20\,f_{\text{约束}} + 0.15\,f_{\text{上下文}} \\ &\quad + 0.15\,f_{\text{错误}} + 0.10\,f_{\text{计量}} \end{aligned}$$

每组 10 个用例，每例在 3 个窗口执行 1 次，共 60 个用例、180 个判定。用例内规定的重复请求单独记录，不改变用例分组及权重。

​

判定状态

状态	含义	聚合处理
PASS	全部适用检查项通过	计入通过及有效适用实例
FAIL	功能缺失、契约不符、值错误或非预期服务故障	计入有效适用实例，不计入通过
NA	模型原生不支持该能力，已有充分证据并事前登记	排除出适用分母
UNTESTED	未执行测试	必测记录不足时保留受限或不可用状态
INVALID	测试器、夹具或配置证据无效，无法归责于被测服务	不作为功能失败，记录有效分母及证据限制
UNOBSERVED	前序步骤中断，未形成后续观测	不记通过，保留观测缺失状态

原生能力分按有效适用记录计算。存在 INVALID 或 UNOBSERVED 时，同时披露覆盖与分母限制；必要检查缺少证据时，严格兼容性分不可用。模型原生支持但服务未提供的能力记为 FAIL，不能归入 NA。

​

原生能力与接口兼容性

指标	英文全称与中文含义	检查依据	用途
$F_{\mathrm{native}}$	Native Functionality Score，原生功能支持得分	按厂商文档解释字段、流式结构及必要请求配置，核验功能存在且语义正确	作为主分的 $A_F$
$F_{\mathrm{strict}}$	Strict Interface Compatibility Score，严格接口兼容性得分	直接按 AIHubMix 接口约定检查字段、事件结构及返回行为	单列接口兼容性诊断

字段存在且位置或命名符合厂商文档时，原生能力检查按其实际结构解析。字段完全缺失、数值错误或相互矛盾时，按实际检查结果判定。适配层保留原始字段和映射依据，不将未知值推定为功能通过。

$F_{\mathrm{native}}$ 与 $F_{\mathrm{strict}}$ 分别报告，不能在同一比较表的主分中交替选用。缓存有效命中比例计入响应速度，账单准确性单独核验。

​

响应速度

响应速度 $P$ 由正文响应性能与缓存有效命中共同构成。主分使用 $K_{\mathrm{native}}$。

​

负载与采样

非思考档 I（Non-thinking Profile，非思考负载档）与思考档 T（Thinking Profile，思考负载档）分别测量和报告。I、T 是负载档标识；I 档要求模型原生支持非思考模式，T 档记录 effort、思考预算及输出预算。

C1（Concurrency 1，单并发）与 C10（Concurrency 10，10 并发）表示同时执行的请求数。此处 C 表示 Concurrency，与证据完整度层 C 分别使用。

配置项	测量约定
输入	10,000 ± 2% token，以 o200k_base 计量；输入起始位置加入唯一前缀，控制非预期缓存命中
输出	1,000 至 1,200 个正文 token，包含固定核验点
超时	300 秒，同一比较组一致
单并发 C1	90 次，3 窗 × 30
10 并发 C10	90 次，3 窗 × 30
缓存子测	30 次，3 窗 × 8k/32k 两档 × 5 次
隔离	回答质量与响应速度分别执行，响应速度使用独立测量时段

并发测试采用闭环补充机制，每完成一个请求补发一个请求。C10 表示该负载下的观测结果，不构成完整容量曲线。

​

计时与有效输出

指标	英文全称	定义及用途
计时起点	Measurement Start Time	预建连接完成后，正式请求开始写入的时刻；连接冷启动耗时另行记录
TTFT	Time to First Token	首个实际推理、正文或工具参数载荷的等待时间；空角色及心跳事件不计入，作为原始指标
TTFA	Time to First Answer	首个非空最终正文片段的等待时间，包含此前的思考耗时，用于延迟计分
TPOT	Time per Output Token	正文生成阶段的平均每 token 耗时，依据首尾正文片段时间及对应 token 数计算
goodput	Valid-Output Throughput	C10 完整墙钟时间内，满足正确性及完整性要求的有效正文 token 数率

正文一次性整块返回时，TPOT 记为无效，不据此构造逐 token 速率。计分统计量采用包含失败处理的 P50（50th Percentile，第 50 百分位数，即中位数）；另行报告经验 P95（95th Percentile，第 95 百分位数）及窗口间波动，每档 90 次样本不支持 P99（99th Percentile，第 99 百分位数）结论。这里 P 表示 Percentile，与响应速度维度 P 分别使用。

​

计分公式

本节函数名与子分符号均为本方法的计算记号，含义如下：

代号	英文名称	含义
$S(x;\tau)$	Latency Score Function	将等待时间 $x$ 转换为延迟子分的函数，$\tau$ 为延迟尺度
$L(x;t,k)$	Lower-is-Better Score Function	数值越低越好的计分函数；本节用于 TPOT，$t$ 为满分目标，$k$ 为范围倍数
$H(x;t)$	Higher-is-Better Score Function	数值越高越好的计分函数；本节用于有效吞吐，$t$ 为满分目标
$l_{\mathrm{ttfa}}$	Answer Latency Subscore	首个正文响应延迟子分，取 C1 与 C10 两档计分结果的较小值
$l_{\mathrm{tpot}}$	Output Token Time Subscore	正文每 token 耗时子分，取 C1 与 C10 两档计分结果的较小值
$P_{\mathrm{response}}$	Response Performance Score	响应性能子分，由延迟、每 token 耗时与有效吞吐合成，不含缓存子分
$P50_{\mathrm{TTFA,C1}}$、$P50_{\mathrm{TTFA,C10}}$	Median Time to First Answer at Concurrency 1 / 10	单并发或 10 并发下，包含失败处理的 TTFA 中位数
$P50_{\mathrm{TPOT,C1}}$、$P50_{\mathrm{TPOT,C10}}$	Median Time per Output Token at Concurrency 1 / 10	单并发或 10 并发下，包含失败处理的 TPOT 中位数

$A_P$ 是包含响应性能与缓存子分的绝对响应速度得分；$D_P$ 是再经过相对参考与证据合成、参与总分的响应速度维度分。

以下 $\operatorname{clip}$ 将数值限制在 0 至 1，$\ln$ 为自然对数，$\min$ 表示取较小值，$\Sigma$ 表示求和。公式中的 $\tau$、$b$、$c$、$k$ 在紧随公式的参数表中定义：

$$S(x;\tau) = 100 \times \frac{\tau}{\tau + x}$$ $$L(x;t,k) = 100 \times \operatorname{clip} \left[\frac{\ln(k t / x)}{\ln k}\right]$$ $$H(x;t) = 100 \times \operatorname{clip} \left[\frac{\ln\left(x / (0.05t)\right)}{\ln 20}\right]$$ $$\begin{aligned} l_{\mathrm{ttfa}} &= \min\bigl( S(P50_{\mathrm{TTFA,C1}};\tau), \\ &\qquad S(P50_{\mathrm{TTFA,C10}};\tau) \bigr) \end{aligned}$$ $$\begin{aligned} l_{\mathrm{tpot}} &= \min\bigl( L(P50_{\mathrm{TPOT,C1}};b,10), \\ &\qquad L(P50_{\mathrm{TPOT,C10}};b,10) \bigr) \end{aligned}$$ $$\begin{aligned} \mathrm{goodput} &= \sum_{\text{有效}} \min(\text{正文 token}, 1000) \\ &\quad \Big/ \sum_{\mathrm{C10}} \text{墙钟时长} \end{aligned}$$ $$\begin{aligned} P_{\mathrm{response}} &= 0.35\,l_{\mathrm{ttfa}} + 0.35\,l_{\mathrm{tpot}} \\ &\quad + 0.30\,H(\mathrm{goodput}; c) \end{aligned}$$ $$A_P = 0.80\,P_{\mathrm{response}} + 0.20\,K_{\mathrm{native}}$$

参数	英文名称	取值	含义
$\tau$	Latency Scale	2 秒	延迟子分达到 50 时的 TTFA
$b$	Target Time per Output Token	5 ms/token	TPOT 满分目标；达到或低于该值时为 100
$c$	Target Valid-Output Throughput	1,200 token/s	C10 有效吞吐满分目标；达到或超过该值时为 100
$k$	TPOT Range Multiplier	10	TPOT 对数映射的范围倍数

上述目标用于本标准规定的负载，不代表所有模型及所有工作负载的通用阈值。

TTFA	0 秒	1 秒	2 秒	4 秒	10 秒
延迟子分	100	66.7	50	33.3	16.7

​

无效输出与测量隔离

长度不符、核验点错误、循环退化、流内错误、非正常终止或截断的输出判为无效，仍计入负载及耗时。计算 P50 前应用以下处理：

• TTFA 计为正无穷，对应延迟分 0。
• TPOT 计为 10b，即 50 ms/token。
• goodput 的有效输出贡献为 0，时间保留在对应 C10 窗口中。
• 原始实测耗时单独保留，不由计分处理值覆盖。

同时报告有效请求数、计划数及输出有效率。性能结果包含服务失败对交付的影响，不能仅根据成功请求的延迟解释。

​

缓存命中

缓存子分 $K$（Cache Hit Score，缓存有效命中子分）测量应可复用前缀中实际报告为缓存读取的 token 比例。每种长度先汇总热请求的读取量和应可复用量，再对 8k、32k 两种长度等权聚合。

代号	英文全称	含义
$K_\ell$	Length-Specific Cache Hit Score	某一前缀长度档（$\ell$）的缓存有效命中子分
$K_{8k}$	8k-Prefix Cache Hit Score	约 8k token 前缀档的缓存有效命中子分
$K_{32k}$	32k-Prefix Cache Hit Score	约 32k token 前缀档的缓存有效命中子分
$T_{\mathrm{read}}$	Cache-Read Native Token Count	热请求实际报告的缓存读取原生 token 数，不含缓存写入
$T_{\mathrm{reuse}}$	Expected Reusable Native Token Count	按规则应可复用的前缀原生 token 数，作为命中率分母

$T_{\mathrm{read}}$ 与 $T_{\mathrm{reuse}}$ 均按指定原生 tokenizer 计量；native 与 $K_{\mathrm{native}}$ 中表示厂商文档配置的 native 分别解释。

$$K_\ell = 100 \times \frac{\sum_{\text{热请求}} T_{\mathrm{read}}} {\sum_{\text{热请求}} T_{\mathrm{reuse}}}$$ $$K = \frac{K_{8k} + K_{32k}}{2}$$

不同长度合并后的 token 加权命中率可作为诊断指标，不替代主分中的等权 $K$。

​

测试序列与分母

每组使用固定长前缀及变化的新问题，共 5 次请求：

1. 首次请求写入缓存，前缀起始位置加入独立随机标识，隔离不同测试组。
2. 第 2 至 4 次保持前缀逐字节一致，末尾使用不同的短问题，分别在上次请求完成后 5 秒、30 秒、120 秒发起。
3. 第 5 次替换为完全独立的新前缀，作为冷对照。

三窗口各覆盖约 8k、32k 两档，共 30 次请求。只有第 2 至 4 次进入热命中计分，每种长度有 9 个热请求机会。首次写入及冷对照单独核验。

分母使用登记的应可复用前缀原生 token 数，以指定 tokenizer、模板及缓存规则为依据。新问题及不可复用部分单独识别，不用全部输入 token、实际命中量或 o200k_base 计数替代分母。按块上报的读取量保留原值及块大小。

主分使用 $K_{\mathrm{native}}$：按照厂商文档启用缓存所需配置，必要的会话亲和字段属于接入适配。$K_{\mathrm{default}}$ 记录统一不附加会话亲和配置时的结果，作为默认配置诊断。各家均按同一配置判定原则执行，报告保留具体配置。

​

异常与不可观测情形

情形	处理
应可复用分母未知	$K$ 不可用，不记 0
成功请求缺少缓存读取字段	默认记不可观测；仅在文档明确零命中省略字段、已登记且证据一致时按 0 解析
读取量超过分母或字段冲突	记录异常及原值，不截断至 100%
冷对照成功且读取量为 0	可作为冷对照证据；未能完成的对照保留限制状态
热请求失败且分母可确定	读取量按 0 纳入，失败记录单列
模型原生支持缓存，服务未提供	$K = 0$
模型原生不支持缓存且已事先定义	单列 No-cache 档，$A_P = P_{\mathrm{response}}$，与含缓存档分别报告
不支持命中计量	$K$ 及 $P$ 标记不可用，不转移缓存权重

usage 只能证实接口上报的缓存读取量。实际费用经核对后方可标记为已验证；缓存命中不等于免费，也不保证总费用降低。

​

服务稳定

服务稳定 R 测量固定请求集合的首次有效完成比例，计分不使用自动重试或跨模型推理厂商回退：

$$A_R = 100 \times \frac{\text{首次有效完成数}}{\text{有效计划机会数}}$$ $$\text{完整计划机会数} = 300$$

​

测试集合与成功条件

测试共 300 次机会，分布于 3 个窗口，每窗 100 次。每 100 次采用相同任务组合：短文本 40、约 10k 长输入 30、工具协议调用 20、带多轮历史的单次调用 10。

工具任务采用预制合法历史，保持计分分母稳定。默认单并发，请求速率在已核实的 RPM、TPM 配额内。该套件独立执行，不混入回答质量题、功能负向用例、诊断重试、预热或压力负载请求。

首次成功同时满足：

• HTTP 状态符合预期，响应结构及事件序列合法。
• 正文或工具载荷非空，正常结束。
• 无流内错误、非预期截断或必需字段缺失。
• 规定的 usage 字段完整，并按相应接口结构解析。
• 在 300 秒截止时间内完成。

HTTP 200 不足以单独判定成功；任务回答错误与服务失败分别统计。

​

失败、无效记录与区间

配额内的 429、服务端错误、连接失败、超时、空返回、断流及异常截断计为失败。模型推理厂商故障导致计划请求未能发出时，计入失败并记录原因。

测试环境或测试器异常标记 INVALID，不归因于被测服务，同时保留有效机会数及覆盖限制。诊断请求独立记录，不替代首次结果。

成功率报告双侧 95% Clopper–Pearson 区间。300/300 的观察成功率为 100%，区间下界约 98.78%，仍不能证明长期服务成功率为 100%。分窗口及任务类别记录失败分布和最长连续失败段。

​

测试规模与可比性

​

样本规模

以下为 APB Suite 中 APB Full 的计划规模：

项目	每家计划规模	构成
回答质量	4,250 个实例	BFCL 1,500、HLE 2,500、AA-LCR 250
功能支持	180 个判定	60 个用例 × 3 窗口
响应速度	180 次请求	C1/C10 各 90 次，分布于 3 个窗口
缓存	30 次请求	3 窗口 × 两种前缀长度 × 5 次
服务稳定	300 次机会	3 窗口 × 100 次

任务实例数、API 请求数与裁判请求数分别统计，多阶段工具任务及用例内重复可能对应额外请求。

​

执行条件

• 同一比较组统一题集、轮次、超时、温度、输出预算、失败处理及计分公式。
• 采用同一客户端、网络地区及连接策略，记录账号服务等级、实际起止时间和执行顺序。
• 完整测试采用 3 个窗口，窗口间隔至少 60 分钟；回答质量与响应速度分别执行。
• 模型 ID、鉴权、必要字段、流式格式、用量映射、缓存语义及 tokenizer 依据形成适配记录。
• 接入适配在采样前登记并验证，同一规则适用于所有符合条件的模型推理厂商。
• 计分主视图统一采用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$，兼容性及默认配置诊断分别报告。
• 首次执行结果持续保留，计划量、实际量、过滤、失败、无效及未观测记录分别核对。

测试在获准的配额、权限及费用范围内执行。必要条件不满足时，结果保留受限、未完成或不可用状态，不对剩余项目重新归一化。

​

数据集来源与结果记录

​

数据集来源

回答质量使用版本化派生题集，保留来源、抽样记录及完整性校验信息。APB Full 的回答质量题集包含 775 道不同题目，来源快照如下：

方向	来源快照	版本记录	许可及使用边界
BFCL	Berkeley Function Calling Leaderboard 数据与检查器	6ea57973c7a6	来源仓库 Apache-2.0；本测评使用派生题集及检查适配
HLE	文本镜像快照；官方数据集	镜像 e3e9cb5a550e	来源记录为 MIT；未核验与官方当前版本逐字节等同
AA-LCR	Artificial Analysis AA-LCR 数据及文档快照	9a77ef56b717	数据集仓库 Apache-2.0；引用文档的第三方权利继续归原权利人

BFCL 按类别配额抽样；HLE 与 AA-LCR 按分层比例抽样并保证各层最少覆盖。抽样采用指定种子及 SHA-256 排序，题集版本、过滤清单和判分协议随结果记录。

上述链接用于核验原始来源，不等同于可直接复现 APB 分数的完整测评包。受限数据不在本文重新分发，具体许可遵循相应来源。

​

结果记录与核验

供应商报告统一称为 APB Profile，记录以下测评信息：

记录类别	必要内容
测评身份	标准与题集版本、模型推理厂商、精确模型版本及官方参考服务
测量条件	思考配置、账号等级、地区、时段、超时、并发及性能参数
适配依据	文档查阅日期、必要字段、流式结构、用量解析及缓存配置
样本覆盖	计划数、实际数、计分分母、过滤、失败、无效及未观测项
判分依据	标准答案、检查器或裁判配置、判分状态及偏差评估
原始测量	脱敏请求与响应、事件时间、状态、终止原因及原始 usage
聚合结果	$A/B/C$ 分层输入、四项 $D$ 分、总分、维度区间及未舍入值
诊断指标	$F_{\mathrm{strict}}$、$K_{\mathrm{default}}$、有效率、错误类别及对应适用限制

服务成功、任务正确与输出有效分别标注。负向用例不混入服务稳定分，缓存读写分别计量，估算费用与实际费用核验状态分别记录。对外展示前移除密钥、用户标识及敏感内容；数值附单位，缺失值保留状态。

​

参考数据与计算示例

以下采用 DeepSeek V4.1 Flash 1017 的五家服务结果说明计算方法。主分使用 $F_{\mathrm{native}}$ 与 $K_{\mathrm{native}}$。数值按两位小数展示，计算以结果文件保存的中间值为准。

本节为参考结果（PROVISIONAL）。采集与适配的事前登记证据不完整，不能作为 AIHubMix Provider Benchmark Standard 的正式 APB Full 结果。回答质量每家计入 4,240 个实例，另有 10 个过滤实例。HLE/AA-LCR 的裁判与被测模型同属 DeepSeek 家族，独立校准证据不足。结果限于所记录的配置与观察范围。

​

绝对表现与缓存子分

下表 $Q$、$F$、$P$、$R$ 均为绝对表现 $A$（$F$ 取 $F_{\mathrm{native}}$），不直接作为总分中的四项维度展示分。$K$ 为 $A_P$ 中的缓存子分。

模型推理厂商	$A_Q$	$A_F$	$A_P$	$K_{\mathrm{native}}$	$A_R$
字节跳动	42.05	74.98	84.37	93.83	100.00
百度	38.00	88.39	37.77	68.85	100.00
阿里云	41.75	89.78	88.58	99.37	100.00
DeepSeek 官方参考	42.45	94.00	86.14	98.38	100.00
Fireworks	41.42	71.78	79.51	60.68	100.00

• 五家服务稳定套件均为 300/300；其他套件的服务失败仍计入其所属维度，不能以 $R$ 套件结果替代。
• Fireworks 的 $K_{\mathrm{native}}$ 使用文档规定的会话亲和配置，其余服务按各自文档要求的配置测量。
• 百度的 $K$ 采用零命中省略字段按 0 解析的样本规则，相关事前登记证据不完整；8k 冷对照存在未完成记录，$K$ 保留参考状态。
• DeepSeek 的 $F_{\mathrm{strict}}$ 因 27 条 INVALID 记录不可用；$F_{\mathrm{native}}$ 按有效适用记录计算。

​

功能支持的维度合成

以阿里云为例，绝对功能支持得分 $A_F = 89.777778$，官方参考的同项绝对得分为 94，差异尺度 $\delta_F = 15$，证据完整度 $C_F = 100$。先计算相对参考分 $B_F$，再合成维度分 $D_F$：

$$\begin{aligned} B_F &= 50 + 50 \times \operatorname{clip} \\ &\quad \left(\frac{89.777778 - 94}{15}, -1, 1\right) \\ &\approx 35.925926 \end{aligned}$$ $$\begin{aligned} D_F &= 0.65 \times 89.777778 \\ &\quad + 0.20 \times 35.925926 + 0.15 \times 100 \\ &\approx 80.540741 \end{aligned}$$

89.78 表示原生功能绝对表现，80.54 表示参与总分计算的功能维度展示分。

​

官方参考的服务稳定分

官方参考的 $R$ 套件为 300/300，绝对服务稳定得分 $A_R = 100$，相对参考分 $B_R = 50$，证据完整度 $C_R = 100$：

$$\begin{aligned} D_R &= 0.65 \times 100 + 0.20 \times 50 \\ &\quad + 0.15 \times 100 = 90 \end{aligned}$$

100% 是本轮服务稳定套件的观察成功率，90 是三层合成后的维度展示分。

​

维度展示分与总分

下表使用 $D$ 值，与总分公式对应。表格沿用服务展示顺序，不按分数排列。

模型推理厂商	回答质量 $D_Q$	功能支持 $D_F$	响应速度 $D_P$	服务稳定 $D_R$	总分
字节跳动	50.83	62.24	76.57	88.50	66.37
百度	36.70	75.71	36.55	87.00	56.48
阿里云	52.13	80.54	85.01	90.00	73.38
DeepSeek 官方参考	52.59	84.60	80.99	90.00	73.76
Fireworks	50.42	60.16	68.55	88.50	64.10

以官方参考为例：

$$\begin{aligned} \mathrm{Overall} &= 0.35 \times 52.594340 \\ &\quad + 0.25 \times 84.600000 \\ &\quad + 0.20 \times 80.990116 \\ &\quad + 0.20 \times 90.000000 \\ &\approx 73.76 \end{aligned}$$

​

独立诊断指标

模型推理厂商	$F_{\mathrm{strict}}$	$K_{\mathrm{default}}$
字节跳动	56.83	93.83
百度	66.17	68.85
阿里云	89.78	99.37
DeepSeek 官方参考	不可用	98.38
Fireworks	71.78	11.06

$F_{\mathrm{strict}}$ 表达接口兼容性，$K_{\mathrm{default}}$ 表达统一不附加会话亲和配置时的缓存结果。两列均不替代主分输入。

回答质量相对官方参考的差异区间中，字节跳动、阿里云及 Fireworks 的 95% 区间均包含 0，相应 $B_Q = 50$。百度差异约 −4.46 个百分点，95% 区间约为 −5.78 至 −3.16 个百分点。该结论限于本次任务集合及观察条件，不延伸为总分的统计显著性结论。

​

标准与适用条件

标准标识：AIHubMix Provider Benchmark Standard v2.0。结果同时记录 APB Suite、适配配置、判分协议及测量条件。不同配置或统计口径的结果分别解释。

模型页中的四项评分为 $D$ 值；报告中的正确率、功能通过率、延迟、缓存比例及首次成功率为相应原始指标或 $A$ 值。总分用于汇总展示，具体接入判断以维度结果、功能要求及证据条件为依据。

相关文档：选择模型 · 模型详情与比较

文档日期：2026-11-05