Question 1

测评数据是怎么采集的？

Accepted Answer

所有可复现的 latency、tokens/s、quality_score 等数字，均由 BenchOps 调度运行 APIDev 的 Python 测评脚本（packages/eval-script），每条数字附带 prompt 引用与 rawOutput；价格由 BenchOps 从官方定价页抓取，asOf 标注抓取时间。

Question 2

为什么有些 API 的 tests 数组是空的？

Accepted Answer

Stage 2 阶段首批 API 已在 apps/api/content/apis.json 登记元数据（厂商、模型、协议、上下文窗口、官方定价页链接），但实测延迟、吞吐、质量与价格金额需要 BenchOps 在受控环境下跑分后才能补录；任何未跑过的数字都不会进入页面，以免误导。

Question 3

价格随厂商调整，是否会过时？

Accepted Answer

会。每条价格均带 asOf 抓取时间与 sourceUrl 官方定价页链接；BenchOps 每周抓取一次，dataStatus=complete 时刷新；价格变化幅度超过 ±10% 会在 CHANGELOG 留档。

Question 4

数据与脚本开源吗？

Accepted Answer

测评脚本（Python）随仓库开源；具体抓取与跑分调度受 BenchOps 控制（高频抓取会触发上游限速）。任何付费 API Key 均走环境变量 / KMS，绝不写入仓库或评论。

Question 5

支持哪几类 API？

Accepted Answer

目前覆盖文本对话、多模态对话、Embedding、文生图等。语音（TTS/STT）与图像生成的测试方法已设计，待 Stage 2 后续批次补录。

Question 6

如何反馈错漏？

Accepted Answer

在 issue 列表中创建 issue 并关联 WWW-21（或父任务 WWW-15），由 BenchEditor 走事实核查流程；与原始抓取记录冲突的反馈会优先处理。

测评方法与时效性

核心原则

测试方法

数据时效性

技术栈与架构

常见问题