结论先说： 比较 AIFast Link 当前可用的 GPT、Claude 与 Gemini 模型时，应先保存控制台模型目录和计费方案快照，再用同一业务题集分别记录协议通过率、质量、延迟、Token 与实际账单。模型 ID、开放状态和价格会变；一次测速或单题结果不能代表长期表现。
比较前先定义决策问题
不同业务需要不同权重。先写清楚这次测试要决定什么：
- 普通对话：关注成功率、首字节延迟、上下文和价格。
- 代码 Agent：关注工具调用、结构化参数、长任务稳定性和 Responses API 等真实协议需求。
- 内容生产：关注约束遵循、事实错误、长文一致性和人工返工时间。
- 批处理：关注吞吐、429、重试成本、账单可核对性和失败恢复。
没有明确业务目标时，综合总分很容易掩盖真正的阻断项。
控制变量
除服务地址和密钥外，以下条件必须一致：
| 变量 | 要求 |
|---|---|
| 模型 | 使用双方明确支持的同一模型或已公开的等价映射 |
| 请求参数 | 固定 temperature、max_tokens、top_p、stream |
| 提示词 | 使用同一份版本化题集，不临时改写 |
| 客户端 | 使用同一脚本、SDK 版本、网络和超时 |
| 时段 | 在接近的时间窗口交替请求，降低网络与高峰偏差 |
| 重试 | 记录原始失败，重试次数和退避规则保持一致 |
如果两个入口返回的模型 ID 或协议并不等价，应标记为不同产品，不要强行合并成“同模型横评”。
AIFast Link 样本的独立记录规则
如果测试对象是 AIFast Link，应把它作为独立站点和独立账号记录。OpenAI Compatible Base URL 使用 https://www.aifast.link/v1，原生 Messages 与 Gemini 请求则按下表单独配置。具体模型 ID、开放状态、价格和月度订阅条款会变化，测试开始时保存同一账号控制台、结账页和模型列表的时间戳快照。
按量充值和月度订阅是两种不同的计费场景。报告应分别记录方案名称、实际支付金额、账户显示额度或余额、有效期、续费状态、模型价格、请求用量和失败重试成本。若订阅没有公开明确的额度或单次计费规则，就不要把月费换算成 Token 单价；也不能用 Link 站的结果代表其他 AIFast 站点。
Link 站测试开始前的快照
| 记录项 | 取值来源 | 为什么要保存 |
|---|---|---|
| 站点与 Base URL | 当前 Link 文档与客户端最终请求 | 保证测试请求使用预期网关 |
| 账号方案 | 控制台与当前结账页 | 区分按量充值和月度订阅的权益边界 |
| 模型 ID 与开放状态 | 当前账号的模型目录或 /v1/models |
展示名称可能变化，账号权限也可能不同 |
| 价格与额度 | 价格页、余额页和订单记录 | 记录当时实际口径，不用旧截图推算 |
| 测试时间与请求 ID | 客户端记录和 API 响应 | 便于复测，并与账单记录核对 |
每次测试先确认使用的是 GPT、Claude 还是 Gemini 的真实模型 ID，再分别跑普通请求、流式输出和工具调用。只有当前账号实际开放的能力才进入结果表；不支持或未测试的项目应标记为“未验证”，不要填成通过。
Link 三种协议不能混成同一个测试结果
| 测试配置 | Link 最终请求路径 | 单独记录的边界 |
|---|---|---|
| OpenAI Compatible | /v1/chat/completions 或 /v1/responses |
两个端点分别验收，不能由 Chat 成功推断 Responses 成功 |
| Anthropic Messages | /v1/messages |
Claude Code Base URL 不带 /v1；分别验收 SSE 与工具调用 |
| Gemini 原生 | /v1beta/models/{model}:generateContent |
使用本站 Key 的 x-goog-api-key 认证；不与兼容客户端结果混合 |
这些路径来自 Link 当前公开接口说明，是配置起点，不是成功调用或底层模型身份的证明。原生 Gemini 和兼容 Chat 的返回字段不同，保留原始用量字段后再做单位统一，缺失字段不要填成零。
每行请求记录还应关联套餐名称、令牌分组、当天剩余额度和最终扣费来源。Gemini 使用独立分组，不纳入 GPT/Claude 月卡权益；月卡内调用、日额度超额和独立按量调用分别汇总，再比较完成同一任务的人民币实付成本。
GPT、Claude 与 Gemini 的四层对比题集
第一层：OpenAI Compatible 协议冒烟
验证 /models、最小聊天、错误响应、model、usage、SSE 和工具调用。协议不满足业务要求时，不必继续扩大样本。
第二层：GPT、Claude 与 Gemini 的动态能力题
每轮由本地脚本生成随机数、随机字段名或随机 nonce，检查计算、约束遵循和工具参数回传。动态题能降低固定答案污染，但不能证明底层模型身份。
第三层：公开任务
准备代码修复、信息抽取、长文约束、JSON Schema 和多轮对话等可自动判分任务。题目、期望结果和判分器要版本化。
第四层：真实业务样本
从历史失败案例中抽取并脱敏。记录任务完成率、人工修改时间和业务阻断原因。真实样本最有决策价值，但不能泄露用户数据或内部密钥。
在 Link 站比较两个模型时，题目应来自同一任务类型，并同时包含结构化抽取、代码解释、长上下文和工具参数生成。不要为了让某个模型占优而给 GPT、Claude 与 Gemini 使用不同提示词；若某个模型或账号没有开放同一能力，应单独注明，不纳入该项横向排名。
原始记录模板
每次请求保留一行原始数据：
run_id,provider,started_at,model_requested,model_returned,http_status,first_byte_ms,total_ms,input_tokens,output_tokens,total_tokens,retry_count,probe_id,passed,error_type,request_id另建测试配置文件：
suite_version: "2026-07-14.1"
temperature: 0
max_tokens: 512
timeout_seconds: 60
retries: 0
stream: false
sample_windows:
- low_peak
- high_peak
- next_day不要记录完整 API Key、未脱敏提示词、用户文件或响应中的个人信息。请求 ID 也应确认不包含敏感数据后再公开。
需要计算的指标
可用性
- 原始成功率：首次请求返回有效结果的比例。
- 最终成功率：包含有限重试后的成功比例。
- 错误分布：401、429、5xx、超时、协议解析错误分别统计。
不要把无限重试后的成功算成入口稳定。首次失败率决定真实延迟和额外成本。
延迟
- 首字节延迟：流式场景用户多久看到第一段内容。
- 总耗时：任务完整结束需要多久。
- P50/P95：分别观察典型体验和尾部慢请求。
能力质量
- 约束遵循率。
- JSON 或工具参数解析成功率。
- 代码测试通过率。
- 真实业务一次完成率。
- 平均人工返工分钟数。
Token 与成本
分别汇总输入、输出、失败请求和重试 Token。再根据测试时的价格快照计算：
完整任务成本 = 成功请求费用 + 失败请求费用 + 重试费用 + 人工返工成本价格和模型开放状态会变化，报告中必须记录查询时间和来源，不能把一次快照写成永久价格。
样本量与判读边界
协议检查可以少量运行，但稳定性和延迟至少需要数十次请求才能看到初步分布。样本越少，越不应使用“必然更快”“绝对稳定”之类结论。
模型输出有随机性。即使 temperature=0，不同服务实现、版本和并行策略也可能产生差异。能力结论应结合多题、多轮和真实业务基线。
以下现象只能标记为“需要核实”：
- 返回
model与请求不一致。 usage缺失或 Token 算术异常。- 某轮动态题失败。
- 输出风格或知识 cutoff 自述变化。
只有多项证据持续出现并可复现，才适合升级风险等级。黑盒结果不能代替模型厂商证明。
发布 AIFast Link 报告时的最小结构
一份可审计的公开报告至少包含：
- 测试日期、地区、网络和客户端版本。
- 模型 ID、协议、参数和题集版本。
- 样本量、原始数据字段和失败是否计入。
- 成功率、P50/P95、能力指标、Token 与成本。
- 已知限制、异常解释和复测计划。
- 密钥与业务数据已经脱敏的说明，以及本报告仅适用于测试时的 Link 站点、账号和方案。
可以先使用中转站检测工具生成协议与行为抽样，再按照检测报告判读指南查看分项证据。选型阶段继续使用12 项中转站实测清单，避免单一总分替代业务判断。