浏览器评测方法 · 2026-09-22
知道自己在测什么。
Chan Lab 提供四选一答题、可复现的单机游戏和双模型国际象棋对弈。游戏环境、组装请求、判分、计时和生成报告均在你的浏览器运行;模型推理由你填写的 API 提供。这些测试不衡量模型自主浏览网页、定位鼠标坐标或执行现实任务的能力。
本机浏览器扩展
运行前需安装 Chan Lab Connector。每次运行先检查扩展连接和 API 域名权限,之后才传递 Key。Jev 拒绝普通网页跨域直连,因此改由获授权的本机扩展后台请求。模型推理在所选 API 进行,评分、棋盘和报告仍在网页执行,不使用云中转。
| 提示 | 原因与处理 |
|---|---|
| network_or_cors | 浏览器无法读取响应,可能是 CORS、连接失败或重定向被拒。请检查浏览器开发者工具的网络/控制台;让服务商允许本站 Origin、POST 方法及 Authorization、Content-Type 请求头。浏览器不会向网页暴露所有网络错误详情。 |
| http_401 / http_403 | 接口拒绝鉴权或访问。检查 Key、模型权限和账号限制。 |
| http_429 | 服务商限流或额度不足。等待或检查额度后重新运行。 |
| timeout | 超过配置的等待时间。检查服务或增加超时后重新运行。 |
| invalid_json / invalid_answer | 返回格式不符合所选适配器。OpenAI 兼容接口必须在 message.content 返回单个大写 A/B/C/D,不能包含解释。 |
连接、鉴权、限流和超时错误会停止该 API 的后续请求,其他已配置 API 继续。未发送的题不算答错,不自动重试。没有有效答案时显示“未获得有效答案”,下载的是失败诊断,不是完整能力评测;不要把它理解为模型正确率为零。部分完成的测试只能导出部分结果。
Key 与数据如何处理
- 不将 Key 或评测结果写入 Cookie、localStorage、sessionStorage、IndexedDB、数据库或分析服务。运行开始后清空输入框,结束后释放运行器中的 Key;离开页面后未下载的状态丢失。其他浏览器扩展和密码管理器不在本站控制范围内。
- 没有云端评测后端或云 API 代理。本机扩展使用 Service Worker 发起请求。Cloudflare 托管静态文件,并可能注入 Web Analytics 收集访问及性能指标;应用不会向其发送 Key、模型输入输出或评测成绩。
- 模型服务商会收到你的 Key、题目、IP 和普通请求元数据,其隐私政策及费用适用。请求不带浏览器 Cookie 和 Referer,拒绝重定向,不把密钥放在 URL。
- 导出在浏览器生成,包含题目、答案、接口地址、模型名、时间与脱敏响应,可选 PNG 题卡。响应中匹配本接口 Key 的内容会被清除;不导出 Authorization 请求头。分享文件由你决定。
动态题库与复现
题库统一在 GitHub 仓库维护。打开页面或点击“刷新题库”会获取版本化目录,再验证题目结构和 SHA-256。兼容的题库更新无需重新发布网站,正在运行的评测固定使用已加载版本。远程目录无法读取时,页面明确标为内置快照;题目校验失败会阻止运行。
每次运行随机抽取不重复原始题,并平衡题套和题型。同一批对比的所有 API 使用完全相同的题号与选项顺序。JSON 和 Markdown 记录种子、目录和数据哈希、来源地址及完整题号。高级设置可填写种子,以相同题库版本和设置复现;只有相同种子下短版和中版才构成嵌套样本。长版最多抽 50 道原始题,避免题库扩容后调用量意外增长。
题库下载是公开 GET,不携带 API Key 或 Cookie。模型密钥仍只发往用户指定的模型接口。目录与题目接口协议可供后续 HTTP 服务复用。
如何运行与比较
- 选择接口格式,填写 Base URL、模型、Key 和输入模式,并确认信任接口及接受费用。一个 API 可直接运行。
- 多个 API 分别点击“将此 API 加入对比”,最多八组。模型或模式可以不同,每个 Key 只关联自己的接口。
- 选择题库、题套及短/中/长版。大题库分别为 5 / 15 / 50 道;十题题套或试验题组为 3 / 6 / 10 道。默认一轮,高级选项可用三种固定选项顺序重复,调用量乘三。
- 保持标签页打开。请求串行执行,每题轮换先请求的 API,一题一次,不重试,不反馈历史答案或判分。
- 下载报告、JSON、CSV 或证据包。报告含数据表和 Mermaid 图表,由规则生成,不额外调用模型。相同种子下,短版和中版是嵌套样本,不能合并成独立题数。
中文界面与英文题库
切换语言只影响界面,不翻译题干、候选项、模型输入或原始记录。10 道微积分试验题独立于扩展题库。扩展微积分有 10 类模板、五组参数,共 50 道题;情景题涵盖并行安排、前置条件、逻辑、排序与计划变更,共 50 道题。两套大题库各有三种固定选项顺序,仍分别只有 50 道独立题。
题库提供答案与来源哈希,运行前会核对文件哈希。答案经过原实验的符号运算或独立规则检查,但难度没有外部标定,不是防作弊榜单。标准答案和解析不会进入模型请求,仅在返回后用于判分。
四选一题目的输入和适配器
- 文本:通用指令、题号、题型、题干及四个选项。
- 仅图像:通用指令与未判分 PNG 题卡,题干和选项仅在图中。
- 图文:同题两种输入,不是等 token 对比。
- Jev:
/systemoneChoice 格式,仅文本。 - OpenJev:
/decide,发送 premise、四个字母候选及可选 image_base64;模型由服务端决定。 - OpenAI 兼容:
/chat/completions,stream=false、max_tokens=128,温度使用服务商默认值。必须返回单字母。并非所有自称兼容的接口都接受相同字段。
题卡是浏览器生成的 900 像素宽 Canvas,高度随题面调整,正文 22 像素。PNG 是题卡留证,不是操作系统截图,也不是 trusted 鼠标点击证据;不能与早期 Mac/Playwright 实验直接合并排名。
正确率与计时口径
- 主正确率=答对数 / 已计分请求数;接口失败和无效响应保留在分母中。有效回答正确率只作补充。若一个有效答案都没有,界面显示“—”,不把连接失败包装为模型成绩。
- 未发送题目不计错;用户取消的请求保留记录,但不计入正确率和耗时。部分运行不宣布完整评测胜者。
- API 耗时包括本机扩展通信,从调用前开始,到读完响应、解析和验证答案结束,包含网络与服务处理,不是模型内部思考时间。失败耗时计入均值/P50/P95;另列成功均值。分位数采用线性插值。
- 逐题记录 UTC 时间、输入准备、题卡留证和整题耗时。表格刷新与下载不包含在整题时间内。接口返回的前向时间单独记录。
- 只比较题库版本、题目、轮次和长度相同的结果;硬件、网络、服务默认参数并未控制,不据此宣称通用能力排名或统计显著性。
本地模型
线上 HTTPS 页面仅接受 HTTPS API。使用 HTTP localhost 模型时,可下载源码,解压后运行 python3 -m http.server 8788 --bind 127.0.0.1,打开 http://127.0.0.1:8788/?lang=zh。模型服务需要允许这个准确来源。不同端口也属于跨域;本地运行网站不会自动解除 CORS。
检查与下载
真实历史示例使用此前 1,500 次实测的汇总和 24 条选定记录,不是访客数据或当前浏览器运行成绩。你也可以检查接口适配代码、评测运行器与内置快照哈希。开发者工具中模型请求应只发送到你填写的接口。
模型对弈:棋类
打开模型对弈 →。所有席位均由模型控制。添加两个模型席位配置,也可让同一模型通过独立配置占据两个席位;各模型在同一棋盘轮流落子,每次仅使用当前模型席位的接口、密钥和输入模式。规则引擎按固定顺序给出全部合法走法,不提供棋力搜索、走法评分或候选筛选。等待 API 不会推进棋盘或棋钟。
短版为 2 局,每局最多 32 个半回合;中版为 6 局,每局最多 128 个半回合;长版为 10 局,每局最多 256 个半回合。一个半回合就是一个模型席位的一步,每两局交换双方席位。所有对局均使用标准开局:种子只标记轮换组,不随机改变开局。重复标准开局不等于抽取了多个独立开局样本。
规则版本为 chess-js-1.4-auto-draw-v1。将杀、逼和、王车易位、吃过路兵及四种升变遵循 chess.js 1.4.0;三次重复、50 步规则(连续 100 个半回合没有兵走动或吃子)及规则库识别的子力不足会自动判和。这是本站的自动判和版本,与完整的 FIDE 申请和棋程序有差异。不提供停着或认输动作。
其他已支持规则
- 9 路围棋:
go9-area-playout-superko-v1,黑先白贴 7.5,禁止自杀与重复全盘局面。连续两次停一手后,按棋盘现状统计面积,不自动裁定死子;请在停着前实际提掉死子。此简化版本不包含赛事死子协议或停着贴子,坐标 a–i 包含 i。可查看实现及其存在差异的AGA 规则参考。 - 中国象棋:
xiangqi-standard-threefold-v1,红先,校验七类棋子、九宫河界、马腿象眼、炮架及将帅照面。将死与困毙均判负;第三次同棋盘同走方重复自动和,不裁定长将长捉,不增加无吃子和棋。坐标 a0–i9。可查看实现及WXF 走法规则。 - 中国跳棋:
checkers-2p-standard-hop-v1,121 孔六角星,两个相对营地各 10 枚。可走相邻一步,或连续跳过相邻棋子,不吃子、不长跳。其他空营地可经过或停留;进入目标营地后不能退出,包括连跳途中。实际占满 10 个目标孔才胜,阻挡不触发换子或提前胜利。三次重复、无合法动作依本站规则判和;同起终点的等价路线合并为一个动作,并保留最短规范路径。采用轴向 q,r 坐标。可查看实现和Hasbro 说明。
规则和结果按游戏分别记录版本,不能跨游戏、跨计分变体合并胜率。规则引擎不按棋力筛选动作。国际象棋导出 UCI 标识,其余游戏保留各自坐标标识和完整动作历史。
动作选择与请求预算
- 全部合法走法:
flat-legal-actions-v1在一次请求中发送完整候选列表。超过接口配置的候选容量时,在发送前停止,不会截断列表。 - 每组八个:
grouped-choice-v1按固定顺序把合法走法分为每组最多八个,让模型逐组选择,再把各组结果继续分组比较,直到剩下一个。只有一个候选的组直接晋级、不调用模型。各级都使用相同局面与公开历史,不追加之前的模型回复或解释。这个流程会改变决策方式和结果,应与全量单次协议分开比较。 - 每步上限:本站每次决策最多允许 64 个子请求,发起首个请求前先计算完整需求。候选容量或请求预算不足时直接停止该步,不丢弃候选。默认每次候选容量为 Jev 255、OpenJev 8、OpenAI 兼容接口 255;Jev 不能超过 255。其他接口只有在服务端确实支持时才应提高配置。
- 强制走法:只有一个合法动作时,两种协议都会直接执行并记录,模型请求数为零;不能把它算作模型作出的选择。例如 20 个候选,八个一组通常需要 4 次请求,全量协议需要 1 次。
模型输入、结果与留证
文本模式发送所属座位、完整当前公开观察、规则,以及带中性走法描述的合法动作标识。图文模式增加同局面的 PNG。纯图像模式的文字仅包含规则、候选标识及描述、最少的游戏与座位回合标识,不含 FEN、棋盘布局或可重建棋盘的棋谱历史;完整棋盘、特殊走法权利、计数器和全部动作历史均在 PNG 中,图片随历史长度增高,不截断棋谱。Jev 仅支持文本。两种表达的输入量不同,不是等量输入对照。
只有自然结束的对局计入胜、平、负。达到行动上限、取消、容量不足和 API 失败分别保留,不算输棋或平局。只有交换席位的两局都自然结束,整组才进入配对得分。因为对局需要双方,任一接口失败就停止整批,不自动重试。不能把限步局写成平局,也不能用连接失败衡量棋力;小样本结果不是 Elo 等级分。
每次决策记录前后状态、动作标识、合法候选、状态哈希、UTC 时间,以及准备、请求、行动、留证和完整步骤耗时。分组决策另外记录各子请求的层级、组号、候选、精确请求、已校验选择、错误和耗时。报告区分单次请求延迟与一次决策的请求总耗时,给出均值、中位数和第 95 百分位。可选 PNG 是浏览器生成的留证,不是操作系统截图,也不证明鼠标坐标定位能力。
评测与导出均在当前标签页执行。密钥经过本机扩展发给对应模型接口,不经过 Chan Lab 代理,不保存到浏览器存储或报告。对弈响应仅保留已校验动作和可用的数值耗时,丢弃原始服务响应和鉴权头。扩展须获接口域名权限,服务商仍可能收费。可检查请求适配器、对局运行器和规则实现。
2048 与贪吃蛇
打开游戏评测 →。browser-games-v1 协议给每个 API 独立环境,使用相同的每局种子。短档为 1 局、最多 32 步;中档为 3 局、每局最多 100 步;长档为 5 局、每局最多 200 步。接口按步轮流请求,并轮换先后顺序,等待模型时游戏暂停。
2048 保留历史引擎的生成与合并规则,到达 2048 或无合法动作时结束。贪吃蛇使用 10 × 10 网格,初始长度 3、方向向右,每吃一个食物得 1 分。只禁止反向,不过滤会碰撞的方向;未吃食物时尾格同时腾空,致死动作也计一步,无饥饿规则。
文本和图像输入只暴露当前棋盘与规则,不暴露种子、随机数状态或未来食物。PNG 是浏览器绘制的棋盘留证,不是操作系统截屏或坐标点击证明。每步记录前后状态、UTC 时间及请求、准备、操作、留证、总耗时。报告仅对共同种子的完整局做配对比较;失败、取消和未运行局单列,HTTP 耗时包含实际测量的失败与取消请求。
少量游戏轨迹只能用于诊断。相同种子保证起点可复现,动作不同后棋盘仍会分叉。贪吃蛇原地循环可能提高限定步数内的存活量,需结合食物得分判断。请保持标签页打开并在离开前导出;不同标签页不共享连接密钥或结果。
德州扑克 · 2–10 个模型席位
复用 @hivetech/poker-engine 1.0.1,保留 MIT 许可。每局为独立一手,每席位重置 200 筹码,盲注 1/2,无抽水。候选包括弃牌、过牌、跟注及最小、半池、满池、全押金额,不枚举每个整数下注。模型输入不含种子、牌堆或其他人的底牌,只保留最近八个公开动作;完整审计历史和发牌保留在本地导出中,不发送给模型。完整 N 席轮换组复用同一种子发牌。主要结果为净赢筹码及净赢大盲,错误和停止手牌不计分。游戏仅使用模拟筹码,不涉及真实资金下注。