Chan Lab

浏览器评测方法 · 2026-09-22

知道自己在测什么。

Chan Lab 提供四选一答题、可复现的单机游戏和双模型国际象棋对弈。游戏环境、组装请求、判分、计时和生成报告均在你的浏览器运行;模型推理由你填写的 API 提供。这些测试不衡量模型自主浏览网页、定位鼠标坐标或执行现实任务的能力。

本机浏览器扩展

运行前需安装 Chan Lab Connector。每次运行先检查扩展连接和 API 域名权限,之后才传递 Key。Jev 拒绝普通网页跨域直连,因此改由获授权的本机扩展后台请求。模型推理在所选 API 进行,评分、棋盘和报告仍在网页执行,不使用云中转。

提示原因与处理
network_or_cors浏览器无法读取响应,可能是 CORS、连接失败或重定向被拒。请检查浏览器开发者工具的网络/控制台;让服务商允许本站 Origin、POST 方法及 Authorization、Content-Type 请求头。浏览器不会向网页暴露所有网络错误详情。
http_401 / http_403接口拒绝鉴权或访问。检查 Key、模型权限和账号限制。
http_429服务商限流或额度不足。等待或检查额度后重新运行。
timeout超过配置的等待时间。检查服务或增加超时后重新运行。
invalid_json / invalid_answer返回格式不符合所选适配器。OpenAI 兼容接口必须在 message.content 返回单个大写 A/B/C/D,不能包含解释。

连接、鉴权、限流和超时错误会停止该 API 的后续请求,其他已配置 API 继续。未发送的题不算答错,不自动重试。没有有效答案时显示“未获得有效答案”,下载的是失败诊断,不是完整能力评测;不要把它理解为模型正确率为零。部分完成的测试只能导出部分结果。

Key 与数据如何处理

动态题库与复现

题库统一在 GitHub 仓库维护。打开页面或点击“刷新题库”会获取版本化目录,再验证题目结构和 SHA-256。兼容的题库更新无需重新发布网站,正在运行的评测固定使用已加载版本。远程目录无法读取时,页面明确标为内置快照;题目校验失败会阻止运行。

每次运行随机抽取不重复原始题,并平衡题套和题型。同一批对比的所有 API 使用完全相同的题号与选项顺序。JSON 和 Markdown 记录种子、目录和数据哈希、来源地址及完整题号。高级设置可填写种子,以相同题库版本和设置复现;只有相同种子下短版和中版才构成嵌套样本。长版最多抽 50 道原始题,避免题库扩容后调用量意外增长。

题库下载是公开 GET,不携带 API Key 或 Cookie。模型密钥仍只发往用户指定的模型接口。目录与题目接口协议可供后续 HTTP 服务复用。

如何运行与比较

  1. 选择接口格式,填写 Base URL、模型、Key 和输入模式,并确认信任接口及接受费用。一个 API 可直接运行。
  2. 多个 API 分别点击“将此 API 加入对比”,最多八组。模型或模式可以不同,每个 Key 只关联自己的接口。
  3. 选择题库、题套及短/中/长版。大题库分别为 5 / 15 / 50 道;十题题套或试验题组为 3 / 6 / 10 道。默认一轮,高级选项可用三种固定选项顺序重复,调用量乘三。
  4. 保持标签页打开。请求串行执行,每题轮换先请求的 API,一题一次,不重试,不反馈历史答案或判分。
  5. 下载报告、JSON、CSV 或证据包。报告含数据表和 Mermaid 图表,由规则生成,不额外调用模型。相同种子下,短版和中版是嵌套样本,不能合并成独立题数。

中文界面与英文题库

切换语言只影响界面,不翻译题干、候选项、模型输入或原始记录。10 道微积分试验题独立于扩展题库。扩展微积分有 10 类模板、五组参数,共 50 道题;情景题涵盖并行安排、前置条件、逻辑、排序与计划变更,共 50 道题。两套大题库各有三种固定选项顺序,仍分别只有 50 道独立题。

题库提供答案与来源哈希,运行前会核对文件哈希。答案经过原实验的符号运算或独立规则检查,但难度没有外部标定,不是防作弊榜单。标准答案和解析不会进入模型请求,仅在返回后用于判分。

四选一题目的输入和适配器

题卡是浏览器生成的 900 像素宽 Canvas,高度随题面调整,正文 22 像素。PNG 是题卡留证,不是操作系统截图,也不是 trusted 鼠标点击证据;不能与早期 Mac/Playwright 实验直接合并排名。

正确率与计时口径

本地模型

线上 HTTPS 页面仅接受 HTTPS API。使用 HTTP localhost 模型时,可下载源码,解压后运行 python3 -m http.server 8788 --bind 127.0.0.1,打开 http://127.0.0.1:8788/?lang=zh。模型服务需要允许这个准确来源。不同端口也属于跨域;本地运行网站不会自动解除 CORS。

检查与下载

真实历史示例使用此前 1,500 次实测的汇总和 24 条选定记录,不是访客数据或当前浏览器运行成绩。你也可以检查接口适配代码、评测运行器与内置快照哈希。开发者工具中模型请求应只发送到你填写的接口。

模型对弈:棋类

打开模型对弈 →。所有席位均由模型控制。添加两个模型席位配置,也可让同一模型通过独立配置占据两个席位;各模型在同一棋盘轮流落子,每次仅使用当前模型席位的接口、密钥和输入模式。规则引擎按固定顺序给出全部合法走法,不提供棋力搜索、走法评分或候选筛选。等待 API 不会推进棋盘或棋钟。

短版为 2 局,每局最多 32 个半回合;中版为 6 局,每局最多 128 个半回合;长版为 10 局,每局最多 256 个半回合。一个半回合就是一个模型席位的一步,每两局交换双方席位。所有对局均使用标准开局:种子只标记轮换组,不随机改变开局。重复标准开局不等于抽取了多个独立开局样本。

规则版本为 chess-js-1.4-auto-draw-v1。将杀、逼和、王车易位、吃过路兵及四种升变遵循 chess.js 1.4.0;三次重复、50 步规则(连续 100 个半回合没有兵走动或吃子)及规则库识别的子力不足会自动判和。这是本站的自动判和版本,与完整的 FIDE 申请和棋程序有差异。不提供停着或认输动作。

其他已支持规则

规则和结果按游戏分别记录版本,不能跨游戏、跨计分变体合并胜率。规则引擎不按棋力筛选动作。国际象棋导出 UCI 标识,其余游戏保留各自坐标标识和完整动作历史。

动作选择与请求预算

模型输入、结果与留证

文本模式发送所属座位、完整当前公开观察、规则,以及带中性走法描述的合法动作标识。图文模式增加同局面的 PNG。纯图像模式的文字仅包含规则、候选标识及描述、最少的游戏与座位回合标识,不含 FEN、棋盘布局或可重建棋盘的棋谱历史;完整棋盘、特殊走法权利、计数器和全部动作历史均在 PNG 中,图片随历史长度增高,不截断棋谱。Jev 仅支持文本。两种表达的输入量不同,不是等量输入对照。

只有自然结束的对局计入胜、平、负。达到行动上限、取消、容量不足和 API 失败分别保留,不算输棋或平局。只有交换席位的两局都自然结束,整组才进入配对得分。因为对局需要双方,任一接口失败就停止整批,不自动重试。不能把限步局写成平局,也不能用连接失败衡量棋力;小样本结果不是 Elo 等级分。

每次决策记录前后状态、动作标识、合法候选、状态哈希、UTC 时间,以及准备、请求、行动、留证和完整步骤耗时。分组决策另外记录各子请求的层级、组号、候选、精确请求、已校验选择、错误和耗时。报告区分单次请求延迟与一次决策的请求总耗时,给出均值、中位数和第 95 百分位。可选 PNG 是浏览器生成的留证,不是操作系统截图,也不证明鼠标坐标定位能力。

评测与导出均在当前标签页执行。密钥经过本机扩展发给对应模型接口,不经过 Chan Lab 代理,不保存到浏览器存储或报告。对弈响应仅保留已校验动作和可用的数值耗时,丢弃原始服务响应和鉴权头。扩展须获接口域名权限,服务商仍可能收费。可检查请求适配器、对局运行器和规则实现。

2048 与贪吃蛇

打开游戏评测 →。browser-games-v1 协议给每个 API 独立环境,使用相同的每局种子。短档为 1 局、最多 32 步;中档为 3 局、每局最多 100 步;长档为 5 局、每局最多 200 步。接口按步轮流请求,并轮换先后顺序,等待模型时游戏暂停。

2048 保留历史引擎的生成与合并规则,到达 2048 或无合法动作时结束。贪吃蛇使用 10 × 10 网格,初始长度 3、方向向右,每吃一个食物得 1 分。只禁止反向,不过滤会碰撞的方向;未吃食物时尾格同时腾空,致死动作也计一步,无饥饿规则。

文本和图像输入只暴露当前棋盘与规则,不暴露种子、随机数状态或未来食物。PNG 是浏览器绘制的棋盘留证,不是操作系统截屏或坐标点击证明。每步记录前后状态、UTC 时间及请求、准备、操作、留证、总耗时。报告仅对共同种子的完整局做配对比较;失败、取消和未运行局单列,HTTP 耗时包含实际测量的失败与取消请求。

少量游戏轨迹只能用于诊断。相同种子保证起点可复现,动作不同后棋盘仍会分叉。贪吃蛇原地循环可能提高限定步数内的存活量,需结合食物得分判断。请保持标签页打开并在离开前导出;不同标签页不共享连接密钥或结果。

德州扑克 · 2–10 个模型席位

复用 @hivetech/poker-engine 1.0.1,保留 MIT 许可。每局为独立一手,每席位重置 200 筹码,盲注 1/2,无抽水。候选包括弃牌、过牌、跟注及最小、半池、满池、全押金额,不枚举每个整数下注。模型输入不含种子、牌堆或其他人的底牌,只保留最近八个公开动作;完整审计历史和发牌保留在本地导出中,不发送给模型。完整 N 席轮换组复用同一种子发牌。主要结果为净赢筹码及净赢大盲,错误和停止手牌不计分。游戏仅使用模拟筹码,不涉及真实资金下注。