bench v7

它测什么

测最坏保证、抗背题、空间作图、指令遵循这类硬指标,不测聊天顺不顺口。跑完附带渠道鉴定:训练截止到哪个季度、有没有偷偷联网、是不是 Codex 反代、有没有降智。

IQ = round(100 + 90 × (加权通过率 − 0.5))

计分单元

题干、判卷和参数生成见 题库

单元题目维度
Q1安眠药认知反射6
Q2洗车认知反射5
Q3球拍与球(经典)认知反射6
Q4红绿色盲多步科学演绎14
Q5船锚水位多步科学演绎10
Q6经典糖果题最坏情况保证16
Q7袜子配对(参数化)最坏情况保证16
Q8糖果题变体抗记忆迁移16
Q9球拍与球(变体)抗记忆迁移6
Q10数列归纳模式归纳8
Q11字母类比模式归纳8
Q12骑士与无赖(参数化)形式逻辑10
Q13五人排队(参数化)约束满足10
Q14注排水数量关系8
Q15字母计数细节注意5
Q16鹈鹕骑车 SVG 动画空间作图14
Q17严格 JSON指令遵循5

维度权重

渠道鉴定

主测评之后 15 个探针,可开关,全部不计分。