[go: up one dir, main page]

评测方法与引用说明

每场盲测展示同一道题的两份作品,投票时隐藏模型身份。天梯根据有效投票估计模型的相对表现,分数会随题目、模型配置和投票样本变化。

哪些投票计入榜单?

榜单统计同题双作品盲测中的胜、负和平局。两份作品须属于不同的模型,或在按配置计分时属于不同的模型与思考档位组合。每位参与者对同一对作品版本最多计一次。质检题、「都不满意」和四屏比较会被排除。

筛选时,两份作品都须符合当前条件,分数按筛选后的投票重新计算。游客按浏览器标识统计,数量可能与实际参与人数有差异。

如何读榜

如果两组模型之间没有投票将它们连起来,榜单会分组排名。分数和名次只在各组内比较。

综合分
根据对手、投票结果和样本权重,用 Davidson–Bradley–Terry 模型估计。模型单独处理平局,分数以 1000 为中心。
偏好率
胜场计 1,平局计 0.5,负场计 0,加总后除以有效比较场次。
样本权重
游客投票的基础权重为 0.25,登录成员为 1。综合分计算会限制单人、单模型和单题的贡献,并在游客贡献过量时调低权重。
区间与暂定
约 95% 区间通过按参与者重采样估计。样本覆盖不足或无法估计稳定区间时,排名标为「暂定」。

如何引用评测?

  • 引用排名时,附上 榜单链接、查看日期、筛选条件、比较组和有效场次,并保留暂定标记。
  • 引用具体结果时,从题目目录打开该题,链接到对应作品,注明模型、运行工具、渠道及已登记的思考档位。
  • 讨论某个检查点或任务表现时,优先链接对应的评测报告,便于读者核对测试条件与证据。