{"id":"mb-20261021-42dd2d","kind":"deep","title":"打分表的地板效应：为什么双重差分能在大模型评测里凭空制造显著偏见？","summary":"哥伦比亚大学与约翰霍普金斯大学的研究团队在审计教学大模型考官时发现，当打分量表存在 1 分下限时，整体更严的打分尺度会被量表边界不对称截断，从而让双重差分模型凭空计算出高达 0.378 分的虚假交互偏好（p=0.002）。反事实重构证明，该显著偏见的 85% 纯粹由量表地板效应制造。","body":"如果一场打分的最低分是 1 分，哪怕回答再差，分数也跌不穿这个底。\n就是这么一个看似普通的规则，最近把不少做大模型评测的研究人员给坑惨了。\n他们在审查大模型考官的偏见时，抓到了一个高达 0.378 分的偏好差异。\n统计学里的显著性检验，算出来的 p 值只有 0.002。\n在学术研究里，p 小于 0.01 基本上被当作板上钉钉的实锤。\n换成普通团队，这时候大概已经在论文标题里宣布抓到了大模型的隐形偏见。\n但哥伦比亚大学和约翰霍普金斯大学的研究人员多核算了一步。\n他们发现，这个所谓的显著偏见，有 79% 到 85% 完全是打分表的地板自己撞出来的。\n大模型本身根本没有偏心，纯粹是统计公式在边界上被卡歪了。\n\n这件事情是怎么发生的？\n现在评估各种 AI 系统的教学或回答质量，学术界很流行让大语言模型来当考官。\n但怎么知道考官自己公不公正？\n为了测出考官有没有偏见，研究人员通常会借用经济学里的经典工具：双重差分。\n这个工具的设计思路很巧妙。\n在同一个教学题目下，准备两份候选回答。\n一份是循循善诱、提供逐步引导的优质回答；\n另一份是缺乏启发、直接甩出最终结论的生硬回答。\n接着，研究人员把提问学生的背景换一换。\n一次告诉考官这是个初学者，另一次告诉考官这是个尖子生。\n考官面对初学者时，会给两份回答打分，算出两者之间的分差。\n面对尖子生时，再打一次分，算出另一个分差。\n最后，用面对尖子生时的分差，减去面对初学者时的分差。\n这就是双重差分，差分之后的差分。\n\n为什么大家这么信任这套方法？\n因为在理想的数学假设里，只要考官对所有回答有同等的系统倾向，相减两次就会彻底抵消。\n比如考官面对尖子生时整体标准收紧，对所有回答都无差别地少给 0.3 分；\n或者考官天生偏爱长文本，给长回答都多加 0.5 分。\n只要加减分是一视同仁的，经过两次相减，这个共同的平移量就会被消得干干净净。\n大家一直默认，双重差分自带天然的抗干扰能力。\n即便打分表有 1 到 5 分的上下限，分数碰到边界被截断，大家也觉得这顶多会削弱真实的差异，绝不可能凭空创造出新的效应。\n\n但数学在这里开了一个玩笑。\n当考官面对尖子生时，确实可能整体打分更严，在暗中下调了所有回答的得分。\n假设考官对两个回答一律下调 0.3 分。\n在考官心里，它对两份回答的相对偏好完全没变，差值依然是零。\n可是在一张 1 到 5 分的打分表上，两个回答站的位置截然不同。\n那份循循善诱的优质回答，原本得分是 4.2 分，离天花板和地板都很远。\n扣掉 0.3 分之后，它顺畅地滑落到了 3.9 分，整整 0.3 分的降幅被完完整整地记录在案。\n但那份生硬回答本来就很糟，原始得分只有 1.1 分，几乎贴着地板。\n扣掉 0.3 分之后，它的理论得分其实是 0.8 分。\n可是打分表有硬性规定，最低只能给 1 分。\n于是它的分数在 1.0 分被地板死死托住，实际记录到的降幅只有 0.1 分。\n剩下的 0.2 分降幅，被量表的地板生生给吃了。\n\n这时候再把两个降幅拿去算双重差分。\n一个降了 0.3 分，一个只降了 0.1 分。\n两者一相减，凭空算出了 0.2 分的交互效应。\n在不知情的审计人员眼里，这就变成了一份严肃的结论：\n考官在面对尖子生时展现出了显著的偏见，收窄了对启发式教学的奖励。\n这个效应并不来自模型的心思。\n它完全是量表的地板把一部分降幅拦在门外后，生生憋出来的算术幻觉。\n\n哥伦比亚大学的樊书翌和约翰霍普金斯大学的邓博元等学者，在刚刚入选 NeurIPS 2026 新研讨会的论文里，完整记录了这个过程。\n他们对一个冻结的教学大模型考官，进行了 990 次严格的预注册调用。\n主要分析指标并没有测出显著的偏好漂移。\n但在二级指标里，关于培养学生受挫探索能力的打分项上，跳出了那个诱人的正 0.378 分。\np 值精确落在 0.002。\n研究团队没有急着发喜报，他们回过头做了一个反事实重构。\n假设考官对两个回答的真实偏好差异严格为零，仅仅保留考官整体收紧的打分尺度，以及那个 1 分的打分下限。\n单凭量表地板对降幅的不对称拦截，就复刻出了 0.321 分的差距。\n整个所谓显著偏见的 85%，在没有任何真实偏好变化的前提下，被地板效应瞬间造了出来。\n剔除掉地板的物理拦截之后，剩下的残差只有微弱的 0.057 分，在统计上根本无法拒绝零假设。\n\n更有讽刺意味的是，测试素材质量越高，这种数学陷阱反而踩得越深。\n因为做评测的工程师总希望对比鲜明，挑出来的优质回答往往接近 5 分满分，拙劣回答往往贴着 1 分底线。\n两份回答被天然地推向了量表的两个极端。\n只要考官的严格程度出现哪怕一丝微小的整体漂移，两极遭遇的截断不对称就会被瞬间放大，凭空制造出一大堆显著的虚假效应。\n\n其实在计量经济学里，非线性双重差分的截断问题早在二十年前就被反复讨论过。\n只是当这套工具被大模型评测领域顺手借来给 AI 测偏见时，大家常常忘了检查打分表本身的物理边界。\n在给大模型量体温之前，可能得先确认一下，水银柱是不是早就顶到了玻璃管的底。","topic":"打分表的地板效应：为什么双重差分能在大模型评测里凭空制造显著偏见？","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-21 10:33:16","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"打分表的地板效应：为什么双重差分能在大模型评测里凭空制造显著偏见？","description":"哥伦比亚大学与约翰霍普金斯大学的研究团队在审计教学大模型考官时发现，当打分量表存在 1 分下限时，整体更严的打分尺度会被量表边界不对称截断，从而让双重差分模型凭空计算出高达 0.378 分的虚假交互偏好（p=0.002）。反事实重构证明，该显著偏见的 85% 纯粹由量表地板效应制造。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261021-42dd2d","markdown_url":"https://mubeitech.com/deep/mb-20261021-42dd2d/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261021-42dd2d","published_at":"2026-10-21T10:33:16Z"}