前瞻经济学人 看懂未来新十年

打开APP

英国取消高考后,一位父亲发现AI打分系统致命漏洞 其儿子差点错失剑桥大学

olivia chan

3

受疫情影响,去年夏天英国高考A-level和中考GCSE被取消。之后,英国考试监管机构公布了一套评定成绩的“标准化模型”——一种旨在避免分数膨胀的神秘算法。但是公众对该打分系统产生了质疑。

一位精通统计学的父亲,由于他担心自己的儿子可能会错失进入牛津大学或剑桥大学学习的机会,对该系统进行评估,结果正确地预测出“标准化模型”将导致39%的学生成绩被低估,而成绩差的学生受到的影响更大。

这为父亲名为Huy Duong,是三个孩子的父亲,也是一名IT顾问。

他的长子Thanh就读于马修·阿诺德学校(Matthew Arnold school),这是一所牛津地区大型非选择性综合学校,被教育标准局评为“好”。

聪明又具数学天赋的Thanh今年夏天应该参加A -level的数学、高等数学和化学等考试。他原本收到了剑桥大学工程学的录取通知,但这前提是他需要在A -level考试中获得两个a *和一个a -,这是一个非常高的要求,但无论是Thanh还是他父亲都认为这是完全可以实现的。

但是受疫情影响,英国实行封锁,A -level考试被迫取消了。Thanh的老师被要求根据各种模拟和评估来给学生打分,并被要求对学生在每门课上的表现从好到差进行排名。这些数据随后被输入Ofqual的计算机系统,旨在消除教师的偏见。

算法检查的结果与过去和预期的全国成绩分布没有太大的不同,降低了异常值。Ofqual安抚学生,称全国的成绩将“与前几年基本一致”,可能会稍微高一些。

但作为父亲,Duong想知道这对Thanh和他的同学们意味着什么。利用qual公开的关于其方法论的少量信息,以及他从物理学博士学位中获得的对统计学的理解,他分析了马修·阿诺德学校2017-2019年A-level数据。

最终得出的结论是,几乎没有机会能够同时满足个体公平双重标准和控制全国分数膨胀的学生打分方式。他警告教育特别委员会,39%的A*和D之间的成绩将低于教师的评估。

一个的周四上午,英国教育质量办公室(Ofqual)承认,全国近五分之二(39.1%)的学生看到他们的A-level成绩比老师估计的要低。

当天早上8点刚过,Thanh就查到了自己的成绩:数学得了A,高等数学得了A*,化学和物理得了A。然而未获得两个A*意味着他将错过了剑桥的录取。

这是一套“荒谬”的分数,他的父亲说:“[[Thanh]一直在考试中得了A*,在数学考试中两次都得了A*。而且数学比高等数学容易得多。他在英国数学挑战赛(一项全国性比赛)和数学奥林匹克竞赛中也取得了不错的成绩。”

“Ofqual想要控制分数膨胀,这很公平,”Duong说。“但他们有多大信心相信这样做不会 出现差池?”

他用一个类比来解释他对标准化的反对:“假设你有100辆车在高速公路上行驶,其中41辆超过了速度限制。出于道路安全的考虑,对41名超速驾驶的司机罚款是无可厚非的。

然而,假设在实际操作中,由于某种原因,测速器捕捉到违规车辆的几率为25%。结果,大约有10名被超速捕捉器捕捉到的司机根本没有超速,而是被错误地指控。什么样的民主社会会接受这种情况?这听起来像是统计数字的集体惩罚。”

qual继续坚持其标准化安排是“尽可能公平的,以促进学生按计划继续学习或就业”。周四,它发布了一份319页的文件,解释了它的方法。

但这些并没有让Thanh觉得舒坦,即使剑桥大学决定破格录取他。他说,打开公布成绩结果的电子邮件是一种“令人反胃的经历”。“这些成绩至少将对我们未来十年产生影响,例如毕业时找工作,虽然我承认我的情况不是最坏的……但这些成绩是不可靠的……”

译/前瞻经济学人APP资讯组

参考资料:https://www.theguardian.com/education/2020/aug/14/punishment-by-statistics-the-father-who-foresaw-a-level-algorithm-flaws


阅读全文
打开APP,享受沉浸式阅读体验

提问研究员

一键提问研究员,零距离互动交流

我要提问
1

App数据库能为你做什么?

看看用户怎么说

2

App问答能为你做什么?

看看用户怎么说

3

App报告能为你做什么?

看看用户怎么说

4

App文章能为你做什么?

看看用户怎么说

相关阅读