『人工智能』AI能预测一个家庭的命运?新研究发现:用上15年的数据也“说不准”


不少机构可能会有一种设想:如果能够理解不同因素如何改变某人的生活轨迹 , 那么他们可以提出干预措施 , 加以引导 , 从而顺利实现提升就业率、降低犯罪率等一系列结果 。 但这些机构一直以来希望借助AI帮他们做到这一点的想法 , 可能在现实中分分钟都会被打脸 。
在一项大规模的挑战赛中 , 上百位研究人员试图利用15年的数据来预测儿童和家庭的结果 , 但至今却没有人能够做到有意义的准确性 。
『人工智能』AI能预测一个家庭的命运?新研究发现:用上15年的数据也“说不准”
本文插图

近年来 , 科学家们越来越寄望于通过机器学习处理大量数据 , 来为社会行为产生更精确的预测 。 在他们的设想里 , 与人类或更基本的统计分析相比 , 使用有关给定情况的足够数据的算法——将做出更准确的预测 。
不过 , 发表在《美国国家科学院院刊》(PNAS)上的一项新研究 , 对AI预测方法的有效性提出了质疑 。
『人工智能』AI能预测一个家庭的命运?新研究发现:用上15年的数据也“说不准”
本文插图

在这项研究挑战赛中 , 普林斯顿大学的三位社会学家要求数百名研究人员使用4000多个家庭的近13,000个数据点 , 为儿童、父母和家庭预测6种生命结果 。 结果 , 不管他们使用简单的统计数据还是最先进的机器学习 , 都没有一个研究人员能够达到合理的精度水平 。
“这项研究确实凸显了一个理念——即归根结底 , 机器学习工具并不是万能的 。 ”非营利组织Partnership on AI的研究负责人Alice Xiang表示 。
研究人员使用了一项由普林斯顿大学社会学和公共事务学教授 , 新论文的主要作者之一萨拉·麦克拉纳汉(Sara McLanahan)领导的为期15年的社会学研究数据 , 该研究名为《脆弱的家庭与儿童福利研究》(the Fragile Families and Child Wellbeing Study) 。 最初的研究试图了解——未婚父母所生子女的生活随着时间的推移会发生怎样的改变 。
然后 , 麦克拉纳汉(McLanahan)和她的同事马修·萨尔格尼克(Matthew Salganik)和伊恩·伦德伯格(Ian Lundberg)设计了一个挑战 , 以在最后阶段将他们认为具有社会学重要性的6个结果进行集体预测 。
这其中包括:孩子们在学校的平均成绩;他们的“毅力”水平;以及他们家庭的总体贫困水平 。 来自各大学的挑战参加者仅仅获得部分数据来训练他们的算法 , 而组织者则保留了一些数据进行最终评估 。 在5个月的过程中 , 包括计算机科学家、统计学家和计算社会学家在内的数百名研究人员提交了他们的最佳预测策略 。
结果没有一个团队/个人可以实现高精度的预判 。 “您无法基于任何特定研究人员或任何特定机器学习或AI技术的失败来解释它 , ”社会学教授Salganik说 。 “最复杂的机器学习技术 , 在简单得多的方法面前可能不堪一击 。 ”
『人工智能』AI能预测一个家庭的命运?新研究发现:用上15年的数据也“说不准”
本文插图

事实上 , 对于那些长期研究使用AI来影响社会行为的专家来说 , 这一结果并不令人惊讶 。 Alice Xiang表示 , 即使是刑事司法系统中最准确的风险评估算法 , 准确度最高也只能达到60%-70% 。
同样 , 研究反复表明 , 在算法评估风险或选择将资源定向到哪里的情况下 , 简单、可解释的算法通常具有与深度学习等高端技术相同的预测能力 。 所以 , 过程似乎变得有点大费周章了 。
另外 , 也有一些研究人员指出 , 为社会学研究目的而收集的数据 , 与决策中通常分析的数据不同 。 这意味着这些机器学习的预测算法 , 很多时候可能根本派不上用场 。
AI Now研究所的政策总监Rashida Richardson研究了AI在社会影响方面发挥的作用 , 他还指出了对预测问题的构架方式的关注 。 她说 , 例如 , 一个孩子是否有“毅力” , 这是一个内在的主观判断 , 即研究表明它是“衡量成功和绩效的种族主义构想” 。


推荐阅读