026|ICML2018论文精读：聊一聊机器学习算法的“公平性”问题
2018-08-06洪亮劼来自北京
《AI技术内参》
在上一次的分享里，我们介绍了今年ICML大会的一篇最佳论文，这是一篇非常优秀的机器学
习和计算机安全相结合的论文。这篇论文剖析了目前在白盒攻击的场景下，攻击方如何绕过一
种叫作“混淆梯度”的情况，来实现有效攻击的目的。
今天，我们来分享ICML2018的另一篇最佳论文，题目DelayedImpactofFairMachine
Learning。这篇论文主要探讨了“公平”（Fair）在机器学习中的应用。论文的五位作者都来
自加州大学伯克利分校。
论文的背景
这篇论文所探讨的主题是机器学习的“公平性”问题。近些年，这个主题受到了学术界越来越
多的关注，但是对于普通的人工智能工程师和数据科学家来说，这个议题依然显得比较陌生和
遥远。所以，我先来简单梳理一下这方面研究的核心思想。
机器学习有一个重要的应用，就是在各类决策场景中提供帮助，例如申请贷款、大学入学、警
察执勤等。一个不可否认的特点是，这些决策很有可能会对社会或者个人产生重大的不可逆转
的后果。其中一个重要的后果就是，针对不同的人群，有可能会产生意想不到的“不公平”的
境况。比如，有一些普遍使用的算法，在帮助警察判断一个人是否可能是罪犯的时候，系统会
认为美国黑人相对于白人更容易犯罪，这个判断显然存在一定的问题。
机器学习研究者已经注意到了这种算法中的“公平”问题，并且开始探讨没有任何限制条件的
机器学习算法，是否会对少数族裔（UnderrepresentedGroup）产生不公平的决策判断。基
于这些探索，研究者们提出了一系列的算法，对现有的各种机器学习模型增加附带了公平相关
的限制条件，希望通过这种方法来解决各种不公平定义下的决策问题。
论文的主要贡献
这篇论文从理论角度展开讨论，基于什么样假设和条件下的具有公平性质的机器学习算法，在
决策场景中能够真正为少数族群带来长期的福祉。值得注意的是，这里所谓的少数族裔是一个
抽象化的概念，指的是数目相对较少的，或者在某种特性下比较少的一组数据群体。这篇论文
并不直接讨论社会学意义下的少数族群的定义。
作者们主要是比较两个人群A和B，在不同的公平条件下，看这两组人群的某种“效用”
（Utility）的差值会发生什么变化。这个差值可以是正的，没变化或者是负的。
论文的主要结论是，在不同的公平条件下，效用差值会有各种可能性。这其实是一个非常重要
的结论。有一些公平条件，直觉上我们感觉会促进少数族群的效用，但这篇论文向我们展示
了，即便出发点是好的，在某些情况下，效用差值也可能是负的。
除此以外，这篇论文还探讨了“测量误差”（MeasurementError）对效用差值的影响。作
者们认为测量误差也应该被纳入整个体系中去思考公平的问题。
需要指出的是，论文的分析方法主要建立在时序关系的“一步预测”（OneTimeEpoch）基
础上的。也就是说，我们利用当前的数据和模型对下一步的决策判断进行分析，并不包括对未
来时间段所有的预测。从理论上说，如果在无限未来时间段的情况下，结论有可能发生变化。
论文的核心方法
这篇文章的核心思路是探讨针对人群A和B所采取的一种“策略”（Policy），是怎么样影
响这两组人群的效用差别的。如果某种策略会导致某个群体的效用差别为负，那么我们就说这
个策略对群体产生了“绝对损坏”（ActiveHarm）作用；如果效用差别是零，就说明这个策
略对群体产生了“停滞”（Stagnation）作用；如果效用差别是正的，就说明这个策略对群体
产生了“推动”（Improvement）作用。
除此以外，我们认为有一种不考虑人群A和B具体特征的期望最大化效用的策略，称之为
“最大化效用”（MaxUtil）。这种策略其实就是在没有约束条件的情况下，利用一般的机器
学习算法达到的效果。我们需要把新策略和这个策略进行比较，如果新的策略比这个策略好，
就是产生了“相对推动”（RelativeImprovement），反之我们说新的策略产生了“相对损
害”（RelativeHarm）。
为了进一步进行分析，作者们引入了一个叫“结果曲线”（OutcomeCurve）的工具来视觉
化策略和效用差值的关系。具体来说，曲线的横轴就是因为策略所导致的对某一个群体的选择
概率，纵轴就是效用差值。当我们有了这个曲线之后，就能非常直观地看到效用差值的变化。
从这个曲线上我们可以看到，效用差值的确在一个区间内是“相对推动”的，而在另一个区间
是“相对损