深度 | 机器的崛起：算法会超出我们的控制吗？

zhongyan

深度 | 机器的崛起：算法会超出我们的控制吗？

来源：Mark Walport 德先生

导读：计算机科学尤其是 AI 的深层次应用已经开始干扰我们的生活，我们必须开始考虑在“机器智能”的应用过程中的两个问题：谁来负责？如何监管？英国政府首席科学顾问 Mark Walport 在 Wired 上发表长文，试图让人们思考：技术是在拯救生命，还是在践踏自由？我们能做些什么？

关于AI及机器学习的应用将在未来数年间引发大规模失业的悲观预测甚嚣尘上。但事实上这些新技术会生发新的产品和服务，从而创造新的就业机会。可以肯定的是，计算机科学的深层次应用已经开始干扰我们的生活。如果我们要想从中获益但尽可能减少潜在的危害，必须开始考虑这些技术的应用和监管的方式。

无孔不入的算法

18世纪蒸汽机的应用打乱了传统农业劳动者的生活，推动了城市崛起，创造了新的产业和新的就业机会，但医疗、司法等传统行业改变不大。而最近一次的工业革命几乎引发了各行各业的变革。

到目前为止，机器学习的大部分应用看起来基本上都是良性的，但是我们大多数人都没意识到它们正在产生重要的影响。你的信用卡或借记卡多久没接受信用查询了？这类过去频繁发生的事情现在已经越来越少见。这是关于我们消费行为和模式机器学习应用的结果。银行和信用评级机构对于我们的财务状况了如指掌。这既便捷又大幅降低了信用盗窃的风险。这也意味着银行对我们生活方式的了解甚至超过了我们的亲人。

市场营销和消费者服务咨询企业对我们在线购物（不论是单独购买还是团购）的状况保持持续的了解。店铺会员卡产出的大量关于购买行为的数据几乎影响了产品设计和定位的每个方面。我们的谷歌搜索结果和所收到的营销邮件都受到我们此前在线行为的影响。Netflix或亚马逊会自动推荐我们想要观看的电影，我们应该感到挺有帮助还是隐私受到侵犯？谁在做这些影片推荐？我们应该在意吗？

当我们网购时，我们如何被界定为一个“优质“顾客？卖家甚至比我们自己都了解我们的心理特性，我们会无形中受到他们的奖励或惩罚吗？我们以为优质顾客会享受到更优惠的价格。但是对于卖家而言，优质顾客指的是那些购买意愿强烈，因而愿意为产品付出更高价格的顾客。因而机器学习会帮助卖家以更高的价格售卖特定的商品给频繁购买这类商品的顾客。机器会判断我们是否是这种愿意为喜欢的商品付出更高价格的倒霉蛋，并帮助卖家充分利用我们这一弱点。

价格浮动不是什么新鲜事儿，假期和非假期时段旅行团的价格就很说明问题了。利用算法来为产品和服务设定价格浮动体系好处多多。当能源需求上升时，可以通过提高收费来限制不必要的用气、用电以及额外的发电容量。Uber会在用车需求较高但可用车辆较少的情况下调高价格，这也会激励更多司机补充到用车需求较高的区域。但如果是由于极端天气导致公共交通体系瘫痪引发用车需求增加，Uber的提价行为就会被视为一种敲诈。AI及机器学习对一些传统行业影响巨大。医疗和法律则表现出高度的免疫。在过去20年间，大多数服务性行业的面貌已经被IT 大幅改变，而医疗和司法则基本维持原貌。

医疗和司法领域也面临改革

原因为何？这些职业通常需要长期的培训和实习。从业者依靠的是专业技能和专业判断的应用，这是他们立足的根本。但一个重要的问题是，如何判断他们的专业性？谁来判断？常规的答案是由一个具备同等专业素质的从业者来判断其同行的专业性。这有些道理，但还是有问题。这会催生专业监管机构来自我监管。这些机构还会制订出限制性的行业操作规范，从而营造出一种基于精英主义和保守主义的文化。

专业性通常与一系列特定的价值相关联。无论是医生、工程师、律师，政府官员还是神职人员，经验、专业、信任度、智慧及判断力都是他们被期待具备的质素。这些质素背后涵盖的是行业相关的知识及价值，如医生行医过程中的“不误诊“。医生执业是基于医学证据，而律师执业是基于立法和案例的结合。

但医疗及法律从业者面临的挑战是他们的很多工作都可以被学习和应用了 AI 的计算机大幅改进，甚至完全替代。如果专业判断是这类职业最基本的质素，计算机是否可能完成同样的工作？不同的判断可以被区分吗？我们能看出究竟是人还是机器做出的这些判断吗？

在医疗领域，依赖专业判断的最重要的技能之一就是面对多种不确定因素和不全面的医学证据做出诊疗的能力。但是在癌症的案例中，计算机开始建立庞大的科学数据库，并把这些数据与包含癌症基金数据和临床治疗效果的海量病例相结合。哪个病人不希望自己的治疗方案是建立在最佳医学证据基础上的呢？在这一意义上，是否肿瘤专家的工作已经终结了呢？

医学不是纯科学。医学“艺术和神秘”的本质造就了医师判断力的第二战场——提供咨询。比如关于什么时候不要治疗的建议，关于何时治疗可能比疾病更糟糕的建议，以及对患者从多种疗法中进行选择的指导。其中一些可能会使患者感觉更好，即使它们对疾病的进展没有实际影响。AI 能做到这点吗？我们希望它做到这点吗？

法律呢？你更愿意被法官、陪审团还是计算机认定为有罪或无罪？刑事法院适用的有罪检验是“排除合理性怀疑（beyondreasonable doubt）”。但是对一个人来说是合理的，对另一个人可能是不合理的。而在民事法庭上，“概然性权衡（onthe balance of probabilities）”则更加微妙。

计算机擅长计算概率的平衡。其硬盘可以储存巨大的罪犯数据库;处理器可以算出DNA序列或指纹匹配的几率。我们已经开始留下了广泛的数字证据踪迹，因为我们的行为被记录下来，我们所携带的无线和GPS设备阵列标示着我们的位置信息。与许多证据相关的概率可以互相关联。原理上，可以量化出“排除合理性怀疑”或“概然性权衡”等概念——可以说前者是99%，后者为51%。这些都是计算机在人类判断领域能做的贡献。

责任由谁来负

说到量刑，你更愿意被法官还是计算机做出量刑？大多数人可能会在心中盘算，那种方式的量刑痛苦最小？根据你的性别、种族和社会及经济状况的不同，结果也可能不同，因为这些因素以及其他一些因素可能会造成人类判刑时的系统偏见。

事实上，在许多情况下，人类都会表现出系统性的偏见。有证据表明，个体法官和医生的行为方式存在着系统性的不同。判决你的法官或治疗你的医生，他们的身份可能会导致显著不同的结果。但是，不仅法官和医生有系统的偏见——刑事司法程序和提供临床护理的各个阶段都存在偏见。因此，被阻止和被搜查的概率，被监禁或被保释的可能性，律师对客户的同情和陪审员对被告的态度，会受到几个因素的影响。有时这些与被告有罪或无罪的关系很微弱。类似的，你的社交环境、你的全科医生、你的护士以及许多其他因素都会系统地影响你的医疗结果。

说到量刑，计算机硬盘可以包含以前完整的量刑记录。然而，机器学习可能会吸收量刑或医疗记录中隐含的全部偏见，并体现在算法上。一个例子是如果在Google上搜索“CEO”，显示的几乎全是白人男性的图像，而且显示的向女性提供的高收入行政职位的广告远远少于男性。

一个解决办法是永远不要把计算机的建议置于人类的判断之上。这将计算机放在了一个顾问的位置上。但如果结果不好，会发生什么？在癌症治疗失败的情况下，拒绝计算机的治疗方案推荐是否会让医生遇到麻烦——而那些遵照了建议的医生，如果结果不好，又会怎样？而且，最终计算机是否会保留最佳意见，因为偏执的人类总是选择忽视计算机的建议？

当涉及到主观判断时，我们会营造一个将专业规范和价值观纳入计算机算法的世界吗？在司法判决中，我们会故意构建一系列偏见。我们可以创造权重规则，以考虑或忽视犯罪分子的苦难童年。判刑可以根据被告的家庭情况加重或减轻——还可以设计为忽略这些情况。简而言之，在某个持有偏见的人看来，通过计算机进行判罚，对于肇事者或受害者的具体情况似乎总表现为同情或者无情。

那么，如果我们要充分利用AI和机器学习，我们就需要制定一些机制来了解算法的运行，特别是通过机器学习在计算机系统中自我演化的算法。我们真的了解AlphaGo是如何在围棋比赛中战胜人类冠军的吗？

让人类为自己的判断负责其实是很难的，部分原因是我们对促成人类判断的认知机制只有最模糊的理解。通过让那些“聪明”的人充任法官，我们在努力做出正确的判断。尽力而为。但是在机器学习方面，答案并不明显。

计算机其实无法对任何事情负责，因为没有任何机制能让它负责，除了关闭电力供应或者毁掉硬件。只有人类才能负责。在计算机被使用的情况下，谁将被追究责任？程序员、供应商还是最终用户？鉴于很难了解机器学习过程中自我演化的算法的确切性质，可能很难完全解释清楚其运行过程。那么最终，这会是一个买家责任自负的例子吗？在这一模型中，计算机给出建议，但决定权在用户。但是，在一个自主的系统中，又该如何？比如汽车、火车或飞机上？还有一个解决方案是让人类程序员对其编程的效果负责。但这样的问责如此严峻，可能任何人都不会为了大众的使用而冒险去编程了。这可能会让我们和机器学习的优点失之交臂。无论是涉及航空飞行、桥梁建设还是癌症治疗，人类在做生死攸关的决定时都不尽如人意。怎么会有人在生死问题上去相信那些一知半解的人？

谁来监管？让机器去监管机器？

那么让机器去判断机器，这可行吗？当一台计算机发生故障时，由并行系统来接管，和安全紧密相关的计算机系统已经是这样操作了。通过以车队的方式去学习，特斯拉以人类无法完成的方式提高了整个车队的标准。在某些情况下，我们可能需要机器来掌管机器。高速、大量的由算法进行的金融交易已经依赖于代码来检查和规范人类无法涵盖的大量交易。在大数据、AI和机器学习的世界中，人类监管者需要所谓的“监管科技”作为辅助。

这是一个紧迫的问题。一方面是医疗保健提供商，另一方面是开发和销售以机器学习算法为内核的医疗咨询系统的公司，二者之间的合作关系正在建立。在一个药物、诊断、医疗设备和疗法被高度监管的世界中，这些系统如何组织？世界各地的医药监管机构都会遵照相似的协议，发放药品许可，并让制造商承担严格的产品责任。但我们知道药物的化学结构和医疗器械的精确规格，我们不知道机器学习过程中不断演化的算法的精确结构和运算。国际监管流程要求医疗算法受到管制，仿佛它们是医疗设备——可这在现实中意味着什么？

这些问题应该是可以克服的。我们可能知道医疗药物的化学结构，但我们也经常不完全了解它们是如何工作的。以副作用为代价的药效证据是药物监管的指导，这同时与疾病的严重程度和药物的益处相关。机器学习训练的算法与药物不同之处在于，它的结构随着学习而发生变化。这意味着监管需要更加连续，随着算法在临床实践中的使用和演变，持续检查其作用。

医学和法律已经表现出了对破坏的高度免疫，但AI和机器学习中最为显著的一些影响，仍能在这些最传统的行业中体现出来。

但是，也有人强烈主张，随着药物的广泛使用，关于其作用与副作用的信息越来越多，药物管制也应该朝着同一个方向前进。这当然算是现代IT 技术应用于医疗系统的好处。

如果我们要应用一些可能对人类造成伤害的算法，就需要学习如何才能信任它们。对于一辆由计算机系统驱动的汽车，什么样的事故率是可以接受的？一方面，与人类驾驶的车辆相比，无人驾驶车辆的任何事故率的减少都是一种进步。然而，如果无人驾驶车辆造成了行人的死亡，即使这是极其罕见的事件，也会引起轰动。

我们可能会认为，比起不完美的人类，我们对算法应该有高得多的标准。因为算法会影响专业人士的判断，它们最终会影响道德和价值观。应该如何将这些因素纳入法规？打个有用的比方，这就像英国开发和使用人类胚胎技术，科学的应用凸显了人类的价值。

Warnock 委员会的审议促成了人类受精和胚胎管理局（HumanFertilisation and Embryology Authority）的成立。这是一个监管机构，负责思考新兴科学，参与公开辩论，并与决定新兴技术应用框架的立法者和政策制定者讨论有争议的问题。在机器学习和AI 方面，我们需要类似的东西吗？皇家学会和英国学院的联合工作组正在英国考虑这个问题。

政府的关键作用是使公民的健康、幸福和安全最大化。因此，政府需要考虑如何最大限度地利用这些技术带来的好处，并尽量减少潜在的危害。这需要智慧的监管方式，同时还要求企业仔细考虑如何应用这些新技术。这是一个真正呼唤道德思考与实施的领域。