谁来帮外卖骑手审查算法伦理

　　科学技术是一个悲喜交集的福音。最近有两篇刷屏文章，都在讲述这个主题。

　　《外卖骑手，困在系统里》，在外卖平台系统的算法与数据驱动下，外卖骑手成了高危职业。骑手的配送时间不断被压缩，而骑手为避免差评和增加收入，不得不选择逆行、闯红灯等做法。“送外卖就是与死神赛跑，和交警较劲，和红灯做朋友” 。

　　《对不起，2.5亿老人，正在被抛弃……》，老人过安检时被拒绝，原因是没有健康码，而且老人不知健康码为何物。近2亿老人没接触过网络或者没有智能手机，意味着他们与基于网络的智能服务绝缘。

　　困在算法黑箱和算法偏见里面的，难道只是骑手和老人吗？当然不是，我们每个人都生活在算法的时代。我们点外卖、买电影票、订宾馆、打网约车，这些行为的背后都是一个个算法。我们是否能够获得商业贷款，我们需要为商业保险付多少钱，这些也都为各种数学模型所操控。

　　从理论上来说，算法模型可以更加公平，因为机器不会撒谎，每个人都适用同等规则，没有偏袒。但是，事实恰恰相反，这些算法隐晦不明，编写者把商业利润、偏见误解都编入了软件。美国学者凯西·奥尼尔给这些有害数学模型取了一个名字：“数学杀伤性武器”（Weapons of Math Destruction，简称WMD）。WMD的三大特征是：不透明、规模化、毁灭性。

　　从2016年到2018年，美团外卖3公里送餐的最长时限从1小时缩至45分钟，再到38分钟。到了2019年，中国外卖订单单均配送时长比3年前又减少了10分钟。在庞大的数据面前，城市摆渡人——快递员幻化为提供输入的变量角色，任何试图保护自己的举动，在无死角的数据监控和效率至上的算法面前，都是那么的无力和苍白。

　　这个时代跑得太快了。以大数据、人工智能、云计算为代表的新一代信息技术，已经融入社会的方方面面。无论打开哪个App，都要获取你的位置、通讯录和相册；无论坐高铁还是住酒店，都要刷脸读取你的个人信息；无论去哪儿，都要先亮亮你的健康码。新技术在为社会经济文化发展带来新的动力和能力的同时，也带来了科技异化、风险泛在和人的主体性迷失等问题。

　　美国学者劳伦斯·莱斯哥提出“代码即法律”（Code is law）的论述，“大数据杀熟”“算法歧视”、“数据霸权”和“机器人霸主”的问题愈来愈近，隐秘的算法成为压榨社会边缘群体的工具，复杂的模型变成扩大数字鸿沟的推手。

　　如果一个来自山区的穷学生被助学金贷款模型认定为高风险而无法贷款，接踵而来的是他会被剥夺能帮助他脱贫的接受优质教育的机会，找寻体面工作的机会等一系列恶性多米诺循环，最终他会沦为数字难民。如果人们的文明程度、道德水平都可以被一个个算法模型操作和衡量，那么被误解、被误算的那类人将永远没有机会去纠正，就会发生类似2015年，谷歌的图片识别软件将照片中的三位年轻美国黑人标记为黑猩猩而引发的争论。

　　面对不断被采集和计算的数据，个人如何保护自己的尊严、私隐、自由，不至于沦落算法的奴隶？

　　面对强大的数据科技、普通个体如何确信自己的权益可以被尊重和保护？

　　面对万物互联、无时无处不在的数字时代，政府监管部门如何面对数据伦理问题？我们是否应像设立医学伦理委员会一样，建立一个数据伦理委员会？

　　在传统市场经济时代，政府部门为保护消费者合法权益和创造公平和谐的消费环境，会在市场内安放公平秤，为前来购物的消费者免费提供称重服务。老百姓买菜要是觉得不放心，就可以拿到公平秤上去称，是否缺斤少两，一目了然。

　　而进入数字经济时代之后，大部分的商业行为从线下转为线上，从原子世界转向比特世界。越来越多的人在“淘票票”等票务App上购买电影票，而非去电影院售票大厅；而不同的手机型号，不同的用户标签，一张电影票的价格差异可以达到20%以上。某航班的飞机票，若被同一用户在一定时间内频繁搜索，很有可能就会涨价；而当你换一台手机，换一个用户账号登录，价格又会下跌。这样的案例还发生在电商购物、网约车、在线订宾馆等各种场景。

　　这些差别化定价算法模型，是否也需要一台新型的数字公平秤来衡量检验，这对政府是极大的挑战。

　　首先，政府监管部门还没有意识到设立“算法审查局”的重要性。

　　技术是中立的，但算法不是。算法固然有商业保密的要求，但还是要有相应的法规和机制确保能够在公众质疑时，开展审查和监管，通过算法透明化和可追溯化，来减少风险和伤害。在困在系统中的外卖骑手这个案例中，就需要一个机构来要求美团、饿了么等公司解释算法、开展算法审计、推进算法问责；约束他们将更好的道德模型嵌入到算法代码中去，创造符合我们核心价值观的大数据模型。这些要求可以是在重视道德上的基础上牺牲部分商业利润；在重视公平的基础上牺牲少许效率。

　　其次，在算法霸权面前，政府并不处于随时掌握最前沿的技术和解决方案的优先地位，即政府没有能力和人力来设立类似的机构。

　　这就要求政府部门寻求外部专家的支援，组织跨学科（包括但不限于计算科学、数据科学、法学、社会学等）的数据专家委员会或数据伦理委员会，对一些已经出现数学杀伤性武器的领域进行定期考察和长期跟踪，通过设置标准来规范科技企业的行为和科技产品的特性。

　　同时，通过发布标准、进行宣传，让民众了解科技产品的优势和危险。一个很好的范例是：2019年10月9日，文化和旅游部公示了《在线旅游经营服务管理暂行规定（征求意见稿）》。针对最受关注的“大数据杀熟”问题，明确规定在线旅游经营者不得利用大数据等技术手段，针对不同消费特征的旅游者，对同一产品或服务在相同条件下设置差异化的价格。

　　第三，数据科学家也应该像医生一样，遵守希波克拉底誓言，尽可能防止或避免对算法模型的误用和误解。

　　同时，商业巨子们要停止科技乌托邦幻想，即无根据地寄希望于用算法和人工智能解决一切问题。数学模型应该是我们的工具，而非成为我们的主人。

　　我希望，困死在系统中的快递员，将唤醒和迫使政府、社会、民众正面问题，寻求改变，去监管和驯服“数学杀伤性武器”，为数字时代注入公平和问责。当我们的下一代人回忆起这篇文章时，会把它当作这场新数字文明的早期文物，如同大工业时代的致命煤矿。

　　（作者胡逸为无锡市大数据管理局局长）