快捷搜索:  angelina  芭提雅  WEB-INF/web.xml  /usr/bin/id;  www.ymwears.cn  as  xxx  test

纽约市无法撬开自己的黑匣子算法。那么现在怎么办?



从警务到学校,算法都会影响近900万纽约人的生活。不过,似乎没人真正了解如何。算法做出的决策可能会影响近900万纽约人,但实际上我们对其了解不多。因此,在2017年,市议会决定,公众应该对这些黑匣子计算有一些洞察力-这可能会影响从治安到您的孩子上学的所有方面-并通过了一项法律,成立了一个工作组来调查该市的黑匣子-称为“自动决策系统”(ADS),并提出有关其监管的想法。

将近两年后,工作队在很大程度上未能充分了解这些系统的实际工作原理。虽然该市表示提供了一些机构使用的ADS的示例,特别是五个,但该市并未提供一些活动家和拥护者所希望的已知由其机构使用的自动决策系统的完整列表 。尽管已经确定了一些系统,但很有可能存在一些城市未使用的算法系统,而公众对此并不了解。

算法和人工智能会影响城市政府的大部分运作。预测模型和算法已被用来做所有事情,从改善公共校车路线,预测房屋着火危险到确定孩子是否暴露于含铅油漆的可能性。在纽约市,它是众所周知的,这种系统已被用于预测哪些房东可能会骚扰他们的租户,在教师绩效评价,并在刑事司法系统中使用的DNA分析,实例即是由标记研究非营利组织AI Now。

在上个月发布的结论报告中,工作队建议该市使用自动决策系统为代理商建立一个集中的“结构”,这也可以帮助确定最佳管理实践。工作队进一步呼吁对基于算法的系统进行更多的公众教育,并要求制定协议以公开披露有关ADS的一些信息,以及其他广泛的建议。但是批评者抱怨说,城市机构已经使用了哪种“自动决策系统”仍然不清楚,他们说,这种知识鸿沟挫败了真正透明的任何可能性,并建立了一个令人关注的先例,正如CityLab报道的那样。

那么现在怎么办?通过执行命令,市长比尔·德布拉西奥(Bill de Blasio)市长在工作组的调查结果的启发下,建立了一种新颖的算法管理和政策官员角色-预计将在未来几个月填补这一职位。该官员将负责帮助市政机构负责任地使用和评估ADS,并就其使用向公众进行教育。

但是AI Now政策研究总监Rashida Richardson表示,这个职位还远远不够,因为该职位既无权也无权透露正在使用的自动化系统。市政府发言人说,该官员将“维护一个平台,向公众提供有关相关工具和系统的一些信息。”

理查森(Richardson)强调,透明度本身不仅是一种价值,而且对于调查政府使用算法可能引起的社会,道德和公平问题也至关重要。批评家特别担心算法会对受保护群体的成员产生不同的影响,而受保护群体的成员(没有这些工具中有多少实际上起作用的信息)几乎没有办法针对不公平或偏颇的决定采取行动。

“如果纽约市拥有世界上最大的市政预算,甚至不能做一个体面的工作,那么它向许多其他城市发出了真正的消极信号,他们可能确实想做点什么,但可能要担心他们的实际能力,”理查森说。“令人担忧的是,这表明城市不需要做很多事情,也不必这样做。”

纽约AI的影子报告可能会指明前进的道路本月初,Richardson和AI Now发布了一份影子报告,对工作队的工作进行了评论和分析,并强调了自己的前进建议。这些措施包括建议的政策保障措施和程序,以及针对纽约警察局,儿童服务管理局和教育部等城市机构针对其各自使用基于算法的系统的量身定制的建议。

在回应AI Now的影子报告时,市长发言人劳拉·费耶(Laura Feyer)表示,工作组“召集了计算机科学,公民自由,法律和公共政策方面的近二十位领导人,以解决其他司法管辖区没有的高度复杂的问题Recode联络了几位市议会议员,他们赞助了授权该工作队的最初立法,但直到发稿时都没有听到。

评论家不满意也就不足为奇了。随着专案组进行,有投诉有关城市机构未能共享信息有关的算法为基础的系统已在使用,与公众参与不足,并定义一个斗争,到底什么资格作为自动决策系统。当建立算法透明性标准引起地方和州决策者越来越大的兴趣时,美国最早的算法透明性尝试之一令人失望是令人鼓舞的。

在纽约市,现在的注意力转移到了安理会成员彼得·古(Peter Koo)提出的立法上,该立法可以完成工作队无法完成的某些工作。他的提议将要求市政府每年向市长汇报(市长然后向市议会汇报该信息),并描述其使用的每个自动化决策或算法系统,其用途以及其他信息。

Koo在致Recode的一份声明中说:“许多拥护者认为,专案组未能尽职尽责地提供有关该市如何使用算法的有意义的解释。” “我们起草了该法案,因此不会再有误解,我们认为应该对城市如何使用这些自动化决策系统进行全面而透明的解释。”

在纽约州参议院,还提出了立法,该立法将建立一个工作组,研究州机构的“自动决策系统”。州政府牵头提高AI透明度在全国范围内,还有其他努力来提高政府使用算法的透明度。佛蒙特州正在进行一项研究,部分研究的重点是州政府使用的AI。阿拉巴马州已经建立了一个人工智能委员会,该委员会将于明年5月发布。

同时,马萨诸塞州目前正在考虑立法,该立法将创建一个委员会来分析联邦中自动决策系统的使用。根据法律草案,该委员会的职责将包括“对马萨诸塞州联邦对自动决策系统的所有使用情况以及使用此类系统的目的进行全面而具体的调查” 。

在华盛顿,人们希望算法责任制立法得以恢复。该提案将为政府机构使用的算​​法系统建立标准和透明度指南。但是,面对纽约市工作组也遇到的一些挑战,该立法一直在努力。华盛顿ACLU技术与自由项目主管Shankar Narayan表示,一方面,要让机构报告其对自动决策系统的使用情况既困难又昂贵。(Narayan负责该法案。)

他解释说,该法律与巨额成本估算挂钩,因为各机构期望努力找出他们已经在使用什么系统以及它们如何工作。“通常,代理商内部的人员实际上并不了解这些系统如何做出决策。这些产品由幕后销售商进行销售,这些销售商提供了专有工具,这些工具无法进行仔细检查或无法进行仔细检查,” Narayan说。“潜在地,甚至厂商本身也可能不知道他们是否对受保护的群体产生了不成比例的影响。”

他说,法案中使用的自动决策系统的定义可能会更改,甚至可能会缩小,以使法律更易于机构理解和遵守。同时,理查森(Richardson)警告不要进行“政策鸡”的游戏。如果政府官员采取观望的态度并推迟观察其他市政当局和州如何解决这些问题,他们可能会忽略算法系统可能已经存在的危害。造成的。

理查德森(Richardson)对于纽约而言,将库尔(Koo)的法案作为下一步,并指出透明性是倡导者提出的针对政府算法潜在公平性和偏见问题的干预措施所必需的“诊断工具”。她说:“我们只对可能面临的风险和所面临的风险有所了解。” “但是当我们了解使用情况时,我们将有一个更好的理解。”