您的位置:Pacific Online

令人不安的病毒性Twitter帖子揭示人工智能保险是如何出问题的

作者:admin
来源:未知
日期:2021-05-31 09:53:50
阅读:


Lemonade在推特上说,做一家AI first保险公司意味着什么。它在许多顾客的嘴里留下了酸味。柠檬水想让你忘掉你所知道的关于保险的一切。

柠檬水,一个快速发展的,机器学习驱动的保险应用,推出了一个真正的柠檬汁Twitter线程周一,该公司发布了一份引以为傲的声明,称其人工智能在确定客户的索赔是否欺诈时会对视频进行分析。从那时起,该公司一直在努力解释自己和它的商业模式,并抵挡偏见、歧视和普遍令人毛骨悚然的严重指控。

像保险索赔这样重要的事情被人工智能评判的前景让许多看到线索的人感到震惊,这是应该的。我们看到了人工智能可以歧视某些种族、性别、经济阶层和残疾等,导致这些人被剥夺住房、工作、教育或正义。现在,我们有了一家保险公司,它引以为傲的是,用机器人和人工智能取代了人工经纪人和精算师,收集了客户的数据,却没有意识到他们在泄露这些数据,并利用这些数据点来评估他们的风险。

在7条推文中,Lemonade声称它收集了1600多个关于用户的“数据点”,“比传统的保险公司多100倍的数据”。该线程并没有说明这些数据点是什么,以及如何以及何时收集的,只是说它们产生了“细致入微的简介”和“显著的预测性见解”,帮助柠檬水确定其客户的“风险水平”

Lemonade接着举例说明了它的人工智能是如何“仔细分析”视频的,它要求客户提交“欺诈迹象”,包括“非语言提示”。Lemonade说,传统保险公司无法用这种方式使用视频,Lemonade认为AI有助于提高损失率:也就是说,收取的保费超过了它必须支付的理赔金。过去,柠檬水的收益远远超过了它的收入,该公司称这是“糟糕透顶的”,而现在,这条线索说,它的收益大于回报。

难以置信地冷酷地庆祝你的公司是如何通过不支付理赔金来节省资金的(在某些情况下,是给那些可能是他们生命中最糟糕的一天的人), 数字权利倡导组织“为未来而战”的竞选主任凯特琳·西利·乔治对雷科德说。找到了吗更糟糕的是,为了庆祝有偏见的机器学习使这成为可能。

Lemonade成立于2015年,在美国许多州和一些欧洲国家为租房者、房主、宠物和人寿保险提供服务,并希望将业务扩展到更多地点,并增加汽车保险服务。该公司拥有100多万客户,这是它在短短几年内达到的里程碑。这是很多数据点。

Twitter上的帖子吸引了越来越多惊恐的观众,并将其与反乌托邦的科技电视连续剧进行了必要的比较黑镜并促使人们问,他们的索赔是否会因为皮肤的颜色而被拒绝,或者柠檬水的索赔机器人“艾吉姆”认为他们看起来像在撒谎。许多人想知道,柠檬水是什么意思“非语言提示?”威胁取消政策(和截图证据,从人谁取消)越来越多。

到了周三,该公司收回了自己的声明,删除了该线程,并用一个新建Twitter线程和博客文章. 你认识你当你的公司鈥檚 在Twitter上有道歉的帖子鈥減心理学。所以,我们删除了这个可怕的线程,它比其他任何东西都引起了更多的混乱。

旅游目的地;DR:我们不使用,也不试图构建一个使用身体或个人特征来否认声明的人工智能(相貌学/相貌学)(1/4)他的Twitter帖子措辞粗俗,正如你所注意到的,它在Twitter上引起了人们的恐慌,并引发了一场散布谎言的辩论, 柠檬水的发言人告诉雷科德。你的用户是 根据他们的外表、残疾或任何其他个人特征而区别对待,人工智能从来没有也不会被用于自动拒绝索赔。

该公司还坚称,拒绝索赔并不能从中获利,它从客户保费中收取固定费用,并将剩余部分用于支付索赔。剩下的钱都会捐给慈善机构(该公司称其在2020年捐赠了113万美元)。但是这个模型假设客户支付的保费高于他们在索赔中的要求。

而且柠檬水并不是唯一一家依靠人工智能为其大部分业务提供动力的保险公司。根提供汽车保险保险费很大程度上(但不完全)取决于你的驾驶安全程度,这是由一款在“试驾”期间监控你驾驶情况的应用程序决定的。但根的潜在客户从一开始就知道他们选择了这种方式。

那么,到底是怎么回事?根据Lemonade的说法,客户必须发送的索赔视频仅仅是让他们用自己的语言解释自己的诉求,“非语言提示”是面部识别技术,用来确保一个人不会在多重身份下提出索赔。该公司表示,任何潜在的欺诈行为都会被标记出来,让人来审查并做出接受或拒绝索赔的决定。艾吉姆不否认索赔。

拥护者说这还不够好

乔治说:“面部识别因其偏见而臭名昭著(无论是在使用方式上,还是在正确识别黑人和棕色面孔、妇女、儿童和不符合性别要求的人方面都有多差),所以用它来‘识别’顾客只是柠檬水人工智能有多偏颇的另一个迹象。”如果一个黑人试图提出索赔,而面部识别系统认为不是真正的顾客,会发生什么?有很多公司的例子说人类可以验证任何由算法标记的东西,但实际上它是不总是这样 .

这篇博文也没有提到——公司也没有回答雷科德提出的问题——柠檬水的人工智能和它的许多数据点在保险流程的其他部分是如何使用的,比如确定保险费,或者某人是否有太大的风险而无法投保。

柠檬水确实给了我们一些有趣的关于它在2019博客该书由首席执行官兼联合创始人丹尼尔·施赖伯(Daniel Schreiber)撰写,详细阐述了算法(他说,没有人能够“完全理解”)如何消除偏见。他试图证明这一点,因为犹太人在家里点蜡烛作为宗教活动的一部分,所以向他们收取更高的火灾保险费的算法实际上并不是歧视性的,因为它将评估他们,而不是作为一个宗教团体,但是作为一个点燃很多蜡烛的人,碰巧是犹太人:

事实上,这种对蜡烛的喜爱在人口中分布不均,而且更集中于犹太人,这意味着平均的,犹太人会付出更多。但这并不意味着人们要多收费因为我是犹太人结果是,仅仅是一个算法对犹太人、妇女或黑人的平均收费更高,并不会造成不公平的歧视。

光明节快乐!

这就是Schreiber所描述的“第三阶段算法”,但帖子没有说明算法如何首先决定这种烛光倾向——你可以想象这会有多大问题——或者柠檬水希望在什么时候采用这种定价方式。但是,他说,“这是一个我们应该拥抱并为之做好准备的未来”,这一未来“基本上是不可避免的”——假设保险定价法规发生变化,允许公司这么做。

Schreiber写道:“那些未能接受第三阶段精确承保和定价的公司,最终将被不利地选择退出业务。”。这一切都是假设客户希望在未来对1600个数据点进行秘密分析,他们没有意识到柠檬水的机器人“艾玛雅”正在收集,然后根据这些数据点分配个性化的保费——这仍然是个谜。

对柠檬水第一条推特帖子的反应表明,消费者不希望这种未来。表情符号 最初的线索是一个超级令人毛骨悚然的洞察公司如何使用人工智能来增加利润,而不考虑人 隐私或这些算法固有的偏见,鈥 乔治说,从为未来而战。鈥淭他自动反弹,导致柠檬水删除帖子,清楚地表明人们不鈥檛 就像他们的保险索赔由人工智能评估一样。

但这也表明,客户一开始并没有意识到这是一个版本,他们的“即时、无缝、愉悦”的保险体验是建立在他们自己的数据之上的——远远超过了他们所提供的数据。对于一家公司来说,如此明目张胆地说明如何利用这些数据来达到自己的最大利益,并以客户为代价,这是很少见的。但请放心,柠檬水并不是唯一一家这样做的公司。
相关阅读
手机扫一扫,沟通更方便