让人头疼的AI bug (随想)

虽然概念上,人工智能和机器学习不等同。但是本文提及的AI,指的是基于机器学习的AI.   一个软件产品,出了错误叫bug,bug需要修。那一个机器学习的模型,准确率在那摆着呢,大伙心知肚明是有一定的犯错率的,怎么办。想了想,可能就是这么办吧。  

  • 不予理会。推荐引擎推荐错了,质量不高,也不会搞出什么大问题。continuous research,以提高转换率为目标,继续努力就好了。
  • 和bug一样,得修,模型必须改进。比如说,公交车董明珠的广告当作董明珠闯红灯。
  • 和bug一样,得修,可是模型该进不了了。写一些rule,强行修正,或者在模型前端写一些rule来过滤。比如说NER专名识别,可以写一些正则表达式来补捉一下被模型漏掉的词组。
  • 或者干脆公开表示,模型是有错误的,对错误敏感的问题,请根据评分,进行人工干预纠正。

  对于QA来说,AI Bug真的是比较头疼。什么是bug嘛。你倒是给我说一下,什么样的错误得报告。AI QA说,AI部分的测试,大部分的情况就是做一下合理性检测,保证一下没有因为软件的bug,而使得输出的都是垃圾的问题。模型质量还是必须依赖实验室的统计数据为准。确实,对于AI QA也没什么标准可循。   最近听一个talk,其中提到,过去十年,大部分的企业的AI feature还是nice to have. 未来十年是must have. 既然是must have,那对于质量问题就必须正面严谨对待。对于AI能够解决的问题,市场营销上也从搞噱头造势,转到更加实事求是地阐述AI在该领域能解决的问题。曾经看到一个Legal AI是这么说的,我们不是要取代你们的工作,我们是让你们的工作更加的轻松,不用浪费生命与枯燥重复的事情上。基于这样的定位,对于AI的错误,势必要严谨对待,不能向以前那样不管,以前反正是nice to have的功能嘛。   Amazon去年release了a2i,提供了一个用户反馈框架,让用户审核那些评分较低的预测。这看上去貌似和主潮流不符。research届不是此起彼伏报告模型准确率破纪录吗,怎么这么多年过去了,还搞人工干预纠正AI了。我想这也可能是AI implementaion走向成熟期的一个表现吧。真正的做到普及之前,必须有能力对质量有更好的monitor,对错误作出及时的反馈。目标是一个成熟可用的系统,而不是nice to have的无人问津的功能。当然a2i另外一个很大的作用是收集用户的反馈来作为模型输入,以更好的提高模型质量。   提到修AI Bug的强有力手段,rule,想起了多年前一个朋友曾提及他的朋友在某公司从事AI,后来发现流水线上起作用的主要部分是rule,而不是机器学习算法。作为新生代AI宗教信徒的他,过不了这个fake AI的梗,果断离职。不过相信多年磨砺之后,遭遇了AI领域更多理想和现实的矛盾,现在可能没当初那么义愤填膺了。大部分的机器学习工程师对于rule的感情是很复杂的,既鄙视它,又离不开它。实际上,如果不是完全黑盒子的深度学习,AI 流水线上需要涉及到很大工作量的特征工程。而很大可能,某个特征就是一个rule产生的。纵览整个流水线,rule比重多一点还是机器学习算法比重多一点呢。AI落实到实际产品,脚踏实地必须自动化一些重复工作的时候,可能并不需要太较真。毕竟rule工作本身很繁琐,当算法在工程上达到标准后,rule被取代那是必然之势。     阅读作者更多原创文章,关注微信公众号:

发表评论

相关文章