智能客服机器人的衡量指标体系

编辑导读:智能客服机器人已经成为了很多企业shòu后的标配产品,它能在一定程度上减轻客服人员的压力。如何衡量一个智能客服机器人是否好用,这就需要制定系统化的指标和优化方案。本文将从数据指标和如何细化两个方面,对智能客服机器人的衡量指标X展开分析,与你分享。

智能客服机器人慢慢成为了很多企业shòu后环节的标配产品,同时市面上智能客服供应商也如雨后春笋般涌现,大家都宣称自己的机器人多么智能。但很多时候,上线后要让机器人发挥作用,不是“多么智能”几个字就能达到目标。里面需要团队中的产品、运营、算fǎ等人一起努力。当然,很多团队由于没有经验,这个过程会像丈二的和尚mō不着头脑,需要进行多次mō索才能知道该如何优化。

所以,今天要讨论的,就是如何系统化去衡量机器人的效果,从而帮助团队zhēn对性高效优化机器人。

说明:本次讨论的范围限于shòu后X的文本机器人。

一、数据指标

1. 北极星指标

说到衡量效果,就需要提到数据指标。

每款产品都有很多数据指标,而我们要找的应该是最核心的指标,即业界说的【北极星指标】。这个指标一定是最能体现X目标的。

比如闲聊机器人是为了陪伴用户度过每个无聊的曰子,北极星指标应该是活跃度和留存率;营销机器人是为了让用户下单,北极星指标应该是营销转化率。同样的客服机器人是为了解决用户疑惑,不用转人工从而降低成本,所以北极星指标应该是【X接待率】,与其相反的就是【转人工率】。维护客服机器人,其实就是不断提高X接待率,降低转人工率。

找到这个核心指标不是X,毕竟这个指标可能连我不怎么用网络的舅舅都知道。这只是一个开始,接下来还得知道哪些因素会影响该指标,才能从这些方向zhēn对性地优化机器人。

2. 客服Xliú

要想降低转人工率,也就是机器人能帮客户解决更多问题,那就要qiú机器人能像人工客服一样,甚至做得比人工客服更好,才能让客户认可。我们回想下,客服在解答用户问题时,都做了哪些事?

小七总结了一下,客服的核心Xliú分为三部分:

  1. 了解用户的问题:知道用户问的是什么问题,如果用户表达不清楚,还需要跟用户确认
  2. 了解问题的解fǎ:知道该问题如何解决,考验客服对X的熟悉程度
  3. 解答用户的问题:X用户听得懂的表达来解答用户问题,且需要适时安抚

3. 机器人X目标

了解了客服的核心Xliú之后,我们需要让机器人也能完成这个liú程,从而让客户愿意接受机器人的X,降低转人工率。对于机器人来说,要满足核心X要qiú,需要其达到对应的能力。那具体对应是哪些能力,这里我根据以往的经验,做了一层映射。

  1. 了解用户的问题:准确知道用户问题的意图,若意图缺失,还需要与用户确认
  2. 了解问题的解fǎ:知道大部分X问题的X,能够在识别到用户意图之后给出解fǎ
  3. 解答用户的问题:X话术需要让用户听得懂,听得舒服,保持人性化

根据以上内容,我总结了降低机器人转人工率的三个方向以及对应指标,接下来我们就一个个方向进行细化。

二、细化

1. 识别得多不多

识别得多不多,也就是机器人能不能理解用户更多意图,并给出相应X。这里就要qiú机器人知识库能够覆盖更多X问题,当X覆盖率越高,机器人就能识别更多意图,解答更多X问题。

X问题可以X聚类X数据筛选出来,那如何从更细化的指标体现X覆盖率呢?

一般来说,知识库覆盖的X问题越多,机器人不知道的问题就越少,也就是无fǎ识别的比例越低;对应能够识别且X的问题越多,也就是直接X比例越高。在这两者之间,还有一类间接回答的场景,也就是机器X概知道但又不大确定的问题,就会推荐几个类似问题让用户确认。

总的来说,要衡量机器人识别得多不多,可以X机器人X类型来判断,目标就是:机器人X的所有消息中,直接回答比例不断提升,间接X和无fǎ识别的比例不断降低。

2. 识别得准不准

我们想观察机器人识别得准不准,实际上就是在分析机器人自信认为理解了用户的意图,而事实上到底对不对。

机器人自信认为对的问题,也就是我们前面说的直接回答场景,也就是机器人直推且正确的消息数与机器人直推的消息数比例,可以归纳为【直推准确率】。当然,判断机器人直接X准不准确,需要机器人训练师做人工质检,才能得到确切的数据。

另一方面,我们也可以考核机器人给出所有反馈的准确率,包括了直接回答和间接回答。虽然间接回答是机器人不大自信,没有给出直接X,从而给出了推荐问题;但如果推荐问题都是错的,那就没有任何意义,甚至大大降低了用户体验,所以还是需要保证其准确性。

因此我们可以归纳为【综合准确率】,公式可以总结为:(机器人直推且正确的消息数+机器人间接回答且正确的消息数)/机器人直接+间接回答的总消息数。

当然,或许有人会有疑惑,机器人间接回答到底正不正确很难衡量,甚至人为质检都存在很大不确定性。确实,这个指标比较模糊,但我们可以从用户反馈动作来观察,也就是看机器人间接推荐了问题且用户采纳问题去查询X的场景,我们就理解为机器人间接回答是正确的。从这个定义出发的话,我们也不需要进行人工质检,由系统根据用户反馈来进行统计。

3. 回答得好不好

X覆盖也做了,准确性也X了,最后就是要给出X。衡量机器人回答得好不好,很大程度上跟AI能力无关,而是运营效果的衡量。运营人员给每条知识库问题配了X之后,这个X需要能够解决用户问题,安抚用户情绪,从而让用户不转人工。所以要看回答得好不好,一方面我们需要细化到每个FAQ的效果来看,另一方面这是一个非常主观的问题,所以我们需要将主观变为客观,也就是看zhēn对每个X,用户的反馈。

用户对机器人的反馈一般有两种,一种是转不转人工,另一种就是评价,对应的指标就是【X解决率】和【X的满意度】

X解决率就是机器人给出了X后,用户是否转人工,若是转人工了,说明X无fǎ解决用户问题,如果没有转人工,一定程度上可以理解为解答了用户问题。所以运营可以X这个指标,筛选出X转人工率最高的问题,进行zhēn对性优化,提升X解决率。

X满意度是X用户对机器人X的点赞或者点踩来进行分析,我们可以分为整体点赞/点踩率和单个X的点赞/点踩率,从整体和jú部去分析机器人回答的好坏。例如某个X的点踩率特别高,我们就需要进行策略调整,是不是换个X内容,甚至牺牲转人工率,让其进入人工,从而保证用户体验。

三、总结

好了,有了以上细化的衡量方向,我们就可以清晰地看出影响智能客服北极星指标的因素有哪些,总结如下图;同时我们X具体数据,也能巩固知道应该往哪些方向去优化。

比如直接推荐比例很低,那就需要训练师覆盖更多的XX场景;直推准确率很低,就需要训练师增加相似问fǎ,算fǎ工程师调优模型;X点踩率很高,就需要运营优化X及X策略。

收藏 (0) 打赏

以上内容不错,打赏支持一下!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

声明:本站所有教程资源,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

雄发创业网 软文营销推广 智能客服机器人的衡量指标体系 https://www.xiongfawang.com/487.html

常见问题

相关文章

智能客服机器人的衡量指标体系-海报

分享本文封面