TapCub 正式上线:统计、分析、客服一个平台免费用
在线客服

NLP 聊天机器人:原理,以及该在哪里转交给人

NLP 聊天机器人读的是人的意思,而不是匹配关键词。意图和置信度分数怎样起作用,怎样决定哪些问题交给人,以及怎样用带标价的算例测试阈值。

艾玛·柯林斯 发布于 2026 年 11 月 19 日 9 分钟阅读 在线客服
示例数据:500 条标注消息,人工处理一段对话 4.00 美元,答错一次再多 12.00 美元。中间的阈值得分较高:0.5 回答 430 条但有 48 条答错;0.9 几乎不出错,却把 290 条消息交给了人。示例数据

NLP 聊天机器人用自然语言处理去理解一条自由表述的消息是什么意思,而不是匹配按钮或确切关键词。它会分类意图,给自己的把握打分,然后回答或转人工。真正有用的问题是它该在哪里停下。本文讲它怎样读消息、怎样测试阈值,以及哪些问题交给人。

读完你会知道

  • 把置信度阈值和无匹配路径当作边界,并用数据来设定
  • 涉及钱、例外或客户要求找人的,一律按规则转人工
  • 用真实的标注消息测试,并给答错标价;回答率高不等于结果好

什么是 NLP 聊天机器人,和规则型机器人有什么不同?

NLP 聊天机器人用自然语言处理去弄清一个人这句话是什么意思,而不是拿它去匹配固定脚本。规则型机器人只对确切的按钮或关键词做出反应:消息里有「退款」两个字,就发退款菜单。NLP 机器人读到「蓝色那件我想把钱要回来」,会把它对应到同一个退款请求,尽管「退款」这个词从未出现。

这种灵活是有代价的。规则型机器人错得有规律(它听不懂),NLP 机器人却可能错得很自信(它理解成了别的意思)。所以真正有用的问题不是语言模型有多聪明,而是机器人该在哪里停下、由人接手,以及怎样检查这条线画对了位置。本文讲机器人怎样读一条消息、怎样设定并测试这条线,以及上线后跟踪什么。各种机器人的区别见聊天机器人类型,它们适合的工作见聊天机器人用例。本文不讲算法细节;做决定所需的机制,下面的内容已经足够。

规则型机器人NLP 机器人
能处理的输入按钮、确切关键词自由表述的句子
典型失误「抱歉,我没听懂」对错误的问题给出自信的答案
准备工作手工写出每条路径写示例说法和答案
主要控制点有哪些路径在哪里停下并转人工

NLP 聊天机器人怎样理解一条消息

多数 NLP 聊天机器人对一条消息做三件事,每一件都给你一个调节杆。

  1. 意图分类。 机器人判断对方想要什么,比如「查订单」或「改地址」。意图用示例说法来定义。Google Dialogflow 的文档把意图描述为对用户一轮对话中想要什么的分类,由训练短语定义,并建议每个意图至少准备 10 到 20 条短语,视复杂程度而定。
  2. 实体提取。 机器人从同一条消息里取出它需要的细节,比如订单号或日期。
  3. 置信度分数。 分类器给消息与每个意图的匹配程度打分。在 Dialogflow CX 里分数范围是 0.0 到 1.0:得分最高的意图达到分类阈值就算匹配,没有一个达到,就触发「无匹配」事件。

调节杆由此而来。训练短语决定机器人能认出什么。阈值决定它要有多大把握才回答。无匹配路径决定它没把握时怎么办。阈值和无匹配路径就是边界,多数质量问题是这条边界上的设置问题,而不是语言模型的问题。

线画在哪里:哪些问题该交给人

按答错的代价给问题分类,而不是按识别难易。答案稳定、答错代价低时,机器人可以回答;答案取决于客户账户、或答错代价高时,转人工。

问题类型示例谁来答原因
稳定的政策或操作方法「你们几点营业?」机器人只有一个正确答案,容易核对
查实时系统「我的订单到哪了?」能读系统时由机器人答,否则由人答答案不在知识库里
判断或例外「40 天后还能退货吗?」人取决于个案和政策裁量
钱、安全、法律「我被扣了两次款」人答错的代价高于转人工
情绪激动的客户「这是我第三次问了」人语气和内容同样重要

把规则写成团队可以审计的一句话:「机器人只回答前两行的问题,把握不到 70% 的、涉及钱的、以及客户要求找人的,一律转人工。」英属哥伦比亚的一个仲裁庭在 Moffatt v. Air Canada 案中认定,航空公司要为其网站聊天机器人对客户说的话负责,并驳回了机器人是独立主体的主张,所以机器人说的话就是你的陈述。

怎样评估 NLP 聊天机器人:测试集与阈值

上线前做评估成本很低:取真实的历史消息,人工标出正确答案,让机器人跑一遍并计数。

示例数据:500 条真实客户消息,每条都标注了正确答案。在三个置信度阈值下运行。阈值越高,机器人回答得越少,但答对的比例越高。

阈值机器人回答其中答错转人工答对
0.5430(86.0%)48(11.2%)70382(76.4%)
0.7360(72.0%)14(3.9%)140346(69.2%)
0.9210(42.0%)2(1.0%)290208(41.6%)

现在给它标价。假设人工处理一段对话成本 4.00 美元,答错一次还要多付 12.00 美元(客户回头再问、坐席来纠正、花掉的好感);这两个数都是假设,请换成你自己的。每 500 条消息的价值 = 答对数 × 4.00 美元 − 答错数 × 12.00 美元:

  • 阈值 0.5:382 × 4.00 美元 − 48 × 12.00 美元 = 1,528 美元 − 576 美元 = 952 美元
  • 阈值 0.7:346 × 4.00 美元 − 14 × 12.00 美元 = 1,384 美元 − 168 美元 = 1,216 美元
  • 阈值 0.9:208 × 4.00 美元 − 2 × 12.00 美元 = 832 美元 − 24 美元 = 808 美元

在这份样本上,中间的设置得分更高,尽管它既不是回答得最多的,也不是错得最少的。在 0.5 时,机器人大约每九次回答错一次;在 0.9 时,它把 500 条消息中的 290 条(58.0%)交给了人。改变答错的代价,赢家就会移动,所以要把这个假设写下来。把节省换算成 ROI 的方法见聊天机器人 ROI。

有两点要当心。测试集必须来自真实消息,包括那些别扭的,否则结果会好看得失真。另外,每次修改答案或新增产品都要重跑,因为合适的阈值会随内容移动。

app.tapcub.com

各阈值下每 500 条消息的价值

示例数据,美元
阈值 0.71,216 美元
阈值 0.5952 美元
阈值 0.9808 美元
示例数据
示例数据:500 条标注消息,人工处理一段对话 4.00 美元,答错一次再多 12.00 美元。中间的阈值得分较高:0.5 回答 430 条但有 48 条答错;0.9 几乎不出错,却把 290 条消息交给了人。

上线后跟踪什么

测试集告诉你过去的情况;线上的数字告诉你这条线有没有守住。跟踪五项,每项都有明确公式:

  • 回答率 = 机器人回答的对话数 ÷ 全部对话数。
  • 答错率 = 复核中发现的错误回答数 ÷ 机器人回答的对话数。这需要人工抽样,例如每周 50 段对话。
  • 转人工率 = 转给人的对话数 ÷ 全部对话数,并按原因拆分(没有匹配答案、访客要求、机器人没把握)。
  • 重复联系率 = 七天内就同一问题再次来问的访客数 ÷ 得到回答的访客数。数字高说明答案被接受了,但没有用。
  • 未回答的问题 = 以「无匹配」结束的消息清单。这是下一轮补充训练短语和答案的待办清单。

转人工的原因比总数更重要。因为访客要求找人而转人工,是设计问题;因为机器人没有答案而转人工,是本周就能补上的内容问题。统计「被拦截的对话」时如果不剔除重复联系,会高估成效;严格定义见工单拦截。

指标公式数字不好时指向什么
回答率机器人回答数 ÷ 全部对话数过低:缺内容,或阈值设得太高
答错率复核中的错误回答数 ÷ 回答数过高:阈值太低,或答案过时
转人工率转给人的对话数 ÷ 全部对话数先看原因,再看总数
重复联系率七天内同一问题再来 ÷ 回答数答案被接受了,但没有用
未回答的问题以无匹配结束的消息新增答案的待办清单

答错率需要人工抽样,例如每周 50 段对话。

NLP 聊天机器人的常见误区

  • 追求回答率尽可能高。 在算例里,回答 86.0% 的价值低于回答 72.0%。
  • 用自己写的问题来测试。 团队写的训练短语比真实消息容易。要用历史客户消息。
  • 没有明显的转人工入口。 让「找真人」随时可用;它既是安全阀,也是一个信号。
  • 让机器人回答涉及钱或例外的问题。 无论置信度多高,都按规则转人工。
  • 从不看对话记录。 答错率光靠看板量不出来,必须有人读一批样本。
  • 以为上线就结束了。 产品、价格和政策会变,答案会过时。每周复查未回答清单。

在 TapCub 里:边界看得见的 AI 回复

上面的例子问的是机器人该在哪里停下。TapCub 在线客服让你这样设定并观察这条线,以及它有意不做什么。

  1. 把稳妥的答案放进知识库。 在 客服 › 知识库 里为稳定的问题添加问答条目。匹配到的问答条目原样发送,不消耗 AI 调用。较长的资料用文档条目:它们会被切成约 600 字的段落,通过全文检索找到,再由模型起草回复。
  2. 选择 AI 模式。 在 客服 › 聊天设置 › AI 接待 里选关闭、仅坐席全离线时由 AI 回答,或 AI 先答。资料不够时,访客会被转给人。AI 只生成回复,不修改订单,也不发邮件。
  3. 打开之前先测试。 知识库里的 Playground 让你无需占用额度就能试问题。把测试集里标注好的消息放进去跑一遍。
  4. 按原因读转人工。 在 客服 › 客服工作台 里,每次转人工都标有原因:没有匹配的知识、模型答不了、访客要求、达到轮数上限,或坐席接手。没有匹配的那些就是你的内容待办。
  5. 跟踪命中率。 客服 › 客服报表 显示知识库命中率,即由直接问答匹配或检索回答的问题占比,旁边还有解决率和首次响应。

TapCub 不训练意图模型,也不提供置信度阈值:可调的是知识库里放什么、AI 模式和转人工标注。它也不读取或修改客户订单,所以「查实时系统」那一行的问题要交给人。答错率需要人工抽样读对话记录。AI 客服可以放心接手哪些事,见AI 客服代理。

FAQ

什么是 NLP 聊天机器人?

NLP 聊天机器人是用自然语言处理去理解一条自由表述的消息是什么意思的机器人,而不是匹配按钮或确切关键词。它会分类意图,取出订单号之类的细节,并根据把握有多大来回答或转人工。

NLP 聊天机器人是怎样工作的?

它根据示例说法把消息归入某个意图,提取实体,并给出置信度。得分最高的意图达到阈值就回答;没有达到就触发兜底,比如转人工。质量取决于示例说法、阈值,以及兜底时发生什么。

怎样评估 NLP 聊天机器人?

给 300 到 500 条真实历史消息标注正确答案,在几个置信度阈值下运行,统计回答数、答错数和转人工数。再把一次答错的代价与人工处理一段对话的成本比较。在示例里,阈值 0.7 每 500 条消息的价值是 1,216 美元,0.5 是 952 美元,0.9 是 808 美元。

聊天机器人什么时候该转人工?

答案取决于客户账户或需要判断时,涉及钱、安全或法律问题时,机器人的把握低于你定的置信度时,或客户提出要求时。把这些写成团队可以审计的规则,并排除在机器人的范围之外。

另见:怎样训练聊天机器人:把 50 段对话变成可用的答案。

资料来源

  • Google Cloud。Intents,Dialogflow CX 文档:训练短语(建议 10 到 20 条)、0.0 到 1.0 的置信度分数、分类阈值和无匹配事件。2026-11-19 核对。
  • Civil Resolution Tribunal of British Columbia。Moffatt v. Air Canada, 2024 BCCRT 149:航空公司要为其网站聊天机器人提供的信息负责。2026-11-19 通过法律摘要核对(仲裁庭网站对自动抓取返回 403)。
归档:在线客服

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

艾玛·柯林斯

产品分析师

聚焦事件分析、转化漏斗与用户留存,用清晰的指标定义和分析框架解释产品表现。

在你的机器人转人工的地方设好边界

原样发送的问答、由 AI 起草的文档回答、带原因的转人工和知识库命中率,都在同一个收件箱里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie