基于Agent智能客服中的意图识别优化

完整正文:进入精读全文

原文结构

  • 01 架构与部署
  • 方案概览
  • 02 意图体系建立
  • 03 意图理解
  • 3.1初级方案A(提示词工程)
  • 3.2中级方案B(意图和抽槽节点分离)
  • 方案特性
  • 优点
  • 缺点
  • 适用场景
  • 3.3启发式问答
  • 3.4高频问题识别
  • 04 长尾问题识别
  • 4.1进阶方案C(意图识别优化:前置意图Rag召回)
  • 进阶背景
  • 方案说明

正文摘录

01 架构与部署

方案概览

提示 搭建一个智能客服机器人,针对其意图识别和槽位抽取做准确性优化。 使用对象存储来存储音频文件,利用智能对话分析技术将音频转换为文字,最后通过通义千问大模型对对话内容进行分析,生成详细的分析报告及评分。

02 意图体系建立

搭建一个智能客服机器人,第一步就是要梳理清楚当前业务下有哪些知识点。

3.1初级方案A(提示词工程)

这是最初采用的方案,也是当前多数智能体所采用的常见方法。

3.2中级方案B(意图和抽槽节点分离)

经过一段时间的探索与实践,采用了意图识别与槽位提取分离的优化方案。

方案A导致的prompt膨胀以及准确性不足的问题需要做针对性解决。

方案特性

优点

提示 为后续的系统维护与功能迭代提供了极大的便利。 从系统结构层面来看,一个意图关联一个抽槽节点的配置方式,使得系统架构在逻辑上更为清晰简洁,极大地降低了结构的复杂程度。 同时,这种设计允许 prompt 长度支持更大。 因为模型在对单意图进行语义解析时,不会受到其他无关意图信息的干扰,能够更加专注于对复杂文本语境中的关键要素进行捕捉与解读。

4.1进阶方案C(意图识别优化:前置意图Rag召回)

进阶背景

提示 采用参数大、满血的模型固然准确性会提升,无法通过人工方式有效控制。 难以快速修复 Bad Case,且满血模型的使用成本和响应时长也会升高。 提示 将特异的问题问题对应到准确的意图上,是阶段性的重点任务。 采用了LLM提前泛化意图的方法,再通过 RAG 召回的方式,来解决之前那些智能体意图识别不准确的问题。

方案说明

提示 在前期方案基础上,加入了 RAG 召回能力,处理垂类和Query的意图识别。 在知识库里上传大量意图分类知识,用户提问时,先用 RAG 召回找到相似的 query 和意图对应关系,让大模型更好地理解垂类或个性化分类判定逻辑。 这个方案对模型推理和泛化能力要求不高,可以选用性价比高的模型。

意图语料种子

意图数据泛化

提示 利用 LLM 对种子语料生成一批同义句,运用基模理解强化机制进行同义替换。 每个意图都需要包含多种句式变体,涵盖口语化表达、地域化表达以及反问句转化训练等内容。

[已移除:营销/导流内容]

方案特性

优点

意图识别的准确性保持在较高水位。

通过将识别 Query 意图的工作,从 LLM 实时泛化识别过程转变为预泛化,从而掌控了项目整体的意图识别泛化能力水平。 提示 在面对线上出现的未被覆盖的 query 意图识别场景时,能够迅速做出响应并加以修复。 仅需通过添加知识库条目的方式,就能快速实现对该场景的覆盖,无需进行修改提示词以及调优等相对复杂繁琐的操作,大大提高了问题解决的效率。

4.7高阶方案D (合并意图抽槽节点 + 升级前置Rag召回能力)

现实场景中,业务需求往往远比预想的更为复杂。

例如,依据多轮对话内容准确判断意图和槽位,避免其在模型识别过程中相互干扰等问题,都极具挑战性。

方案关键部分

(1)意图及槽位CASE管理

提示 为优化多轮对话中的意图解析与槽位抽取,采用了一种基于知识库管理的高效策略。 包含【历史提问】、【最新提问】、【思考过程】、【处理】、【意图】、【槽位】等关键要素的样本案例,并借助知识库检索增强(Retrieval-Augmented Generation,RAG)能力进行统一管理。 提示 当用户提交新问题时,系统将多轮历史对话与当前查询相结合,通过知识库进行精准召回。

方案特性

优点

提示 方案C在确保节点延迟稳定的基础上,显著提升了在复杂意图分支场景下的准确性。 此外,针对线上意图抽槽过程中出现的Bad Case,我们可以通过维护知识库RAG进行快速修复,无需对智能体进行改动或重新发布。

缺点

提示

05 数据回流

在构建AI智能体的过程中,**意图识别和槽位抽取是自然语言理解(NLU)**的两个关键部分,会直接影响智能体的交互质量和用户体验。

意图识别

提示 意图识别(Intent Detection) 核心作用在于准确判断用户的语义目的。

方案横向对比数据

提示 数据测试样本: 采用已上线的出行行业智能体项目(上海地铁智能体),项目有13个预设意图分支,测评集数量443条用例。 [多项附件或图示已省略]

06 领域预训练模型

提示