标注优化
标注优化介绍
标注优化是一套“标注-学习-上线-度量”的自动化闭环系统。它允许用户对智能体的线上真实对话进行效果标注,用户只需告诉智能体“好”与“不好”,平台就能利用这些标注数据自动完成后续的调优、上线和效果评估,实现智能体的持续、低成本迭代。
解决痛点
- •效果不达标:当智能体出现答非所问、事实错误、语气不当等问题时,提供快速、精准的纠正渠道。
- •迭代成本高:无需复杂的Prompt或代码调整,非技术人员也能轻松参与优化,大幅降低迭代门槛和人力成本。
- •优化周期长:改变传统“发现问题->技术排查->模型重训->手动上线”的漫长链路,将优化周期缩短至天级。
- •效果不可知:提供量化指标(如:“标注优化转化比”)来度量每一次标注带来的实际收益,让优化效果清晰可见。
核心收益
- •提升回答准确率:通过持续的正负样本输入,智能体能更好地理解用户意图,减少事实性错误和不相关回答
- •改善用户体验:优化语气、风格和内容结构,使对话更自然、更符合业务场景要求,从而提升用户满意度
- •提高运营效率:一个标注样本可能带动数十甚至上百个相似问题的回答质量提升(体现为“标注优化转化比”),实现“四两拨千斤”的杠杆效应
典型场景
场景 | 描述 | 示例 |
客服与问答 | 纠正错误答案,补充知识盲点,优化标准回复的语气 | 用户问“如何开发票”,智能体回复错误流程。运营标注为“不符合预期”,并给出正确流程作为理想回复 |
内容创作 | 调整生成内容的风格、格式或关键信息点,使其更符合发布渠道的要求 | 智能体生成的营销文案过于口语化,运营标注并要求其使用更正式、专业的语调 |
任务助理 | 当智能体对指令的理解有偏差,或执行结果不完整时进行纠正 | 用户要求“总结上周会议纪要”,智能体遗漏了关键决策点。运营在理想回复中补充了遗漏信息 |
数据查询 | 智能体提供的业务数据不准确或解读有误 | 智能体回复“上月销售额增长10%”,实际为8%。运营标注为“与事实不符”,并给出正确数据 |
指标解释
指标名称 | 解释说明 |
对话用户数(UV) | 在选定时间范围内,与该智能体进行过至少一次有效对话的独立用户数量。这是衡量智能体覆盖广度的核心指标 |
对话次数(PV) | 在选定时间范围内,用户与智能体之间完成的“一来一回”的总次数。每次用户输入并获得智能体回复,即计为一次对话 |
人均对话次数 | 总对话次数/对话用户数。该指标反映了用户与智能体交互的深度。人均对话次数越高,通常意味着用户的粘性或遇到的问题复杂度越高 |
正/负反馈 | 指在特定渠道(如抖音服务消息、自研应用内)的用户“赞”/“踩”行为。这是最直接的用户满意度信号,但通常数据较稀疏。我们的“标注”正是对这类反馈的有效补充和规模化 |
标注优化转化比 | 定义:模型自动优化后,增量线上回答符合标注要求的比例。通俗地说,它衡量了每一个标注样本能带来多少倍的正面效果计算公式: 标注优化转化比=增量优质回答规模/标注规模举例:标注了10条“不符合预期”的对话,并供了理想回复。次日模型优化后,线上自动出现了200条与理想回复相似的优质回答。那么,转化比就是200/10=20。这意味着每个标注平均撬动了20个线上问题的改善 |
样本与增量 |
|
标注流程
模式差异
模式 | 是否支持批量标注 | 优化方式 | 核心思想 |
智能体模式 | 支持 | 通过“对话明细”页面的批量标注功能,对线上真实对话进行反馈 | 侧重于整体对话效果的宏观优化。通过大量样本让模型自学习,提升通用对话能力 |
工作流模式 | 不支持 | 在工作流(画布)内,通过修改Prompt、调整工具链、增加逻辑判断等方式进行调试和优化 | 侧重于任务执行逻辑的精确控制。问题通常出在流程设计而非模型本身,因此需要在画布中“手术刀式”地精准调整 |
通用流程
Step1:数据采集
在「对话明细」中,通过筛选“来源渠道”、“时间”或直接搜索关键词,快速查询智能体对话表现
Step2:数据标注
- 1.勾选目标对话:在「对话明细」中,勾选一条或多条希望优化的对话,点击「批量标注」
- 2.开始标注:在弹出的标注界面中,对每一个对话样本进行操作
- a.选择标注结果:
- i.符合预期:如果智能体的回答准确、恰当,请标注为此项
- ii.不符合预期:当回答存在任何问题时,选择此项
- b.填写不符合原因:如果选择了「不符合预期」,需要进一步提供信息
- c.快捷标签:勾选最符合问题类型的标签,如“与事实不符”、“有害不安全”、“语气不当”等,可多选
- d.自定义输入:请用清晰的语言描述:
- i.问题出在哪:具体说明是哪个事实错了,哪个逻辑不通,或者哪句话让人不舒服
- ii.优化建议:期望智能体如何改进?例如“应该先确认用户的意图,而不是直接回答”、“需要增加更多细节”
- iii.理想回复:请直接给出你认为最符合预期的完整回答,作为模型学习与优化的“终极范本”
Step3:智能调优
- 1.T+1自动执行:平台将在次日中午12:00前,自动汇总前一天的标注数据,并触发次智能调优任务
- 2.原因定位与策略选择:系统基于「不符合预期」样本的标签与描述,分析问题根因(如事实错误、逻辑不通、语气不当等),并匹配最优调优策略
- 3.模型优化与自动上线:基于标注数据对模型进行微调(Fine-tuning),生成优化后的新版本模型,并以无感方式完成上线,不影响线上服务
- 4.效果度量与反馈:新模型上线后,平台 将持续跟踪其表现,并计算如“标注优化转化比”等指标,在「数据总览」页面进行展示,帮助评估优化效果
