抖音开放平台Logo
开发者文档
“/”唤起搜索
控制台

标注优化

收藏
我的收藏

标注优化介绍

标注优化是一套“标注-学习-上线-度量”的自动化闭环系统。它允许用户对智能体的线上真实对话进行效果标注,用户只需告诉智能体“好”与“不好”,平台就能利用这些标注数据自动完成后续的调优、上线和效果评估,实现智能体的持续、低成本迭代。

解决痛点

    •效果不达标:当智能体出现答非所问、事实错误、语气不当等问题时,提供快速、精准的纠正渠道。
    •迭代成本高:无需复杂的Prompt或代码调整,非技术人员也能轻松参与优化,大幅降低迭代门槛和人力成本。
    •优化周期长:改变传统“发现问题->技术排查->模型重训->手动上线”的漫长链路,将优化周期缩短至天级。
    •效果不可知:提供量化指标(如:“标注优化转化比”)来度量每一次标注带来的实际收益,让优化效果清晰可见。

核心收益

    •提升回答准确率:通过持续的正负样本输入,智能体能更好地理解用户意图,减少事实性错误和不相关回答
    •改善用户体验:优化语气、风格和内容结构,使对话更自然、更符合业务场景要求,从而提升用户满意度
    •提高运营效率:一个标注样本可能带动数十甚至上百个相似问题的回答质量提升(体现为“标注优化转化比”),实现“四两拨千斤”的杠杆效应

典型场景

场景
描述
示例
客服与问答
纠正错误答案,补充知识盲点,优化标准回复的语气
用户问“如何开发票”,智能体回复错误流程。运营标注为“不符合预期”,并给出正确流程作为理想回复
内容创作
调整生成内容的风格、格式或关键信息点,使其更符合发布渠道的要求
智能体生成的营销文案过于口语化,运营标注并要求其使用更正式、专业的语调
任务助理
当智能体对指令的理解有偏差,或执行结果不完整时进行纠正
用户要求“总结上周会议纪要”,智能体遗漏了关键决策点。运营在理想回复中补充了遗漏信息
数据查询
智能体提供的业务数据不准确或解读有误
智能体回复“上月销售额增长10%”,实际为8%。运营标注为“与事实不符”,并给出正确数据

指标解释

指标名称
解释说明
对话用户数(UV)
在选定时间范围内,与该智能体进行过至少一次有效对话的独立用户数量。这是衡量智能体覆盖广度的核心指标
对话次数(PV)
在选定时间范围内,用户与智能体之间完成的“一来一回”的总次数。每次用户输入并获得智能体回复,即计为一次对话
人均对话次数
总对话次数/对话用户数。该指标反映了用户与智能体交互的深度。人均对话次数越高,通常意味着用户的粘性或遇到的问题复杂度越高
正/负反馈
指在特定渠道(如抖音服务消息、自研应用内)的用户“赞”/“踩”行为。这是最直接的用户满意度信号,但通常数据较稀疏。我们的“标注”正是对这类反馈的有效补充和规模化
标注优化转化比
定义:模型自动优化后,增量线上回答符合标注要求的比例。通俗地说,它衡量了每一个标注样本能带来多少倍的正面效果计算公式:
标注优化转化比=增量优质回答规模/标注规模举例:标注了10条“不符合预期”的对话,并供了理想回复。次日模型优化后,线上自动出现了200条与理想回复相似的优质回答。那么,转化比就是200/10=20。这意味着每个标注平均撬动了20个线上问题的改善
样本与增量
    •样本:已完成标注的对话数据,是模型学习的“基础教材”
    •增量:模型在学习“样本”后,在实际线上生成的、符合标注意图但未被人工标注的新回答。转化比衡量的就是“样本”带来的放大效果,即每一份标注数据在多大程度上转化为了更多符合预期的线上回答

标注流程

模式差异

模式
是否支持批量标注
优化方式
核心思想
智能体模式
支持
通过“对话明细”页面的批量标注功能,对线上真实对话进行反馈
侧重于整体对话效果的宏观优化。通过大量样本让模型自学习,提升通用对话能力
工作流模式
不支持
在工作流(画布)内,通过修改Prompt、调整工具链、增加逻辑判断等方式进行调试和优化
侧重于任务执行逻辑的精确控制。问题通常出在流程设计而非模型本身,因此需要在画布中“手术刀式”地精准调整

通用流程

Step1:数据采集

在「对话明细」中,通过筛选“来源渠道”、“时间”或直接搜索关键词,快速查询智能体对话表现

Step2:数据标注

    1.勾选目标对话:在「对话明细」中,勾选一条或多条希望优化的对话,点击「批量标注」
    2.开始标注:在弹出的标注界面中,对每一个对话样本进行操作
    a.选择标注结果:
    i.符合预期:如果智能体的回答准确、恰当,请标注为此项
    ii.不符合预期:当回答存在任何问题时,选择此项
    b.填写不符合原因:如果选择了「不符合预期」,需要进一步提供信息
    c.快捷标签:勾选最符合问题类型的标签,如“与事实不符”、“有害不安全”、“语气不当”等,可多选
    d.自定义输入:请用清晰的语言描述:
    i.问题出在哪:具体说明是哪个事实错了,哪个逻辑不通,或者哪句话让人不舒服
    ii.优化建议:期望智能体如何改进?例如“应该先确认用户的意图,而不是直接回答”、“需要增加更多细节”
    iii.理想回复:请直接给出你认为最符合预期的完整回答,作为模型学习与优化的“终极范本”

Step3:智能调优

    1.T+1自动执行:平台将在次日中午12:00前,自动汇总前一天的标注数据,并触发次智能调优任务
    2.原因定位与策略选择:系统基于「不符合预期」样本的标签与描述,分析问题根因(如事实错误、逻辑不通、语气不当等),并匹配最优调优策略
    3.模型优化与自动上线:基于标注数据对模型进行微调(Fine-tuning),生成优化后的新版本模型,并以无感方式完成上线,不影响线上服务
    4.效果度量与反馈:新模型上线后,平台将持续跟踪其表现,并计算如“标注优化转化比”等指标,在「数据总览」页面进行展示,帮助评估优化效果