抖音开放平台Logo
开发者文档
“/”唤起搜索
控制台

评测优化

收藏
我的收藏

评测优化介绍

评测优化是针对智能体性能和效果进行的定量/定性评估。通过构建标准化评测集,并支持自定义评估方式和评估维度,对智能体的运行结果进行评估和分析,从而验证智能体的核心能力,并输出可指导智能体优化的评测结果。

核心优势

    •多渠道创建评测集:提供智能生成和自定义导入等评测集创建方式,智能生成可根据自然语言指令或知识库内容参考生成评测数据,自定义导入可根据实际任务需求自主构建并上传标准化评测集。
    •多维度评测任务:提供基础指标计算和机器评估等评估方式,基础指标计算可评估智能体性能指标,或针对单节点计算准召率等效能指标,机器评估可定义评估维度,对智能体最终输出效果进行评估。

通用评测流程

Step1:创建与配置评测集

进入智能体/工作流的“效果优化”界面,点击【创建评测集】,即可选择评测集的创建方式

    1.评测集创建方式

平台提供了灵活的评测集创建方式,你可以通过“智能生成”快速生成评测集,也可以通过“自定义导入”实现定制化的评测。
创建方式
功能说明
使用限制
示意图
智能生成
提示词生成
根据你输入的提示词或描述性语句,结合智能体自身的Prompt,智能地生成一批用于评测的数据。适合快速生成大量围绕核心功能的测试用例。
    •仅支持生成单轮对话数据
    •单次最多生成200条
知识库生成
如果你的智能体/工作流挂载了知识库,此方式可根据知识库内容,智能生成与知识相关的问答数据,专项考察智能体对知识的理解和运用能力。
    •仅支持生成单轮对话数据
    •仅支持文件类型的知识库(最多5个)
    •单次最多生成200条
自定义导入
本地表格
最常用的方式。支持上传你自己在本地准备好的.csv、.xlsx或.xls格式的表格文件,自由度最高。
    •最多上传1个文件
    •文件大小不超过20MB
    •文件行数不超过5万条
飞书表格
直接粘贴飞书表格的链接,授权后即可导入数据。适合团队协作和在线维护评测集。平台会校验操作者是否拥有该表格的阅读权限。
    •仅读取表格的第一个Sheet页
历史数据
非常实用的功能。你可以通过设置筛选条件(如时间范围),直接从线上真实的智能体/工作流对话记录中抽取数据,快速构建一套贴近真实用户场景的评测集。
    •最多可抽取200条
线上采样
针对该智能体/工作流的运行情况,定时采样线上真实数据
​
    •采样率最低需设置1%
    •单次采样数量上限5000条
    •最大可配置60天的采样任务
    •最大支持回溯7天历史数据

    2. 字段映射

什么是字段映射?
简单来说,就是告诉系统你的评测集表格里,哪一列对应智能体的哪一个输入参数。比如,表格里的“用户问题”列,应该作为智能体的“用户输入”参数来运行。
为什么需要映射?
一次映射,多次使用。设置好后,以后再用这个评测集就无需重复配置,能大大提高效率,降低评测任务创建成本。
仅自定义导入-本地表格/飞书表格创建评测集需要设置字段映射:
    •输入参数映射:系统会自动列出当前智能体的所有输入参数(包括自定义参数和选用的系统变量)。需要在每个参数后面,选择它对应的评测集列名即可。
    •新增映射:也可以添加新的字段(例如“预期输出”),用来建立新的映射关系,便于在后续的评测中做对比。

Step2:创建并运行评测任务

当评测集就绪后,便可以正式创建评测任务。点击右上角【创建评测任务】,进入任务信息配置界面。
一份评测集可以进行多次评测任务。
平台提供了两种任务类型:基础指标计算、效果评测。每种类型服务于不同的评测目标。

    1.基础指标计算

任务类型
功能说明
评估指标
全局评估
适用智能体、工作流
评估智能体的整体基础性能表现
    •成功率
    •Token消耗:总消耗、平均消耗
    •运行耗时:总耗时、平均耗时、P99耗时
节点评估
适用工作流
评估工作流中某个单一节点输出结果的准召率
    •二分类任务节点:节点输出可通过设定基准线(分类标准),将结果分为两类,通过比对分类结果和预期结果,来计算准召率(支持bool、int、float、string类型输出的节点)
    ◦string类型:当节点输出与设定基准线相等,标记为正例
举例:
    •节点实际输出结果分别为:有风险、无风险、有风险
    •分类标准:有风险(即当输出结果为“有风险”时,将其分类为正例)
    •分类结果:正例、负例、正例
    ◦bool类型:当节点输出与设定基准线相等,标记为正例
举例:
    •节点实际输出结果分别为:true、false、true
    •分类标准:false(即当输出结果为“false”时,将其分类为正例)
    •分类结果:负例、正例、负例
    ◦int/float类型:当节点输出大于设定基准线相等,标记为正例
举例:
    •节点实际输出结果分别为:0.7、0.6、0.9
    •分类标准:0.8(即当输出结果大于“0.8”时,将其分类为正例)
    •分类结果:负例、负例、正例
    •多分类任务节点:节点输出为标签分类结果,通过比对分类结果(实际节点输出)和预期结果,来计算每个标签单独的准召率(仅支持string类型输出的节点)
举例:
    •节点实际输出结果分别为:高风险、低风险、中风险、无风险
    •当计算“高风险”分类标签的准召率时,实际输出结果为“高风险”时标记为正例,其余输出结果均标记为负例
    •准确率:分类结果与预期结果一致的比例
$$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$$
    •召回率:预期结果为正例的样本中,分类结果也为正例的比例
$$ \text{Recall} = \frac{TP}{TP + FN}$$
    •精确率:分类结果为正例的样本中,预期结果也为正例的比例
$$ \text{Precision} = \frac{TP}{TP + FP}$$
    •F1值:精确率和召回率的调和平均数
$$ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
暂时无法在飞书文档外展示此内容

    2.效果评测

    •效果评测的机器评估方式,是基于裁判智能体(Judge Agent),从不同维度对智能体的最终输出效果进行打分,还可增加预期结果,作为辅助评估的参考内容,让评估更精准。
什么是裁判智能体(Judge Agent):
一个基于预设模板框架与评测标准编排的评审智能体,能自动对模型输出进行打分和给出评分理由
机评模板核心模块包含:Judge Agent 角色定义、核心任务定义、打分维度与规则设定、总分计算规则、输出格式要求模板
内置评估维度
    •单轮指标:指令遵循度、事实忠实度、轨迹合理性、工具选择正确性、工具参数正确性、回复准确性、人设相关性、知识相关性、生图质量
    •多轮指标:对话完整性、上下文一致性、上下文利用度、任务完成度、逻辑连贯性
自定义评估维度
当内置评估维度无法完全覆盖业务诉求时,可以自定义一个新的维度与标准

Step3:查看评测结果

评测任务运行结束后,可以点击任务列表的详情,查看任务下具体的评测结果;
模块
详情
示意图
结果明细
在【结果明细】tab页,下方可查看对话的任务状态、维度评分与原因、总耗时、token消耗。点击右侧“详情”可查看对话详情,点击三个点进入“日志”可查看智能体节点调用详情。可以将结果导出至本地或飞书表格。
指标统计
在【指标统计】tab页,可查看性能指标(运行耗时、输入token消耗、输出token消耗、总token消耗)与评估指标的数据统计情况及相应图表。
归因分析
在【归因分析】tab页,可以根据智能体编排、评测结果、运行Trace进行归因分析,并根据问题提供可执行的优化建议,辅助Agent调优。

多轮对话评测流程

多轮对话评测是一种专为检验非任务型工作流智能体在连续、有上下文的互动中表现而设计的方法。它不再是简单的一问一答,而是模拟真实用户与智能体进行多轮次、有逻辑关联的对话,从而评估智能体在记忆、理解、追问、任务完成等方面的综合能力。

Step1:创建与配置评测集

    1.评测集创建方式

多轮对话评测集需要自定义导入,对于本地表格(csv)、飞书表格的模板类型,平台提供了多轮对话评测集模板。模板包含以下4个字段:
    •输入参数:填写你希望发起对话的第一轮输入,可理解为用户的开场白
    •图片上传(可选):对话时上传的图片
    •对话意图:定义一个模拟用户的提问方式或对话目标,指导后续对话的走向
    •对话轮次:为一个整数,定义本次模拟对话的最大轮次上限,平台限制最大为 50 轮

    2.字段映射

    •预设字段:
    ◦输入参数(必选):对应模板中“输入参数”列
    ◦图片上传(可选):对应模板中“图片上传”列
    •需添加字段:
    ◦对话意图:在智能体的自定义变量列表中,选择【对话意图】,对应模板中“对话意图”列。
    ◦对话轮次:在智能体的自定义变量列表中,选择【对话轮次】,对应模板中“对话轮次”列。

Step2:评测集管理

    1.添加数据:同【通用评测流程-评测集创建方式】,可添加表格或手动添加数据
    2.编辑与预览对话:
    a.点击数据右侧三个点,进入编辑弹窗,可以进行单条数据编辑;
    b.点击弹窗左下角“预览对话”,可以进行此轮对话预览,点击右下角“终止对话”可终止,终止后可重新生成

Step3:创建评测任务

操作同【通用评测流程】,不同点在于:
    1.基础指标计算:多轮对话评测仅支持全局评估;
    2.效果评测:可选用预设好的多轮指标

Step4:查看评测结果

其他同【1.通用评测流程】,不同点在于:
    •结果明细:在【结果明细】tab页,下拉列表选择“多轮对话明细”可以查看每回合对话中每轮的用户输入与实际输出内容,以及任务状态、评分、总耗时、token消耗。