评测优化
评测优化介绍
评测优化是针对智能体性能和效果进行的定量/定性评估。通过构建标准化评测集,并支持自定义评估方式和评估维度,对智能体的运行结果进行评估和分析,从而验证智能体的核心能力,并输出可指导智能体优化的评测结果。
核心优势
- •多渠道创建评测集:提供智能生成和自定义导入等评测集创建方式,智能生成可根据自然语言指令或知识库内容参考生成评测数据,自定义导入可根据实际任务需求自主构建并上传标准化评测集。
- •多维度评测任务:提供基础指标计算和机器评估等评估方式,基础指标计算可评估智能体性能指标,或针对单节点计算准召率等效能指标,机器评估可定义评估维度,对智能体最终输出效果进行评估。
通用评测流程
Step1:创建与配置评测集
进入智能体/工作流的“效果优化”界面,点击【创建评测集】,即可选择评测集的创建方式
1.评测集创建方式
平台提供了灵活的评测集创建方式,你可以通过“智能生成”快速生成评测集,也可以通过“自定义导入”实现定制化的评测。
创建方式 | 功能说明 | 使用限制 | 示意图 | |
智能生成 | 提示词生成 | 根据你输入的提示词或描述性语句,结合智能体自身的Prompt,智能地生成一批用于评测的数据。适合快速生成大量围绕核心功能的测试用例。 |
| |
知识库生成 | 如果你的智能体/工作流挂载了知识库,此方式可根据知识库内容,智能生成与知识相关的问答数据,专项考察智能体对知识的理解和运用能力。 |
| ||
自定义导入 | 本地表格 | 最常用的方式。支持上传你自己在本地准备好的 .csv、.xlsx或.xls格式的表格文件,自由度最高。 |
| |
飞书表格 | 直接粘贴飞书表格的链接,授权后即可导入数据。适合团队协作和在线维护评测集。平台会校验操作者是否拥有该表格的阅读权限。 |
| ||
历史数据 | 非常实用的功能。你可以通过设置筛选条件(如时间范围),直接从线上真实的智能体/工作流对话记录中抽取数据,快速构建一套贴近真实用户场景的评测集。 |
| ||
线上采样 | 针对该智能体/工作流的运行情况,定时采样线上真实数据 |
| ||
2. 字段映射
什么是字段映射?
简单来说,就是告诉系统你的评测集表格里,哪一列对应智能体的哪一个输入参数。比如,表格里的“用户问题”列,应该作为智能体的“用户输入”参数来运行。
为什么需要映射?
一次映射,多次使用。设置好后,以后再用这个评测集就无需重复配置,能大大提高效率,降低评测任务创建成本。
仅自定义导入-本地表格/飞书表格创建评测集需要设置字段映射:
- •输入参数映射:系统会自动列出当前智能体的所有输入参数(包括自定义参数和选用的系统变量)。需要在每个参数后面,选择它对应的评测集列名即可。
- •新增映射:也可以添加新的字段(例如“预期输出”),用来建立新的映射关系,便于在后续的评测中做对比。
Step2:创建并运行评测任务
当评测集就绪后,便可以正式创建评测任务。点击右上角【创建评测任务】,进入任务信息配置界面。
一份评测集可以进行多次评测任务。
平台提供了两种任务类型:基础指标计算、效果评测。每种类型服务于不同的评测目标。
1.基础指标计算
任务类型 | 功能说明 | 评估指标 |
全局 评估
| 评估智能体的整体基础性能表现 |
|
节点评估
| 评估工作流中某个单一节点输出结果的准召率
|
$$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$$
$$ \text{Recall} = \frac{TP}{TP + FN}$$
$$ \text{Precision} = \frac{TP}{TP + FP}$$
$$ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ 暂时无法在飞书文档外展示此内容 |
2.效果评测
- •效果评测的机器评估方式,是基于裁判智能体(Judge Agent),从不同维度对智能体的最终输出效果进行打分,还可增加预期结果,作为辅助评估的参考内容,让评估更精准。
什么是裁判智能体(Judge Agent):
一个基于预设模板框架与评测标准编排的评审智能体,能自动对模型输出进行打分和给出评分理由
机评模板核心模块包含:Judge Agent 角色定义、核心任务定义、打分维度与规则设定、总分计算规则、输出格式要求模板
内置评估维度 |
| |
自定义评估维度 | 当内置评估维度无法完全覆盖业务诉求时,可以自定义一个新的维度与标准 |
Step3:查看评测结果
评测任务运行结束后,可以点击任务列表的详情,查看任务下具体的评测结果;
模块 | 详情 | 示意图 |
结果明细 | 在【结果明细】tab页,下方可查看对话的任务状态、维度评分与原因、总耗时、token消耗。点击右侧“详情”可查看对话详情,点击三个点进入“日志”可查看智能体节点调用详情。可以将结果导出至本地或飞书表格。 | |
指标统计 | 在【指标统计】tab页,可查看性能指标(运行耗时、输入token消耗、输出token消耗、总token消耗)与评估指标的数据统计情况及相应图表。 | |
归因分析 | 在【归因分析】tab页,可以根据智能体编排、评测结果、运行Trace进行归因分析,并根据问题提供可执行的优化建议,辅助Agent调优。 |
多轮对话评测流程
多轮对话评测是一种专为检验非任务型工作流智能体在连续、有上下文的互动中表现而设计的方法。它不再是简单的一问一答,而是模拟真实用户与智能体进行多轮次、有逻辑关联的对话,从而评估智能体在记忆、理解、追问、任务完成等方面的综合能力。
Step1:创建与配置评测集
1.评测集创建方式
多轮对话评测集需要自定义导入,对于本地表格(csv)、飞书表格的模板类型,平台提供了多轮对话评测集模板。模板包含以下4个字段:
- •输入参数:填写你希望发起对话的第一轮输入,可理解为用户的开场白
- •图片上传(可选):对话时上传的图片
- •对话意图:定义一个模拟用户的提问方式或对话目标,指导后续对话的走向
- •对话轮次:为一个整数,定义本次模拟对话的最大轮次上限,平台限制最大为 50 轮
2.字段映射
- •预设字段:
- ◦输入参数(必选):对应模板中“输入参数”列
- ◦图片上传(可选):对应模板中“图片上传”列
- •需添加字段:
- ◦对话意图:在智能体的自定义变量列表中,选择【对话意图】,对应模板中“对话意图”列。
- ◦对话轮次:在智能体的自定义变量列表中,选择【对话轮次】,对应模板中“对话轮次”列。
Step2:评测集管理
- 1.添加数据:同【通用评测流程-评测集创建方式】,可添加表格或手动添加数据
- 2.编辑与预览对话:
- a.点击数据右侧三个点,进入编辑弹窗,可以进行单条数据编辑;
- b.点击弹窗左下角“预览对话”,可以进行此轮对话预览,点击右下角“终止对话”可终止,终止后可重新生成
Step3:创建评测任务
操作同【通用评测流程】,不同点在于:
- 1.基础指标计算:多轮对话评测仅支持全局评估;
- 2.效果评测:可选用预设好的多轮指标
Step4:查看评测结果
其他同【1.通用评测流程】,不同点在于:
- •结果明细:在【结果明细】tab页,下拉列表选择“多轮对话明细”可以查看每回合对话中每轮的用户输入与实际输出内容,以及任务状态、评分、总耗时、token消耗。
