抖音开放平台Logo
开发者文档
“/”唤起搜索
控制台

模型库

收藏
我的收藏

模型介绍

模型是AI产物运行时用于「理解输入、推理决策、生成结果」的核心能力组件,可以把它理解为AI产物的大脑。当用户发起对话或触发任务时,AI产物会调用所选模型完成内容生成、信息抽取、意图识别等工作,模型能力直接决定产物的理解水平与回答质量。

功能介绍

平台上的模型主要分为大类:「通识模型」、「空间模型」
    •通识模型:由平台统一引入和维护的通用基础模型,比如豆包、DeepSeek等。它们向所有用户开放,无需申请即可直接在智能应用中使用。
    ◦大语言模型:以文本理解与生成为核心,负责对话问答、内容生成、信息抽取、意图识别等语言类任务。
    ◦生成式模型:面向多模态内容生成,可根据文本或素材生成、编辑图片、视频、音频等内容。
    •空间模型:在当前空间下,由空间成员自行接入和管理的模型。根据权限的不同,又分为:
    ◦团队模型:该空间下所有人可见可用。
    ◦个人模型:仅模型创建者和其添加的协作者可见可用。
模型类型
功能说明
功能示意
通识模型
    •展示样式:以模型系列(如:豆包系列)的卡片进行分组展示,一目了然
    •搜索与筛选:
    ◦搜索框:支持输入任意关键词,对模型名称和描述进行模糊搜索
    ◦筛选器:提供“能力标签”、“输入模态”、“上下文长度”多个维度的标签,支持多选,帮你精准定位
    •模型详情与对比:
    ◦点击模型卡片,可以横向对比同一系列下不同版本的模型信息,包括各自的特点、响应速度和用量等
    ◦点击具体的模型名称,可以进入详情页,查看更完整的信息(如模型观测)
​
空间模型
    •展示样式:以独立的模型卡片平铺展示
    •搜索与筛选:
    ◦搜索框:同样支持关键词模糊搜索
    ◦排序:支持按“热度”(被使用次数)或“更新时间”进行排序
    •模型详情:
    ◦点击卡片可直接进入模型详情页,查看其描述、用量和详细配置信息

名词解释

在模型详情页,会看到「模型详情-用量统计」这个模块,它包含两个核心指标:
指标
定义说明
服务智能体
指已经发布的智能体中(不含草稿状态),选用了当前模型的智能体数量。可以帮助用户判断一个模型在平台上的受欢迎程度。
累计调用
指该模型被所有智能体(包括草稿和已发布状态)调用的总次数,反映了模型的实际使用频率。

模型接入

流程概览

在开始具体配置前,用户可以通过下面的流程图了解从准备外部模型到最终在平台成功接入并发布的完整链路。
整个过程主要分为四大步:准备模型 → 填写配置 → 功能校验 → 发布上线。

配置项详解

接入新模型时,需要填写一系列配置项来定义模型的基础信息、技术规格和权限范围。这些配置分为通用配置和定制化配置两部分。

通用配置项

所有类型的模型接入时,都需要先填写基础配置信息API-Key和模型接入ID/endpoint,填写后,系统自动获取模型信息并填充【能力配置】信息,同时也支持手动修改
配置项名称
参数描述与填写建议
模型名称
在模型库卡片上展示的名称,应清晰易懂,方便他人识别。例如“某某业务专用-文本审核模型”。
生成类型
用于标识模型支持处理的数据类型,准确配置有助于用户快速筛选和识别模型能力。支持以下类型:
    •文本生成
    •图片生成
    •视频生成
    •音频生成
模型描述
用于说明模型的功能定位、适用场景及能力特点,帮助用户了解和选择模型。
模型来源
模用于区分模型的厂商和基座。用户需要根据用户的模型实际情况选择,例如:
    •方舟模型(Ark):模型部署在字节云方舟平台。
    •Laplace:通过Laplace框架调用部署在Bernard上的模型。
    •Predict:通过内容治理平台的Predict服务代理调用的模型。
    •Merlin:通过Merlin平台部署和管理的模型。
    •modelhub:由modelhub平台引入的三方模型。
    •三方模型:三方厂商直供模型,如阿里云百炼、智谱等。
API-Key
用于调用模型服务的认证凭证。请填写有效的API Key,以确保模型能够正常访问对应服务。
Endpoint/模型接入ID
模型服务入口。这是实现调用的关键,必须遵循厂商规范,确保准确无误。不同模型来源的Endpoint/模型接入ID格式不同,详见下文。
能力配置
填入API-Key和Endpoint后平台会自动填入
上下文长度
模型支持的最大上下文长度。可选值有32k,128k,256k等,支持自定义。
最大回复长度
模型能够返回的最大Token数量。可选值有12k,16k,32k等,支持自定义,请根据用户的模型实际能力填写。
输入模态
为模型配置能够接收和理解的数据类型,当前支持以下输入形式:
    •文本
    •图片
    •视频
    •音频
模型超时时间
调用模型的超时时间,单位为秒。默认为600秒(10分钟),可根据模型响应速度酌情调整。
能力标签
​
为模型配置能力标签以开启相关能力,并提升模型在模型库中的检索和发现效率。支持以下能力标签:
    •工具调用:模型具备自主选择并调用外部工具的能力,可结合工具完成查询、计算、数据处理等复杂任务。
    •深度思考:模型具备较强的推理和分析能力,能够对复杂问题进行拆解、规划和逐步求解。
    •结构化输出:模型支持按照预设格式输出结果,例如JSON等结构化数据,便于系统解析和自动化处理。
    •上下文缓存:支持缓存对话上下文信息,减少重复加载和处理历史内容的开销,从而降低请求耗时,提升模型响应效率和资源利用率。
    •GUI任务处理:模型支持图文结合的多轮交互,精准解析GUI操作指令并生成可执行的动作逻辑。
深度思考配置
可选择是否启用模型深度思考
权限配置
    •访问类型:选择模型展示范围
    •模型管理成员:默认仅有创建者本人,可进行协作者添加

定制化配置

根据用户在「通用配置」中选择的模型来源(category+base_model_name),需要为接入的模型填写对应的定制化参数,确保平台能正确理解并调用模型。

    1.方舟模型

方舟模型是部署在字节云Ark平台上的模型。
来源地址(方舟Ark):https://cloud.bytedance.net/ark
安全警告:API Key(ak)是敏感凭证,相当于访问模型的密码,请务必妥善保管,切勿硬编码在代码或公开的文档中!
从方舟平台创建到接入:可以参考以下流程图,了解在方舟平台创建模型服务,并将其接入本平台的完整步骤。
{ "ak":"***", "timeout":600, "max_token_limit":"16000", "context_len":"128000", "json_object_enabled":true }
参数
说明
ak
(必填)访问方舟模型所需的API Key。用户可以在方舟平台的API管理页面创建和获取。
endpoint
在方舟平台的模型服务-服务详情页可以找到用户的模型部署的接入点Endpoint地址。
timeout
调用模型的超时时间,单位为秒。默认为600秒(10分钟),可根据模型响应速度酌情调整。
max_token_limit
模型能够返回的最大Token数量。可选值有12k,16k,32k等,支持自定义,请根据用户的模型实际能力填写。
context_len
模型支持的最大上下文长度。可选值有32k,128k,256k等,支持自定义。

    2.Laplace模型

通过Laplace框架,可以调用部署在Bernard平台上的各类模型。
来源地址(Bernard):https://bernard-boe.byted.org/
参数
说明
endpoint
填写Bernard平台上的PSM(PlatformServiceModule)名称,例如data.content_security.sex_suggestive_hmc。
config
    •prompt_template/structured_prompt_template:分别为普通调用和结构化展示时使用的Prompt模板。
    •choice_type:模型的能力类型,如normal(普通)、mcq(多分类)。
    •single_image:是否为单图模式,布尔值true或false。
    •label_prompt:可为不同的三级标签配置独立的Prompt模板。
input_schema
定义模型的输入参数结构。用户可以通过direct_params和template_params两种方式定义常量或变量输入。
output_schema
定义模型的输出参数结构,包括每个输出字段的key、名称和数据类型。这有助于平台正确解析模型返回的结果。

    3.Predict模型

Predict是业务安全侧提供的模型代理服务,可以方便地调用内容治理模型市场中的各类模型。
来源地址(业务安全平台):https://safe.bytedance.net/home
{ "model_ability_code":"your_ability_code", "input_keys":["image_url","ocr"], "model_scene":"default_scene", "need_mcq":true, "timeout":5 }
参数
说明
model_ability_code
(必填)在内容治理平台模型市场中获取的模型能力号。
input_keys
定义模型需要哪些输入字段,以数组形式提供。
model_scene
指定模型的应用场景。
need_mcq
是否需要多分类(MultipleChoiceQuestion)能力。
timeout
调用超时时间,单位为秒。
input_schema
定义模型的输入参数结构。用户可以通过direct_params和template_params两种方式定义常量或变量输入。
output_schema
定义模型的输出参数结构,包括每个输出字段的key、名称和数据类型。这有助于平台正确解析模型返回的结果。

    4.Merlin模型

Merlin是一个集模型开发、训练、部署于一体的平台。
部署指南:模型部署
关键配置项:config-模型配置,对于Merlin模型,配置相对简单,最核心的是提供访问凭证。
    •ak:访问Merlin模型服务所需的凭证。
{ "ak":"your_merlin_access_key" }

    5.modelhub模型

modelhub模型是由集团内modelhub平台引入的三方厂商模型。
来源地址(modelhub平台):https://aidp.bytedance.net/modelhub/model-square
安全警告:API Key(ak)是敏感凭证,相当于访问模型的密码,请务必妥善保管,切勿硬编码在代码或公开的文档中!
从modelhub平台创建到接入:可以参考以下流程图,确保已申请并创建好modelhub场景。
参数
说明与获取方式
ak
(必填)访问三方厂商模型所需的API Key。用户可以在各厂商平台的API管理页面创建和获取。
模型接入ID
​
在modelhub平台的模型接入页面可以找到用户的可用模型的模型名称信息。(modelhub平台的模型名称对应平台模型接入ID/模型版本名)
timeout
调用模型的超时时间,单位为秒。默认为600秒(10分钟),可根据模型响应速度酌情调整。
max_token_limit
模型能够返回的最大Token数量。可选值有12k,16k,32k等,支持自定义,请根据用户的模型实际能力填写。
context_len
模型支持的最大上下文长度。可选值有32k,128k,256k等,支持自定义。

    6.三方模型

三方模型是指由第三方模型服务厂商提供、非集团内部署的模型。平台已支持接入阿里云百炼、百度千帆、MiniMax、腾讯混元、DeepSeek、月之暗面、智谱、Anthropic、OpenAI、Google、OpenRouter等主流模型服务商,可按需接入对应模型。
安全警告:API Key(ak)是敏感凭证,相当于访问模型的密码,请务必妥善保管,切勿硬编码在代码或公开的文档中!
从三方厂商平台创建到接入(以阿里云百炼为例):
参数
说明与获取方式
ak
(必填)
访问三方厂商模型所需的API Key。用户可以在各厂商平台的API管理页面创建和获取。
模型接入ID
​
在三方厂商平台的模型服务详情页可以找到用户的可用模型的模型名称信息。
各厂商模型接入ID命名不同,具体可参考厂商API文档确认。
timeout
调用模型的超时时间,单位为秒。默认为600秒(10分钟),可根据模型响应速度酌情调整。
max_token_limit
模型能够返回的最大Token数量。可选值有12k,16k,32k等,支持自定义,请根据用户的模型实际能力填写。
context_len
模型支持的最大上下文长度。可选值有32k,128k,256k等,支持自定义。

安全审核

对于计划上线的方舟模型,平台会进行强制的安全审核,以确保其内容安全符合上线要求。
审核流程:
    1.提交上线申请:当用户在平台提交方舟模型的上线请求时,会自动触发安全审核流程。
    2.自动评测:系统会使用内部评测工具(ByteVal)对模型进行自动化安全测试。
    3.审核与优化:
    ◦如果评测通过,模型将自动上线;
    ◦如果评测不通过,安全团队会给出具体的优化建议(PE建议),用户需要根据建议调整模型或Prompt,然后重新提交审核。
    4.历史记录:平台会记录模型的历史评测结果。如果一个基座模型已经评测通过,后续基于它微调或接入的模型无需重复评测,可以加快上线速度。
常见审核不通过原因及修正建议
    •原因示例:模型在处理某些边缘或不友善的输入时,生成了不当或违规内容。
    •修正建议
    ◦优化Prompt:在用户的系统级Prompt中增加更强的安全指令,明确告知模型哪些内容是禁止生成的。
    ◦数据清洗:检查用户的训练数据,移除其中可能存在的低质量或不安全样本。
    ◦模型微调:使用专门构造的安全样本对模型进行微调,增强其对不当输入的“抵抗力”。

模型管理

操作项
说明
示意图
添加协作者
创建时默认为个人模型,支持在发布正式版后切换模型可见范围
    •个人模型:仅模型创建者和指定协作者可以查看/编辑/使用
    •空间模型:在该空间下的用户均可查看/使用,仅模型创建者和指定协作者能编辑
编辑模型
点击编辑按钮,可以修改模型的基础信息、配置等。
​
上线/下线
    •上线:将一个已下线的模型重新发布,使其可被智能体选用。
    •下线:将一个模型下线。
注意:模型下线后,不会影响那些已经发布并正在使用此模型的智能体。它们会继续正常运行,但新的智能体或新的编排将无法再选用这个已下线的模型。

模型微调

当通用模型或接入的外部模型在用户的特定业务场景下表现不佳时,可以通过模型微调来提升其效果。
什么时候应该考虑微调?
    •当业务场景非常垂直,通用模型的知识无法很好覆盖时。
    •当需要模型遵循一种非常特定的回答风格或格式时。
    •当发现模型在某些重复出现的问题上持续犯错,且通过优化Prompt难以解决时。
微调完整流程:微调的入口位于「智能体编辑器」->「效果优化」页面。整个流程遵循“数据驱动、智能匹配、一键训练”的模式。

Step1:样本积累,标注数据

首先,用户需要在「效果优化」页面积累和标注一批高质量的样本数据。这些数据应能代表用户的真实业务场景。

Step2:匹配策略,定位原因

当用户积累了足够的数据后,系统会基于这些标注数据,自动分析模型表现不佳的根本原因,并智能匹配最优的调优策略,其中就包括「模型微调」。

Step3:启动微调,开始训练

当系统建议进行模型微调时,用户可以一键启动训练任务。平台会以当前智能体选择的模型为基座,使用用户标注好的数据对这个基座模型进行专门的训练。

Step4:完成微调,上新模型

训练完成后,系统会自动生成一个微调后的新模型。这个新模型会被自动添加到用户的智能体中,并发布上线,用户可以立即在应用中体验到效果的提升。

模型使用

模型库里的模型可以在AI Coding和工作流两种模式下使用,但两种模式下的配置略有不同。

AI Coding中使用模型

在AI Coding的编辑页面,可以为AI产物添加和配置大模型。
步骤
详情描述
功能示意
Step1:添加模型入口
    •Coding主模型:承担主要任务或流量的核心AI模型,目前仅支持选择文本生成模型作为主模型
    ◦在AI Coding模式下,进入创建/编辑状态
    ◦点击对话框右侧⌈Auto⌋展开模型列表,选择所需模型
    •辅助模型:提供图片/视频/文本生成模型,支持集成在产物中
    ◦在AI Coding模式下,进入创建/编辑状态
    ◦对话框页面:
    i.方式一:输入@后,唤起添加列表,可通过鼠标/键盘上下按钮,选择资源;选中资源后,资源添加进输入框,显示为标签样式
    i.方式二:在对话框左下方提供【扩展】,点击拓展,展开资源弹窗
Step2:使用模型
点击发送按钮用于向agent发送当次提示词,会基于添加的工具进行运行
/

智能编排中使用模型

智能体中使用模型

功能点
功能说明
示意图
Step1:添加模型
​
在左侧【我的项目】目标智能体下点击【模型】,展开模型列表。你可以通过搜索或筛选定位模型,点击「添加」按钮即可选用。
    •支持搜索或筛选,定位模型
    •点击模型卡片可查看模型详情
    •点击添加按钮可选用模型
    •点击移除按钮可取消选用模型
Step2:配置模型参数
点击模型卡片上的设置按钮,会弹出参数配置面板。各参数说明如下:
    •回复创造性(采样温度):用于控制模型输出的随机性与多样性。
    ◦温度越高:输出更发散、更具多样性与创意;
    ◦温度越低:输出更稳定、更贴合指令,但多样性降低。
建议:对于需要精确答案的任务(如:客服问答),建议使用较低温度;对于需要创意的任务(如:营销文案),可以适当调高。
    •Top P值(累计概率):用于控制模型采样时的候选词范围。一般来说,TopP越小,候选范围越窄,输出更稳定保守;TopP越大,候选范围越广,输出更灵活多样。
建议:不要同时调整「Top P值」与「回复创造性」。两者都会影响输出的随机性与多样性,叠加调整容易导致效果难以预期、也不利于复现。
    •最大回复长度:限制模型单次回复的最大长度(单位:Token;通常100Token≈150个汉字)。若发现回答经常在中途被截断,可适当调大该参数。
    •深度思考开关:用于控制模型是否启用深度思考能力,仅当模型标签包含「深度思考(可关闭)」时,才会显示该开关。
    ◦开启/关闭:强制启用或关闭深度思考。选择开启或自动时,可进一步配置「结果展示思考过程」;
    ◦自动:由模型根据问题复杂度自行判断是否需要深度思考。
    •输出格式:用于指定模型的输出形式。
    ◦自然语言:默认选项,所有模型均支持,模型会像人一样自然地回答;
    ◦JSON结构体/格式化JSON结构体:仅当模型具备「结构化输出能力」标签时,才可选择该输出格式。模型会按照预设的JSON格式返回数据,适合需要程序化处理结果的场景。

工作流中使用模型

在工作流中,可以在特定的节点里调用模型来处理数据或生成内容。
支持配置的节点
选用方式
参数配置
示意图
大模型
在节点的配置面板中,通过下拉框直接选择需要使用的模型。
​
    •回复创造性:与智能体模式下的「回复创造性」是同一个概念。
    •Top P值:与智能体模式下的「Top P值」是同一个概念。
    •最大返回长度:与智能体模式下的「最大回复长度」作用相同。
意图分类
字段提取
生成式模型
​
    •图像生成
    ◦图片分辨率:选择生成图片的尺寸
    ◦最多生成图片数量:设置一次请求最多生成的图片张数
    ◦快速模式:控制图片生成的速度
    ◦保持原图比例:打开开关后,保持输入图片的宽高比例不变
    ◦图片水印:通过开关控制是否给生成的图片添加水印标识
    •视频生成
    ◦视频分辨率:选择视频的分辨率
    ◦视频比例:视频的宽高比例
    ◦视频时长:设置视频的内容时长
    ◦超时时间:设置最大允许执行时长,当生成过程超过该时间,任务失败
    ◦视频水印:通过开关控制是否给生成的视频添加水印标识
    •音频生成
    ◦音乐生成模式:控制生成歌曲还是BGM
​