• 流量入口概述
  • 抖音
  • 直播挂载
  • 短视频挂载
  • 抖音个人页
  • 复访入口
  • 搜索入口
  • 小程序别名与标签搜索
  • 小程序名称搜索
  • 搜索服务直达
  • 搜索FAQ
  • 小程序Web化介绍
  • 开发建议
  • 接入配置
  • 抓取频次 Quota 设置
  • 小程序页面路径提交
  • 索引删除
  • Web化进搜索概述
  • 常见问题FAQ
  • 今日头条
  • 头条极速版
  • 重点说明抓取频次与提交的页面量关系,包括 qps 的计算。

    页面提交数量

    单日提交的路径上限在 100 以内。假如有存量大量优质的内容想要快速收录,可以与对接运营或研发单独沟通诉求。

    爬虫抓取频次

    爬虫的抓取频次,可以在后台进行设置,建议抓取频次设置的数量为每日提交页面数量的两倍。这是由于入搜索之前会由治理完成审核,因此同样的页面会被请求两次。

    QPS 计算

    计算公式:
      页面访问 QPS = Math.min(抓取上限,单日提交页面数量*2) / (24*60*60)。
      开发者服务器的 QPS = 页面访问 QPS * 页面内的接口请求。
    举例说明:
      假如设置抓取频次上限为 80 万次/天,单日提交页面数量为 100 万,那么实际入库数量每日为 40 万,页面访问的 QPS 为 800000/(24*60*60) 约等于 9.25,开发者服务器的 QPS 等于页面访问 QPS 9.25 * 页面内的接口请求数。
      假如设置抓取频次上限为 200 万次/天,单日提交页面数量为 100 万,那么实际入库数量每日为 100 万,页面访问 QPS 为 2000000/(24*60*60) 约等于 23。