- 整体介绍
- 抖音
- 今日头条
- 头条极速版
抓取频次 Quota 设置
更新时间 2024-07-24 02:58:49
收藏重点说明抓取频次与提交的页面量关系，包括 qps 的计算。
页面提交数量
单日提交的路径上限在 100 以内。假如有存量大量优质的内容想要快速收录，可以与对接运营或研发单独沟通诉求。
爬虫抓取频次
爬虫的抓取频次，可以在后台进行设置，建议抓取频次设置的数量为每日提交页面数量的两倍。这是由于入搜索之前会由治理完成审核，因此同样的页面会被请求两次。
QPS 计算
计算 公式：
- •页面访问 QPS = Math.min(抓取上限，单日提交页面数量*2) / (24*60*60)。
- •开发者服务器的 QPS = 页面访问 QPS * 页面内的接口请求。
举例说明：
- •假如设置抓取频次上限为 80 万次/天，单日提交页面数量为 100 万，那么实际入库数量每日为 40 万，页面访问的 QPS 为 800000/(24*60*60) 约等于 9.25，开发者服务器的 QPS 等于页面访问 QPS 9.25 * 页面内的接口请求数。
- •假如设置抓取频次上限为 200 万次/天，单日提交页面数量为 100 万，那么实际入库数量每日为 100 万，页面访问 QPS 为 2000000/(24*60*60) 约等于 23。
点击纠错
