抓取频次 Quota 设置
收藏
我的收藏重点说明抓取频次与提交的页面量关系,包括 qps 的计算。
页面提交数量
单日提交的路径上限在 100 以内。假如有存量大量优质的内容想要快速收录,可以与对接运营或研发单独沟通诉求。
爬虫抓取频次
爬虫的抓取频次,可以在后台进行设置,建议抓取频次设置的数量为每日提交页面数量的两倍。这是由于入搜索之前会由治理完成审核,因此同样的页面会被请求两次。
QPS 计算
计算公式:
- •页面访问 QPS = Math.min(抓取上限,单日提交页面数量*2) / (24*60*60)。
- •开发者服务器的 QPS = 页面访问 QPS * 页面内的 接口请求。
举例说明:
- •假如设置抓取频次上限为 80 万次/天,单日提交页面数量为 100 万,那么实际入库数量每日为 40 万,页面访问的 QPS 为 800000/(24*60*60) 约等于 9.25,开发者服务器的 QPS 等于页面访问 QPS 9.25 * 页面内的接口请求数。
- •假如设置抓取频次上限为 200 万次/天,单日提交页面数量为 100 万,那么实际入库数量每日为 100 万,页面访问 QPS 为 2000000/(24*60*60) 约等于 23。