使用搜索引擎爬虫时有两个方法发送请求:同步和异步。
- 同步请求:发送请求并即时获得响应
- 异步请求:发送请求却不等待响应结果,而是获得 “response_ID”,我们将会在发送请求后的 24 小时内储存响应结果,你可以在方便时通过 API 或者 Webhook 收集结果。
因此,异步请求需要 2 个不同的 API 指令:
- 发送请求:该请求包含搜索参数,并以 response_ID 作为回应。该请求需要付费。
- 搜集响应结果:此请求使用收到的 response_ID。该请求无需付费。
为发送异步请求的 Curl API 指令例子
ata.com/api/serp/req?customer=[账户_ID]&zone=[通道名]" -H "Content-Type: application/json" -H "Authorization: Bearer [API_验证]" -d "{\"country\":\"us\",\"query\":{\"q\":\"pizza\",\"num\":\"100\",\"hl\":\"en\",\"gl\":\"au\"}}"
`x-response-id` 标头包含了一个 response_ID,便于您在收集响应结果时使用;
收集异步响应结果的 API 指令例子
curl -v --compressed "https://brightdata.com/api/serp/get_result?customer=[账户_ID]&zone=[通道名]&response_id=${[RESPONSE_ID]}" -H "Authorization: Bearer [API_验证]"
请注意:
- 发送许多的请求时,推荐使用异步模式
- 当您在搜索引擎代理通道启动 “异步请求” 选项时, 搜索引擎爬虫 API 指令模拟 和
搜索引擎爬虫 API 指令资源指南上生成的 API 将相应调整。
更多信息,请点击查看:如何配置搜索引擎爬虫通道 <LINK>