如何通过搜索引擎爬虫通道发送异步请求?

Ori Goren-Bar 阳锐
Ori Goren-Bar 阳锐
  • 更新于

使用搜索引擎爬虫时有两个方法发送请求:同步和异步。

  • 同步请求:发送请求并即时获得响应
  • 异步请求:发送请求却不等待响应结果,而是获得 “response_ID”,我们将会在发送请求后的 24 小时内储存响应结果,你可以在方便时通过 API 或者 Webhook 收集结果。

因此,异步请求需要 2 个不同的 API 指令:

  • 发送请求:该请求包含搜索参数,并以 response_ID 作为回应。该请求需要付费。
  • 搜集响应结果:此请求使用收到的 response_ID。该请求无需付费。

为发送异步请求的 Curl API 指令例子

ata.com/api/serp/req?customer=[账户_ID]&zone=[通道名]" -H "Content-Type: application/json" -H "Authorization: Bearer [API_验证]" -d "{\"country\":\"us\",\"query\":{\"q\":\"pizza\",\"num\":\"100\",\"hl\":\"en\",\"gl\":\"au\"}}"

`x-response-id` 标头包含了一个 response_ID,便于您在收集响应结果时使用;


收集异步响应结果的 API 指令例子

curl -v --compressed "https://brightdata.com/api/serp/get_result?customer=[账户_ID]&zone=[通道名]&response_id=${[RESPONSE_ID]}" -H "Authorization: Bearer [API_验证]"

 

请注意:

更多信息,请点击查看:如何配置搜索引擎爬虫通道 <LINK>

Share this

这篇文章有帮助吗?

1 人中有 1 人觉得有帮助