​
接口说明

作为我们数据解决方案中的全能型产品，General Scrape API 不局限于电商数据，它能为您提供覆盖新闻、社交媒体、论坛、企业官网等多样化网站的公开数据采集能力。通过稳定的同步API接口，您可以实时获取包括舆情动态、行业趋势、竞品信息等关键商业情报。无论是市场调研、品牌监测还是投资分析，General Scrape API 都能为您提供全面、及时的数据支持，助您做出更精准的商业决策。
通用采集API一般网页抓取成功率可达 90% 以上

​
请求URL

POST https://scrapeapi.pangolinfo.com/api/v1/scrape/batch

​
请求头

参数名参数值类型说明
Content-Typeapplication/jsonstring数据格式
AuthorizationBearer xxxstring认证凭证

​
请求参数

参数必填类型说明
urlsYesstring[]目标网页URLs
formatYesstringrawHtml, markdown
timeoutNoint超时时间，单位ms

​
响应值

返回值类型说明
codeint状态码
messagestring信息
dataobject返回数据

​
返回参数 data 说明

返回值类型说明
jsonstring[]返回json数据
urlstring任务URL
taskIdstring任务ID

​
请求示例

curl --request POST \
  --url https://scrapeapi.pangolinfo.com/api/v1/scrape/batch \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '{
  "urls": [
    "https://www.amazon.com/dp/B0B41YH9B6"
  ],
  "format": "rawHtml",
  "timeout": 40000
}'

​
返回示例

{
  "code": 0,
  "message": "ok",
  "data": [
    {
      "status_code": "200",
      "method": "GET",
      "rawHtml": [
        "<html><head>...</head><body><div class=\"content\">Example content</div></body></html>"
      ],
      "url": "https://www.amazon.com/dp/B0B41YH9B6",
      "taskId": "ac6e32c0554244fe865ff2c0379a307e"
    }
  ]
}

​
积点消耗说明

  • 平均响应时间：5s
  • 积点消耗：
format参数消耗积点数
获取源文件rawHtml、markdown1个/次