时间线…
- 2022-02-09:企查查关停了appv2.qichacha.net(无法访问)
- 2022-03-16:企查查关停了appv3.qichacha.net(全部405)
- 目前appv4.qichacha.net可用…
为何选择APP抓取?
企查查APP未登陆状态下搜索每次返回40条搜索结果,不可翻页,且手机号,邮箱未脱敏,对代理IP封禁率低.
涉及知识点:
企查查APP启动后首先会发送/app/v1/admin/getAccessToken
请求获取access_token
,然后我们拿access_token
即可发送查询请求,getAccessToken
请求如下图所示.
其中请求参数部分,appId
为固定值,写死;deviceId
为阿里UTDID算法生成的值,简单随机大小写字母,数字随机拼接即可,sign
为签名,签名算法是阿里聚安全com.alibaba.wireless.security.jaq.SecuritySignature.sign()
,直接frida脚本hook一下,然后flask开个接口远程调用即可.
接下来是搜索请求/app/v3/base/advancedSearch
,这个请求中searchKey
就是我们需要搜索的关键词,也可以根据自己的需求增加注册资本,省市区,行业,企业类型等多种搜索条件,每次搜索返回最多40条结果,且不可翻页.完整请求如下图.
总的来说,搜索抓取效率较高,分分钟亿级别,不过大家还是温柔以待吧,不要太疯狂.
未经允许不得转载:鹞之神乐 » 关于爬虫抓取企查查APP搜索结果的总结(持续更新)
15.6版本有个附近搜索的功能,40109,能解决么?
可以做,但是按定位搜索附近这个功能强制登录的,可以去注册点帐号这么玩
现在那个获取token的方法好像变了,并且好像访问频率也被限制了,
刚测试的,获取token没变,依然可以用。需要帮助加微信聊:KingFalse