能用爬虫在多个网站上下载信息么
泻药。想想谷歌、百度、duckduckgo 这类牛逼的搜索引擎,他们可不是只能爬一个站,对吧?爬虫一点都不神奇——只要你真正理解了HTTP。至于速度慢不慢,编写复杂不复杂,跟你的小目标和现有的技术水平有关。比如说要的抓的表格都有固定的URL生成规则,一猜一个准,那就是100个站也未必是难事。然而如果你的表格URL毫无规律,而且基于Ajax请求HTML片段然后拼接而成,并夹杂了各种奇葩的token校验,那么要付出的劳动就要大出很大。
■网友
可以把爬虫理解为网站资源的批量下载器。
推荐阅读
- 乌鲁木齐再迎大规模降雪多个航班取消
- python 爬虫,咋获得输入验证码之后的搜索结果
- 电视盒子能用代理吗
- 能否推荐一个能用快播看电影且电影都是中英双字幕的网站
- 为啥亚马逊说kindle paperwhite可以续航几周,到我这只能用2、3天
- 趣头条|试驾新辉昂:好像真的只能用低调的奢华来形容
- |苏州科技城新增160多个非机动车停车位!
- 宝宝|关键要看这个!宝宝多大才能用枕头?不是看年龄
- 市政府|常州市政府公布一批人事任免 涉多个公司董事长、总经理
- Apple Pay 是不是有闪付功能的卡才能用