能用爬虫在多个网站上下载信息么

泻药。想想谷歌、百度、duckduckgo 这类牛逼的搜索引擎,他们可不是只能爬一个站,对吧?爬虫一点都不神奇——只要你真正理解了HTTP。至于速度慢不慢,编写复杂不复杂,跟你的小目标和现有的技术水平有关。比如说要的抓的表格都有固定的URL生成规则,一猜一个准,那就是100个站也未必是难事。然而如果你的表格URL毫无规律,而且基于Ajax请求HTML片段然后拼接而成,并夹杂了各种奇葩的token校验,那么要付出的劳动就要大出很大。
■网友
可以把爬虫理解为网站资源的批量下载器。


    推荐阅读