学习python爬虫程序需要熟悉js吗?

你要学的不是JS,而是HTTP基础
■网友
今天刚逛了segmentfault,看见楼上Binux说的一句话,与其说学网络爬虫,倒不如先学学怎么做网页。所以,学不学JS不是关键,但你连网页到底是如何传递数据的都不知道,是绝难写出一个好爬虫的。
■网友
当然要了解js,HTTP基础也是必须的(比如较短时间多次抓取同一页面可能会返回refused),你说的情况可能是网页把请求放入了ajax,所以导致你很困惑,但请求是骗不了浏览器的,可以在chrome下XHR刷新查看请求。我抓过某蛋疼网站,该网站将部分数据插入js脚本返回,小诡计,不是人人都只知道审查元素的,这种可以不懂js正则匹配就行。还有一种是每次加载他返回一个存储了一些基本信息的json文件放在客户端,当客户端需要发送某些请求时,该网页会使用json 文件里面的数据做key加密来拼GET请求。这种就需要你去理清js ,一般不会太复杂。
■网友
这个还是比较简单的 没有Post.Get下就行,找到那段查ip的请求。 【学习python爬虫程序需要熟悉js吗?】 学习python爬虫程序需要熟悉js吗?


    推荐阅读