学习python爬虫程序需要熟悉js吗?
你要学的不是JS,而是HTTP基础
■网友
今天刚逛了segmentfault,看见楼上Binux说的一句话,与其说学网络爬虫,倒不如先学学怎么做网页。所以,学不学JS不是关键,但你连网页到底是如何传递数据的都不知道,是绝难写出一个好爬虫的。
■网友
当然要了解js,HTTP基础也是必须的(比如较短时间多次抓取同一页面可能会返回refused),你说的情况可能是网页把请求放入了ajax,所以导致你很困惑,但请求是骗不了浏览器的,可以在chrome下XHR刷新查看请求。我抓过某蛋疼网站,该网站将部分数据插入js脚本返回,小诡计,不是人人都只知道审查元素的,这种可以不懂js正则匹配就行。还有一种是每次加载他返回一个存储了一些基本信息的json文件放在客户端,当客户端需要发送某些请求时,该网页会使用json 文件里面的数据做key加密来拼GET请求。这种就需要你去理清js ,一般不会太复杂。
■网友
这个还是比较简单的 没有Post.Get下就行,找到那段查ip的请求。 【学习python爬虫程序需要熟悉js吗?】
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
- 婴儿|美国儿科学会: 1岁以下婴儿不推荐学习游泳
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 在美国大学学习computer science 是啥样的体验
- 作为软件工程大二的学生,学习一般,编程一般,毕业后能干些啥
- 计算机深度学习方面sci三区期刊推荐
- 零基础入门学习啥语言好
- 有哪些好的学习英文的视频网站