python爬虫一般用哪个模块
1、http 的部分
先通过标准库练习基本功夫。
21.6. urllib.request - Extensible library for opening URLs - Python 3.6.4 documentation以后工作建议用 requests
Requests: HTTP for Humans2、 信息抽取的部分
大的方向是从html 树 中抽取信息。
【python爬虫一般用哪个模块】 用到的模块或第三方库有：正则、lxml 、Beautiful Soup Documentation 等
■网友
请求 : requests/aiohttp解析 : beautifulsoup/lxml/pyquery/requests-html
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫，咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_（）：...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php，Python，Ruby的话
- 30岁男，创业失败转行学python，是否很晚?也不好找工作?
- Python 的开发速度比 C#.net 或 Vb.net 更快吗?
- 1、相同的网址，为啥浏览器http和https都能登录，而爬虫不行\n2、网页下载内容不全