怎样使用python根据关键词抓取微博

作为最近才搞完类似项目的来说一句。基本的套路就是利用微博账号模拟登陆,这个过程比较复杂,因为微博有加密处理,推荐去github下载一个python模拟登陆新浪的源码。当你通过模拟登陆进入微博界面的时候,尝试如何用python的模块去提交query,然后通过beautifulsoup或者是httpparse来获取内容信息。当然,自己学习正则表达式来获取也是可以的。最后为了能够达到比较好的检索效果,联系题主学会如何利用Python将查到的结果存入数据库中。轻量级的接口有sqlite3,正式的有MySQL.以上说的就是我最近完成微博项目的一个整体思路,希望能够对题主做个有用的参考。
■网友
1、模拟登录微博。2、通过GET请求来获取搜索页面,其url:微博搜索 - keyword。其中keyword是关键字。3、利用Python的BeautifulSoup或RegEx解析网页,获取每条微博的mid。以上。
■网友
参考这个问题下的回答吧如何入门 Python 爬虫? - 爬虫(计算机网络)
■网友
抓取微博的话Python能抓但并不是唯一的方法,市面上现在有多款爬虫软件都能抓取得到,八爪鱼采集器便是一款模拟人的思维逻辑去浏览网页进行抓取数据的,微博关键词搜索我们就又一个简易模板,只需输入微博的账号密码以及要抓取的关键词,点击采集便可坐等海量数据的抓取,十分方便不妨一试。
【怎样使用python根据关键词抓取微博】 下载链接:https://www.bazhuayu.com/download?utm_campaign=zhihu\u0026amp;utm_medium=question29451757

■网友
貌似电脑版本的微博源代码是加密了的,你可以用wap版本的试试,bs4来抓取试试。


    推荐阅读