python爬取拉勾网数据并进行数据可视化 _python爬取

爬取拉勾网关于Python职位相关的数据信息，并将爬取的数据已csv各式存入文件，然后对csv文件相关字段的数据进行清洗，并对数据可视化展示，包括柱状图展示、直方图展示、词云展示等并根据可视化的数据做进一步的分析，其余分析和展示读者可自行发挥和扩展包括各种分析和不同的存储方式等。。。。。
回到顶部
一、爬取和分析相关依赖包

Python版本： Python3.6
requests: 下载网页
math: 向上取整
time: 暂停进程
pandas：数据分析并保存为csv文件
matplotlib：绘图
pyecharts：绘图
statsmodels：统计建模
wordcloud、scipy、jieba：生成中文词云
pylab：设置画图能显示中文

在以上安装或使用过程中可能读者会遇到安装或导入失败等问题自行百度，选择依赖包的合适版本
回到顶部
二、分析网页结构
通过Chrome搜索'python工程师'，然后右键点击检查或者F12,,使用检查功能查看网页源代码,当我们点击下一页观察浏览器的搜索栏的url并没有改变，这是因为拉勾网做了反爬虫机制, 职位信息并不在源代码里,而是保存在JSON的文件里,因此我们直接下载JSON,并使用字典方法直接读取数据.即可拿到我们想要的python职位相关的信息，

文章插图

待爬取的python工程师职位信息如下：

文章插图

为了能爬到我们想要的数据，我们要用程序来模拟浏览器来查看网页，所以我们在爬取的过程中会加上头信息，头信息也是我们通过分析网页获取到的，通过网页分析我们知道该请求的头信息，以及请求的信息和请求的方式是POST请求，这样我们就可以该url请求拿到我们想的数据做进一步处理

文章插图

爬取网页信息代码如下：
import requestsurl = ' https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'def get_json(url, num): """ 从指定的url中通过requests请求携带请求头和请求体获取网页中的信息, :return: """ url1 = 'https://www.lagou.com/jobs/list_python%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88?labelWords=&fromSearch=true&suginput=' headers = { 'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/66.0.3359.139 Safari/537.36', 'Host': 'www.lagou.com', 'Referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=', 'X-Anit-Forge-Code': '0', 'X-Anit-Forge-Token': 'None', 'X-Requested-With': 'XMLHttpRequest' } data = https://www.isolves.com/it/cxkf/yy/Python/2019-08-21/{ 'first': 'true', 'pn': num, 'kd': 'python工程师'} s = requests.Session() print('建立session：', s, 'nn') s.get(url=url1, headers=headers, timeout=3) cookie = s.cookies print('获取cookie：', cookie, 'nn') res = requests.post(url, headers=headers, data=data, cookies=cookie, timeout=3) res.raise_for_status() res.encoding = 'utf-8' page_data = res.json() print('请求响应结果：', page_data, 'nn') return page_dataprint(get_json(url, 1))通过搜索我们知道每页显示15个职位，最多显示30页,通过分析网页源代码知道，可以通过JSON里读取总职位数,通过总的职位数和每页能显示的职位数.我们可以计算出总共有多少页，然后使用循环按页爬取, 最后将职位信息汇总, 写入到CSV格式的文件中.
程序运行结果如图:

文章插图

爬取所有python相关职位信息如下：

文章插图

回到顶部
三、数据清洗后入库
数据清洗其实会占用很大一部分工作，我们在这里只做一些简单的数据分析后入库。在拉勾网输入python相关的职位会有18988个。你可以根据工作中需求选择要入库的字段，并对一些字段做进一步的筛选，比如我们可以去除职位名称中为实习生的岗位，过滤指定的字段区域在我们指定区域的职位，取字段薪资的平均值，以最低值和差值的四分之一为平均值等等根据需求自由发挥
import pandas as pdimport matplotlib.pyplot as pltimport statsmodels.api as smfrom wordcloud import WordCloudfrom scipy.misc import imreadfrom imageio import imreadimport jiebafrom pylab import mpl# 使用matplotlib能够显示中文mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题# 读取数据df = pd.read_csv('Python_development_engineer.csv', encoding='utf-8')# 进行数据清洗，过滤掉实习岗位# df.drop(df[df['职位名称'].str.contains('实习')].index, inplace=True)# print(df.describe())# 由于csv文件中的字符是字符串形式，先用正则表达式将字符串转化为列表，在去区间的均值pattern = 'd+'# print(df['工作经验'], 'nnn')# print(df['工作经验'].str.findall(pattern))df['工作年限'] = df['工作经验'].str.findall(pattern)print(type(df['工作年限']), 'nnn')avg_work_year = []count = 0for i in df['工作年限']: # print('每个职位对应的工作年限',i) # 如果工作经验为'不限'或'应届毕业生',那么匹配值为空,工作年限为0 if len(i) == 0: avg_work_year.append(0) # print('nihao') count += 1 # 如果匹配值为一个数值,那么返回该数值 elif len(i) == 1: # print('hello world') avg_work_year.append(int(''.join(i))) count += 1 # 如果匹配为一个区间则取平均值 else: num_list = [int(j) for j in i] avg_year = sum(num_list) / 2 avg_work_year.append(avg_year) count += 1print(count)df['avg_work_year'] = avg_work_year# 将字符串转化为列表,薪资取最低值加上区间值得25%，比较贴近现实df['salary'] = df['薪资'].str.findall(pattern)#avg_salary_list = []for k in df['salary']: int_list = [int(n) for n in k] avg_salary = int_list[0] + (int_list[1] - int_list[0]) / 4 avg_salary_list.append(avg_salary)df['月薪'] = avg_salary_list# df.to_csv('python.csv', index=False)