江苏龙网

  1. 主页 > 生活百科 > >

Python多线程爬虫，效率真的高( 二 )

Python多线程


在线程中，访问一些全局变量，加锁是一个经常的过程 。如果你是想把一些数据存储到某个队列中，那么Python内置了一个线程安全的模块叫做queue模块 。Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue，LIFO（后入先出）队列LifoQueue 。这些队列都实现了锁原语（可以理解为原子操作，即要么不做，要么都做完），能够在多线程中直接使用 。可以使用队列来实现线程间的同步 。相关的函数如下：
初始化Queue(maxsize)：创建一个先进先出的队列 。
【Python多线程爬虫，效率真的高】1、qsize()：返回队列的大小 。
2、empty()：判断队列是否为空 。
3、full()：判断队列是否满了 。
4、get()：从队列中取最后一个数据 。
5、put()：将一个数据放到队列中 。
使用生产者与消费者模式多线程下载表情包：
 

Python多线程爬虫，效率真的高

文章插图
 
 
GIL全局解释器锁：
Python自带的解释器是CPython 。CPython解释器的多线程实际上是一个假的多线程（在多核CPU中，只能利用一核，不能利用多核） 。同一时刻只有一个线程在执行，为了保证同一时刻只有一个线程在执行，在CPython解释器中有一个东西叫做GIL（Global Intepreter Lock），叫做全局解释器锁 。这个解释器锁是有必要的 。因为CPython解释器的内存管理不是线程安全的 。当然除了CPython解释器，还有其他的解释器，有些解释器是没有GIL锁的，见下面：
1、Jython：用JAVA实现的Python解释器 。不存在GIL锁 。
2、IronPython：用.net实现的Python解释器 。不存在GIL锁 。
3、PyPy：用Python实现的Python解释器 。存在GIL锁 。
GIL虽然是一个假的多线程 。但是在处理一些IO操作（比如文件读写和网络请求）还是可以在很大程度上提高效率的 。在IO操作上建议使用多线程提高效率 。在一些CPU计算操作上不建议使用多线程，而建议使用多进程 。
多线程下载百思不得姐段子作业：
 
Python多线程爬虫，效率真的高

文章插图
 




推荐阅读


上一篇：茶道知识入门基础 茶文化与茶道器具 步骤与艺术

下一篇：问答 桂花茶怎么做 桂花茶的做法