python3爬虫中引用Queue的实例讲解

我们去一个受欢迎的地方买东西，难免会需要排队等待。如果有多个窗口的话，就会有不同队列的产生，当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识，应该怎么在queue中应用呢？接下来就开始今天的内容学习：

队列这种东西大家应该都知道，就是一个先进先出的数据结构，而python的标准库中提供了一个线程安全的队列，也就是说该模块是适用于多线程编程的先进先出（first-in,first-out，fifo）数据结构，可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定，使用多个线程可以安全地处理同一个 queue 实例。queue 的大小（其中包含的元素个数）可能要受限，以限制内存使用或处理。

在python 3中要引入queue和python 2中引入queue是不同，引入方式如下：

#python 2
import queue
# python 3
from queue import queue

因为是线程安全的，很自然就可以利用queue来实现一个多线程爬虫咯，而queue的一些常见操作如下：

# 实例化一个队列，可以在指定队列大小
q = queue.queue()
q_50 = queue.queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空，是否满
if q.empty()：
  print('队列为空')
if q.full():
print('队列满')

另外，除了普通队列，标准库中还有优先队列和后进先出队列这两个队列，分别为lifoqueue和priorityqueue，其引用方式与queue类似。

到此这篇关于python3爬虫中引用queue的实例讲解的文章就介绍到这了,更多相关python3爬虫中如何引用queue案例内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！