python中用Scrapy实现定时爬虫的实例讲解

一般网站发布信息会在具体实现范围内发布，我们在进行网络爬虫的过程中，可以通过设置定时爬虫，定时的爬取网站的内容。使用python爬虫框架scrapy框架可以实现定时爬虫，而且可以根据我们的时间需求，方便的修改定时的时间。

1、scrapy介绍

scrapy是python的爬虫框架，用于抓取web站点并从页面中提取结构化的数据。任何人都可以根据需求方便的修改。scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

2、使用scrapy框架定时爬取

import time
from scrapy import cmdline
def dosth():
  # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name
  cmdline.execute('scrapy crawl zhilian_spider'.split())
# 想几点更新,定时到几点
def time_ti(h=17, m=54):
  while true:
    now = datetime.datetime.now()
    # print(now.hour, now.minute)
    if now.hour == h and now.minute == m:
      dosth()
    # 每隔60秒检测一次
    time.sleep(60)
time_ti()

3、更简单的写法

import time
import sys
import os
import datetime
def dingshi():
while true:
os.system("scrapy crawl lcp")#lcp是我们爬虫的代码名字哦
time.sleep(60)
dingshi()

知识点扩展：

直接使用timer类实例代码

import time
import os
while true:
 os.system("scrapy crawl news")
 time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者，使用标准库的sched模块
import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性调度触发的函数
def func():
 os.system("scrapy crawl news")
def perform1(inc):
 schedule.enter(inc,0,perform1,(inc,))
 func() # 需要周期执行的函数
def mymain():
 schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
 mymain()
 schedule.run() # 开始运行，直到计划时间队列变成空为止关于cmd的实现方法，本人在单次执行爬虫程序时使用的是 
cmdline.execute("scrapy crawl news".split())但可能因为cmdline是scrapy模块中自带的，所以定时执行时只能执行一次就退出了。

到此这篇关于python中用scrapy实现定时爬虫的实例讲解的文章就介绍到这了,更多相关python中使用scrapy实现定时爬虫内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！