前言
本来是想要更新scrapy的，但是怎么说呢，这玩意不难，看着官方文档，基本上就能做，主要是前面的如果你的爬虫基础不好的话，这个scrapy你也玩不好，而且对于大部分的人来说安装scrapy可能都是个问题，因为有一些历史遗留的问题，毕竟是从python2过来的老框架。当然还有个原因，我要做的东西，用不上scrapy，能够用上scrapy如果只是做爬虫，那必然是分布式爬虫，但是我这里要做的可能只是一个客户端，也就是一个spider采集软件，所以这个scrapy没法上。
目标
今天我们要搞的是获取天气，用的api是中国天气网。
网上呢也有很多，那个直接爬取中国天气网的爬虫，但是我就是搞不懂，为啥非要去网页里面然后去xpath或者正则去搞，明明用的都是同一个api出来的数据，我为啥要去页面把人家渲染后的结果去反向解析出数据？我直接拿数据不好嘛？
请求格式
回到这里，咱们的这个接口呢，是一个get请求，然后的话，那啥只需要把城市或者编号放在city那个字段就行了，返回结果是个json，我们把这玩意变成字典后是这样的
请求限制
这里不得不说一下，中国天气网 yyds 这个接口完全没有限制。为啥，我要做的是获取全国的天气信息，包括县城，中国大大小小几千个县城，而且还要分时段去分析，所以每天的请求访问至少2w起步。如果有限制的话，咱们就得那啥反反爬了，但是通过我的测试，没问题。
requests非异步获取
来，我们来先做一个对比，没有对比就没有伤害是吧，由于非常简单我就直接上代码了。
这段代码呢，我做了一个简单的封装。 我们来看看结果，5000次访问花了多久
这里我5000次重复访问的是同一个城市 九江
异步获取
这个代码的话我是没有封装的，所以看起来比较乱。 这里有几个注意点先说一下
系统上限
由于这个，异步的话还是使用的操作系统的一个底层嘛，所以这个并发是有上限的，因为这个协程异步是要不断切换的是吧。看起来有点像python自己的多线程，只是这个“多线程”完全是当io的时候才会切换，不然不会切换。 所以哟啊限制一下
编码
到此这篇关于python实战之异步获取中国天气信息的文章就介绍到这了,更多相关python获取天气信息内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！
