Python异步爬虫requests和aiohttp中代理IP的使用

爬虫要想爬的好，ip代理少不了。。现在网站基本都有些反爬措施，访问速度稍微快点，就会发现ip被封，不然就是提交验证。下面就两种常用的模块来讲一下代理ip的使用方式。话不多说，直接开始。

requests中代理ip的使用：

requests中使用代理ip只需要添加一个proxies参数即可。proxies的参数值是一个字典，key是代理协议（http/https），value就是ip和端口号，具体格式如下。

注意： peoxies的key值（http/https）要和url一致，不然会直接使用本机ip直接访问。

aiohttp中代理ip的使用：

由于requests模块不支持异步，迫不得已使用aiohttp，掉了不少坑。
它的使用方式和requests相似，也是在get()方法中添加一个参数，但此时的参数名为proxy，参数值是字符串，且字符串中的代理协议，只支持http，写成https会报错。
这里记录一下我的纠错历程。。
首先根据网上的使用方式，我先试了一下下面的代码。

修改后，再来

非但没有解决反倒多了一个警告，好在改一下就好。额~懒得粘了，直接来最终版本吧。。

虽然纠错过程有点长，但好在知道怎么用了。

 到此这篇关于python异步爬虫requests和aiohttp中代理ip的使用的文章就介绍到这了,更多相关requests和aiohttp中代理ip内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！