python爬虫利用代理池更换IP的方法步骤

0. 前言

周日在爬一个国外网站的时候，发现用协程并发请求，并且请求次数太快的时候，会出现对方把我的服务器ip封掉的情况。于是网上找了一下开源的python代理池，这里选择的是star数比较多的

1. 安装环境

# 安装python虚拟环境， python环境最好为python3.6，再往上的话，安装依赖时会报错
sudo apt update
sudo apt install python3.6
pip3 install virtualenv
virtualenv venv --python=python3.6
source venv/bin/activate

# 安装redis
sudo apt install redis-server
# 启动redis server
redis-server

 2. 安装依赖

git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip install -r requirements.txt

3. 修改配置文件

# 修改setting.py 

# 配置api服务

host = "0.0.0.0"    # ip
port = 5010     # 监听端口

# 配置数据库

# 以下为三个示例，根据redis的配置，选择其中一种即可
# 一般启动redis时如果没有配置文件，那么选择第一种即可
# 1. redis ip: 127.0.0.1 port: 6379
db_conn = 'redis://@127.0.0.1:6379'
# 2. redis ip: 127.0.0.1 port: 6379 password: 123456
db_conn = 'redis://:123456@127.0.0.1:6379'
# 3. redis ip: 127.0.0.1 port: 6379 password: 123456 db: 15
db_conn = 'redis://:123456@127.0.0.1:6379/15'

 

# 配置 proxyfetcher

proxy_fetcher = [
 "freeproxy01",  # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyfetcher.py
 "freeproxy02",
 # ....
]

4. 启动

# 可以用tmux开三个窗口

# 启动调度程序
python proxypool.py schedule

# 启动webapi服务
python proxypool.py server

5. 测试

import requests

def get_proxy():
 return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
 requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# your spider code

def gethtml():
 # ....
 retry_count = 5
 proxy = get_proxy().get("proxy")
 while retry_count > 0:
  try:
   html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})
   # 使用代理访问
   return html
  except exception:
   retry_count -= 1
 # 删除代理池中代理
 delete_proxy(proxy)
 return none

更多的用法和文档请参考：和

到此这篇关于python爬虫利用代理池更换ip的方法步骤的文章就介绍到这了,更多相关python 代理池更换ip内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！