python网页爬虫+简单的数据分析

1.我们今天爬取的目标网站是：http://pm25.in/
2.需要爬取的目标数据是：该网站所有城市的空气质量数据（主要包括AQI、PM2.5/1h、PM10/1h、CO/1h、NO2/1h、O3/1h、O3/8h、SO2/1h）。
3. 我们的最终目标是：将这些数据爬取出来，并写入到.csv/.xlsx文件中，最后通过读取.csv/.xlsx文件的数据，做一下简单的数据分析。
使用的工具是Spyder（ps：个人觉得Spyder要PyCharm好使）

一、数据爬取

这里我用到的库和模块比较多，所有代码量比较少。缺少相关模块的同学自行下载应用即可，这里推荐通过镜像网址（pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests）下载，下载速度会快很多，具体使用方法请参考https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
1. 引入该项目需要用到的相关库和模块

import requests
import csv
from bs4 import BeautifulSoup

2. 接下来写get_all_cities()函数，用来获取所有城市名称及url
其实这里应该先写主函数，不过为了演示效果就先写了get_all_cities()函数。
2.1 创建一个空列表city_list
2.2 通过requests.get(url)构造一个向服务器请求资源的Request对象，设置请求超时时间为60s。
2.3 这里我们指定Beautiful的解析器为“html.parser”
2.4 接下来就要爬取网站中所有城市名称了。以北京市为例，我们首先需要打开待爬取网站并查看网页代码，可以看到“北京”这个城市是隶属于第一个“bottom”，接下来就是将所有“bottom”下的城市全部获取，这里我们使用BeautifulSoup来获取。

2.5 将获取到的城市名称写入列表city_list中，具体代码如下：

def get_all_cites():
#获取所有城市及url
    url = 'http://pm25.in/'
    city_list = []
    r = requests.get(url, timeout=60)
    soup = BeautifulSoup(r.text, 'html.parser')

    city_div = soup.find_all('div',{ 'class':'bottom'})[1]  #查找该网页的第2个bottom
    city_link_list = city_div.find_all('a')
    for city_link in city_link_list:
        city_name = city_link.text
        city_pinyin  = city_link['href'][1:]               #查找city_link_list的herf并从第2个字符取出
        city_list.append((city_name,city_pinyin))
    return city_list
city_list = get_all_cites()
print(city_list)

2.6 我们先来看一下运行该段函数代码的结果是什么样的。

2.7 可以看到已经成功读取到该网站所有城市名称了。

3.下面写get_city_aqi（）函数，用来获取所有城市的AQI值
3.1 以北京市为例，如下图，我们需要获取的数据是AQI对应的44、PM2.5/1h对应的25、PM10/1h对应的43、CO/1h对应的0.5…；

3.2 接下来就是如何获取具体的“value”和“caption”了。

3.3 我们先用requests.get(url)构造一个向服务器请求资源的Reques，请求超时时间设置为60s。同样指定Beautiful的解析器为“html.parser”。接着新建一个div_list用来存放按内容查找到的节点的数值。然后创建一个空的city_aqi列表来存放for循环获取到的所有AQI、PM2.5/1h、PM10/1h、CO/1h、NO2/1h、O3/1h、O3/8h、SO2/1h，最后返回并通过.append写入列表。

具体代码如下：

def get_city_aqi(city_pinyin):

    #获取城市AQI
    url = 'http://pm25.in/' + city_pinyin
    r = requests.get(url,timeout=60)
    soup = BeautifulSoup(r.text,'html.parser')
    div_list = soup.find_all('div',{ 'class':'span1'})

    city_aqi = []
    for i in range(8):
        div_content = div_list[i]
        caption = div_content.find('div',{ 'class','caption'}).text.strip()
        value = div_content.find('div',{ 'class','value'}).text.strip()
        city_aqi.append(value)
    return city_aqi

4. 接下来写main函数，调用前面写的两个功能函数实现数据爬取与写入
这部分内容不是很多，主要设计一些文件操作，对文件操作不熟悉的需要重新学习下python文件操作的基础知识。这里在代码中添加了一些爬取的进度提示并print到窗口，使得过程更贴合实际情况。
4.1 具体实现代码如下：

def main():
    city_list = get_all_cites()

    header = ['city','AQI','PM2.5/1h','PM10/1h','CO/1h','NO2/1h','O3/1h','O3/8h','SO2/1h']

    with open('china_city_aqi.csv','w',encoding='utf-8',newline='') as f:
        writer =csv.writer(f)
        writer.writerow(header)
        for i,city in enumerate(city_list):
            if (i+1)%10 == 0:
                print('已经处理{}条数据。（共有{}条数据）'.format(i+1,len(city_list)))
            city_name = city[0]
            city_pinyin = city[1]
            city_aqi = get_city_aqi(city_pinyin)
            row = [city_name]+city_aqi
            writer.writerow(row)

5. 最后写两行代码防止在被其他文件导入时显示多余的程序主体部分。

if __name__ == '__main__':
    main()

5. 最后看下运行结果。
最终爬取到的数据会写入到china_city_aqi.csv中，我们打开.csv文件看下结果是什么样的。

二、数据分析

上面我们已经成功爬取到网站的数据了，接下来我们对.csv文件中的数据进行分析。数据分析涉及的知识点非常多，这里只对空气质量指数数据做简单的排名分析。当然，也可以根据需要对所有城市的单项数据进行分析。
1. 引入该项目需要用到的相关库和模块

import pandas as pd
import matplotlib.pyplot as plt

2. 解决中文不能正常显示问题

#解决中文不能正常人显示问题
plt.rcParams['font.sans-serif']=['Arial Unicode MS']
plt.rcParams['axes.unicode_minus'] = False

3. 接下来写main函数
主要涉及到python的图表操作和数据预处理，具体实现代码如下：

def main():
    aqi_data = pd.read_csv('china_city_aqi.csv')  #??csv??
    print('爬取数据类别')
    print(aqi_data.info())

    print('测试数据')
    print(aqi_data.head())

    #????????AQI???0???
    clean_aqi_data = aqi_data[aqi_data['AQI']>0]
    print('AQI最大值:',clean_aqi_data['AQI'].max())
    print('AQI最小值:',clean_aqi_data['AQI'].min())
    print('AQI平均值:',clean_aqi_data['AQI'].mean())

    #?????AQI?50????
    top_50_cities = clean_aqi_data.sort_values(by=['AQI']).head(50)
    top_50_cities.plot(kind='bar',x='city',y='AQI',title='AQI五十强',figsize=(32,18))
    plt.savefig('top_50_cities_bar.png')
    plt.show()

4. 最后写两行代码防止在被其他文件导入时显示多余的程序主体部分。

if __name__ == '__main__':
    main()

5. 看一下运行结果

附录：完整代码

# -*- coding: utf-8 -*-

import requests
import csv
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt


#解决中文不能正常人显示问题
plt.rcParams['font.sans-serif']=['Arial Unicode MS']
plt.rcParams['axes.unicode_minus'] = False


def get_city_aqi(city_pinyin):

    #获取城市AQI
    url = 'http://pm25.in/' + city_pinyin
    r = requests.get(url,timeout=60)
    soup = BeautifulSoup(r.text,'html.parser')
    div_list = soup.find_all('div',{ 'class':'span1'})

    city_aqi = []
    for i in range(8):
        div_content = div_list[i]
        caption = div_content.find('div',{ 'class','caption'}).text.strip()
        value = div_content.find('div',{ 'class','value'}).text.strip()
        city_aqi.append(value)
    return city_aqi

def get_all_cites():
    #获取所有城市及url
    url = 'http://pm25.in/'
    city_list = []
    r = requests.get(url, timeout=60)
    soup = BeautifulSoup(r.text, 'html.parser')

    city_div = soup.find_all('div',{ 'class':'bottom'})[1]  #查找该网页的第2个bottom
    city_link_list = city_div.find_all('a')
    for city_link in city_link_list:
        city_name = city_link.text
        city_pinyin  = city_link['href'][1:]               #查找city_link_list的herf并从第2个字符取出
        city_list.append((city_name,city_pinyin))
    return city_list

def main():
    city_list = get_all_cites()

    header = ['city','AQI','PM2.5/1h','PM10/1h','CO/1h','NO2/1h','O3/1h','O3/8h','SO2/1h']

    with open('china_city_aqi.csv','w',encoding='utf-8',newline='') as f:
        writer =csv.writer(f)
        writer.writerow(header)
        for i,city in enumerate(city_list):
            if (i+1)%10 == 0:
                print('已经处理{}条数据。（共有{}条数据）'.format(i+1,len(city_list)))
            city_name = city[0]
            city_pinyin = city[1]
            city_aqi = get_city_aqi(city_pinyin)
            row = [city_name]+city_aqi
            writer.writerow(row)
    
    
    aqi_data = pd.read_csv('china_city_aqi.csv')  #??csv??
    print('爬取数据类别')
    print(aqi_data.info())

    print('测试数据')
    print(aqi_data.head())

    #????????AQI???0???
    clean_aqi_data = aqi_data[aqi_data['AQI']>0]
    print('AQI最大值:',clean_aqi_data['AQI'].max())
    print('AQI最小值:',clean_aqi_data['AQI'].min())
    print('AQI平均值:',clean_aqi_data['AQI'].mean())

    #?????AQI?50????
    top_50_cities = clean_aqi_data.sort_values(by=['AQI']).head(50)
    top_50_cities.plot(kind='bar',x='city',y='AQI',title='AQI五十强',figsize=(32,18))
    plt.savefig('top_50_cities_bar.png')
    plt.show()

if __name__ == '__main__':
    main()

各位的鼓励就是我创作的最大动力，如果哪里写的不对的，欢迎评论区留言进行指正，如有收获请给博主一个免费的赞鼓励下呗

本文地址：https://blog.csdn.net/N2O_666/article/details/113992551