对网页中的文本数据进行爬取

最近在研究爬虫相关的内容，作为记录方便使用是查阅。
本文爬取的网址是长沙市统计局望城区2019年国民经济和社会发展统计公报
step1: 导入需要用到的库包

import requests  #爬取网页的库
from bs4 import BeautifulSoup #用于解析网页的库

step2：设置headers，网址，爬取网页

headers = { 
    'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36",
    }  # 构造请求头
url = 'http://tjj.changsha.gov.cn/tjxx/tjsj/tjgb/202010/t20201016_9060722.html'
response = requests.request("GET", url, headers=headers) # 获取网页数据
response.encoding = response.apparent_encoding # 当获取的网页有乱码时加

此时得到的结果即为该网址所示：网页源文件
step3：对获取的结果进行解析，拿到文本结果

soup = BeautifulSoup(response.text, 'html.parser')
bf = soup.find('div', class_='view TRS_UEDITOR trs_paper_default trs_web')

部分结果展示如下：

注：后续会把标题加上在补充上

本文地址：https://blog.csdn.net/xiaoxiaojie521/article/details/110919777

黄山市民网：https://www.huangshanshimin.com/

对网页中的文本数据进行爬取

相关文章