Request模块实战01 —简单爬取页面

Request模块实战01 — 简单爬取页面（四步曲）

1.request模块

 - urllib模块
 - request模块

2.request模块：

python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率高
作用：模拟浏览器发送请求

3.如何使用：(request模块的编码流程)

- 1.指定url
- 2.发起请求
- 3.获取响应数据
- 4.持久化存储

4.代码实现

# -*- coding: utf-8
# @Time : 2020/12/7 23:24
# @Author : ZYX
# @File : request01_firstblood.py
# @software: PyCharm
import requests
if __name__ == '__main__':
    # 1.指定url
    url = "https://www.sogou.com/"
    # 2.发送请求
    # get方法会返回一个响应对象
    response = requests.get(url)
    # 3.获取响应数据.text 返回的是字符形式的响应数据
    page_text = response.text
    print(page_text)
    # 4.持久化存储
    with open('./data/sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text) # 将爬取的数据写入文件
    print('爬取数据结束！！！')

通过运行结果可以看出，爬虫小程序成功完成，并且将对应的文件保存在了指定文件目录下。

打开保存的html文件，使用谷歌浏览器打开，成功运行。至此，第一个爬虫小程序顺利完成！

本文地址：https://blog.csdn.net/qq_45797116/article/details/110848824