Request模块实战01 ---简单爬取页面
发布日期:2021-05-07 02:47:57 浏览次数:24 分类:精选文章

本文共 774 字,大约阅读时间需要 2 分钟。

Request模块实战01 — 简单爬取页面(四步曲)


1.request模块

- urllib模块 - request模块

2.request模块:

python中原生的一款基于网络请求的模块,功能强大,简单便捷,效率高作用:模拟浏览器发送请求

3.如何使用:(request模块的编码流程)

- 1.指定url- 2.发起请求- 3.获取响应数据- 4.持久化存储

4.代码实现

# -*- coding: utf-8#  @Time    : 2020/12/7 23:24#  @Author  : ZYX#  @File    : request01_firstblood.py# @software: PyCharmimport requestsif __name__ == '__main__':    # 1.指定url    url = "https://www.sogou.com/"    # 2.发送请求    #    get方法会返回一个响应对象    response = requests.get(url)    # 3.获取响应数据.text 返回的是字符形式的响应数据    page_text = response.text    print(page_text)    # 4.持久化存储    with open('./data/sogou.html','w',encoding='utf-8') as fp:        fp.write(page_text) # 将爬取的数据写入文件    print('爬取数据结束!!!')

在这里插入图片描述

通过运行结果可以看出,爬虫小程序成功完成,并且将对应的文件保存在了指定文件目录下。
在这里插入图片描述
打开保存的html文件,使用谷歌浏览器打开,成功运行。至此,第一个爬虫小程序顺利完成!
在这里插入图片描述


上一篇:Request模块实战02 --- 实现简易网页采集器(UA伪装反爬策略、处理有参数url)
下一篇:【Python+Flask+Echarts】可视化练习题 --- 航空火箭信息分析处理

发表评论

最新留言

感谢大佬
[***.8.128.20]2025年04月15日 09时05分05秒