
Request模块实战01 ---简单爬取页面
打开保存的html文件,使用谷歌浏览器打开,成功运行。至此,第一个爬虫小程序顺利完成!
发布日期:2021-05-07 02:47:57
浏览次数:24
分类:精选文章
本文共 774 字,大约阅读时间需要 2 分钟。
Request模块实战01 — 简单爬取页面(四步曲)
1.request模块
- urllib模块 - request模块
2.request模块:
python中原生的一款基于网络请求的模块,功能强大,简单便捷,效率高作用:模拟浏览器发送请求
3.如何使用:(request模块的编码流程)
- 1.指定url- 2.发起请求- 3.获取响应数据- 4.持久化存储
4.代码实现
# -*- coding: utf-8# @Time : 2020/12/7 23:24# @Author : ZYX# @File : request01_firstblood.py# @software: PyCharmimport requestsif __name__ == '__main__': # 1.指定url url = "https://www.sogou.com/" # 2.发送请求 # get方法会返回一个响应对象 response = requests.get(url) # 3.获取响应数据.text 返回的是字符形式的响应数据 page_text = response.text print(page_text) # 4.持久化存储 with open('./data/sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) # 将爬取的数据写入文件 print('爬取数据结束!!!')


发表评论
最新留言
感谢大佬
[***.8.128.20]2025年04月15日 09时05分05秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
POD类型
2019-03-06
const与常量,傻傻分不清楚~
2019-03-06
Head First设计模式——迭代器模式
2019-03-06
MongoDB版本及存储引擎区别
2019-03-06
shell echo单行和多行文字定向写入到文件中
2019-03-06
cmp命令
2019-03-06
Linux 磁盘管理(df fu fdisk mkfs mount)
2019-03-06
jQuery的事件绑定与触发 - 学习笔记
2019-03-06
Linux上TCP的几个内核参数调优
2019-03-06
记一次讲故事机器人的开发-我有故事,让机器人来读
2019-03-06
seo 回忆录百度基本概念(一)
2019-03-06
netcore中使用session
2019-03-06
Android 开发学习进程0.25 自定义控件
2019-03-06
多媒体文件格式全解说(下)--图片
2019-03-06
淘宝WAP版小BUG分析
2019-03-06
asp.net打印网页后自动关闭网页【无需插件】
2019-03-06
【Maven】POM基本概念
2019-03-06
【Java思考】Java 中的实参与形参之间的传递到底是值传递还是引用传递呢?
2019-03-06
【设计模式】单例模式
2019-03-06