chapter.requests库1.1
发布日期:2021-05-10 20:19:15 浏览次数:20 分类:精选文章

本文共 744 字,大约阅读时间需要 2 分钟。

User-Agent请求头

当我们在编写爬虫时有时会被网页当成爬虫或者知道不是人为操作,这时我们就要使用User-Agent请求头来包装我们的爬虫。

例:

import requests  #导入requests库#定义请求的urlurl='https://www.xicidaili.com/nn'#发送get请求result=requests.get(url)#获取响应结果print(result)print(result.text)#打印文本

运行结果:

503 Service Temporarily Unavailable

503 Service Temporarily Unavailable


nginx/1.1.19

可见这个网页返回503,并不是像之前那样访问成功。

这时我们使用User-Agent试试看。
如何获取User-Agent?
进入浏览器->进入网页->F12
在这里插入图片描述
在代码中加入

import requests  #导入requests库headers={       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0'}#定义请求的urlurl='https://www.xicidaili.com/nn'#发送get请求result=requests.get(url,headers=headers)#获取响应结果print(result)print(result.text)#打印文本

运行结果:

在这里插入图片描述
这里考虑代码过长,贴个图片。
运行成功。

上一篇:chapter.requests库1.2
下一篇:chapter.requests库1.0

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2025年04月23日 08时13分34秒