爬虫笔记1
发布日期:2021-05-07 23:18:50 浏览次数:22 分类:原创文章

本文共 1580 字,大约阅读时间需要 5 分钟。

Powered by:AB_IN 局外人

Request

import requestsurl='https://www.baidu.com/'#get请求res=requests.get(url=url)#获取响应结果print(res)#<Respnse [200]>print(res.content) #b''二进制文本流print(res.text) #获取响应结果print(res.headers) #响应头信息print(res.status_code)  #请求状态码 200print(res.url) #请求的url地址print(res.request.headers) #请求的头信息print(res.encoding) #默认的编码方式为 'ISO-8859-1'#请求是你发给服务器的东西,响应是服务器发给你的东西res.encoding = 'utf-8'print(res.text) #更改完成,返回内容的中文字符可以正常显示了
import requests#url='http://www.lmonkey.com/'url='http://www.xicidaili.com/nn' #服务器拒绝请求,拒绝python-request,所以定义请求头信息#定义请求头信息"""1.找个网页点检查2.刷新网页3.找到network-nn-headers-User-Agent"""headers={       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}res=requests.get(url=url,headers=headers)#获取响应状态码code=res.status_codeprint(code)#响应成功后把响应的内容写入文件if code== 200:    with open('./test.html','w',encoding='utf-8') as fp:        fp.write(res.text)    
import requestsurl='https://fanyi.baidu.com/sug' #用的是post请求,(得回车一下)headers={       'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}#post发送的数据s=input()data={   'kw':s}# Form Data 里要求是kw#发送请求res=requests.post(url=url,headers=headers,data=data)#接受返回数据code= res.status_codeif code ==200 :    print("请求成功")    data=res.json() #是一个字典,一个个列表    if data['errno']==0:        print('响应成功')        #print(data)        print(data['data'][0]['k'])        v=data['data'][0]['v']        print(v.split(';')[-2].strip())#print(res.text)#print(res.json())#用json接受
上一篇:Py3 三种排序
下一篇:2020牛客NOIP赛前集训营-普及组(第六场)

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2025年03月27日 08时58分00秒