
爬虫笔记1
发布日期:2021-05-07 23:18:50
浏览次数:22
分类:原创文章
本文共 1580 字,大约阅读时间需要 5 分钟。
Powered by:AB_IN 局外人
Request
import requestsurl='https://www.baidu.com/'#get请求res=requests.get(url=url)#获取响应结果print(res)#<Respnse [200]>print(res.content) #b''二进制文本流print(res.text) #获取响应结果print(res.headers) #响应头信息print(res.status_code) #请求状态码 200print(res.url) #请求的url地址print(res.request.headers) #请求的头信息print(res.encoding) #默认的编码方式为 'ISO-8859-1'#请求是你发给服务器的东西,响应是服务器发给你的东西res.encoding = 'utf-8'print(res.text) #更改完成,返回内容的中文字符可以正常显示了
import requests#url='http://www.lmonkey.com/'url='http://www.xicidaili.com/nn' #服务器拒绝请求,拒绝python-request,所以定义请求头信息#定义请求头信息"""1.找个网页点检查2.刷新网页3.找到network-nn-headers-User-Agent"""headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}res=requests.get(url=url,headers=headers)#获取响应状态码code=res.status_codeprint(code)#响应成功后把响应的内容写入文件if code== 200: with open('./test.html','w',encoding='utf-8') as fp: fp.write(res.text)
import requestsurl='https://fanyi.baidu.com/sug' #用的是post请求,(得回车一下)headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}#post发送的数据s=input()data={ 'kw':s}# Form Data 里要求是kw#发送请求res=requests.post(url=url,headers=headers,data=data)#接受返回数据code= res.status_codeif code ==200 : print("请求成功") data=res.json() #是一个字典,一个个列表 if data['errno']==0: print('响应成功') #print(data) print(data['data'][0]['k']) v=data['data'][0]['v'] print(v.split(';')[-2].strip())#print(res.text)#print(res.json())#用json接受
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2025年03月27日 08时58分00秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
基于LabVIEW的入门指南
2021-05-08
“/”应用程序中的服务器错误。
2021-05-08
weblogic之cve-2015-4852
2021-05-08
Java注释
2021-05-08
水调歌头·1024
2021-05-08
C++ 函数重载
2021-05-08
Nginx的Gzip功能
2021-05-08
Azure Storage 系列(四)在.Net 上使用Table Storage
2021-05-08
abstract关键字的使用
2021-05-08
.NET微信网页开发之使用微信JS-SDK调用微信扫一扫功能
2021-05-08
解决Spirng注入时名称下的红色波浪线
2021-05-08
使用mybatis-generator生成底层
2021-05-08
Android APK 重签名
2021-05-08
Mybatis【3】-- Mybatis使用工具类读取配置文件以及从属性读取DB信息
2021-05-08
Mybatis【5】-- Mybatis多种增删改查那些你会了么?
2021-05-08
Mybatis【7】-- Mybatis如何知道增删改是否成功执行?
2021-05-08
计算输入的一句英文语句中单词数
2021-05-08
lvs+keepalive构建高可用集群
2021-05-08