【爬虫】练习
发布日期:2021-06-29 02:15:35
浏览次数:3
分类:技术文章
本文共 1081 字,大约阅读时间需要 3 分钟。
京东商品(正常运行)
import requestsurl='https://item.jd.com/100004286349.html'try: r=requests.get(url) r.raise_for_status()#状态码,返回200则对 r.encoding=r.apparent_encoding#编码 print(r.text[:1000])except: print('爬取失败')
亚马逊商品信息(存疑,可能是网站已变更?似乎无法得到有用信息)
import requestsurl='https://www.amazon.cn/gp/product/B01M8L5Z3Y'try: kv={'user-agent':'Mozilla/5.0'} #修改requestd库——伪装成浏览器,别被亚马逊识破 r=requests.get(url,headers=kv) r.raise_for_status()#状态码,返回200则对 r.encoding=r.apparent_encoding#编码 print(r.text[:1000])except: print('爬取失败')
百度、360搜索关键词,返回长度(百度存疑,可能是网站已变更——需要验证码;360可)
#百度import requestskeyword='python'#关键词try: kv={'wd':keyword} #修改requestd库——伪装成浏览器,别被亚马逊识破 r=requests.get('https://www.baidu.com/s',params=kv)#搜索关键词 print(r.request.url) r.raise_for_status() print(len(r.text))except: print('爬取失败')
#360import requestskeyword='python'try: kv={'q':keyword} #修改requestd库——伪装成浏览器,别被亚马逊识破 r=requests.get('https://www.so.com/s',params=kv)#搜索关键词 print(r.request.url) r.raise_for_status() print(len(r.text))except: print('爬取失败')
网络图片的爬取和存储
转载地址:https://blog.csdn.net/YWP_2016/article/details/105120724 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
做的很好,不错不错
[***.243.131.199]2024年04月20日 04时08分07秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
角谷步数
2019-04-29
C语言二级模拟系统
2019-04-29
乘法算式
2019-04-29
信用卡号校验
2019-04-29
立方和等式
2019-04-29
字符串压缩
2019-04-29
大数相加
2019-04-29
随机投点——用蒙特卡洛方法求π的近似值
2019-04-29
实验一 winrunner的安装使用
2019-04-29
Problem 1001 有多少个整点
2019-04-29
Problem 1002 Another A+B Problem
2019-04-29
Problem 1004 成绩与等级
2019-04-29
Problem 1005 字符串
2019-04-29
Problem 1007 字典序
2019-04-29
Problem 1008 年龄范围
2019-04-29
Problem 1010 字符串II
2019-04-29
割圆法求π
2019-04-29
公式法求π
2019-04-29
汉诺塔问题
2019-04-29
Problem 1011 进制间的转换
2019-04-29