爬虫学习(13):爬取坑爹网gif图
发布日期:2021-06-29 14:38:55 浏览次数:3 分类:技术文章

本文共 1147 字,大约阅读时间需要 3 分钟。

昨天学完了BeautifulSoup,爬取了诗词网,今天学了PyQuery,于是我选择爬取坑爹网

学啥用啥嘛,嘿嘿!

插个小曲:这是我qq群970353786,同在学习python,希望更多大神小白能跟我一起交流,我很多源代码也放到群里的,但是你进群问题回答print(“hello world”)结果是啥都回答不上还是不允许进。

效果:(都是动态gif的)
在这里插入图片描述

代码:(代码仅供学习参考,如果爬取内容有所侵权请联系我删除)

import requestsfrom fake_useragent import UserAgentfrom pyquery import PyQuery as pqheaders={
'UserAgent':UserAgent().random}url='https://kengdie.com/'#搞笑网网址html = requests.get(url=url,headers=headers).content.decode('utf-8')doc=pq(html)#初始化html字符串img=doc('.card-bg img')#获取card-bg下内容的a标签path='D://code//my python code//爬虫//image//'for item in img.items(): # print(item.attr('data-src')) title=item.attr('alt')#获取标题 title=title+'.gif' src=item.attr('data-src')#获取照片地址 src1=src.replace('mw200','large') src2=src1.replace('thumb150','large') response=requests.get(url=src2,headers=headers) with open(path+title,'wb') as f: f.write(response.content) print('下载成功:%s'%title)

我来缕一缕PyQuery与BeautifulSoup两个模块区别:

我觉得最大的区别就是BeautifulSoup返回的东西都装在一个列表,还要去单独遍历。两者都用到了CSS选择器,确实好用,当我学到这的时候,对比下之前的正则表达式,真是简单好多了。
CSS选择器的语法参考

https://www.w3school.com.cn/cssref/css_selectors.asp

如果对代码有问题,可以对我留言或者加群问我,我可以讲一下。

转载地址:https://chuanchuan.blog.csdn.net/article/details/113728894 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:爬虫学习(14):数据储存为txt文档
下一篇:爬虫学习(12):爬取诗词名句网并且下载保存

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月27日 17时23分50秒