python爬虫(gzip新浪微博为例)
发布日期:2021-06-29 12:30:13 浏览次数:4 分类:技术文章

本文共 523 字,大约阅读时间需要 1 分钟。

# coding=utf-8import urllib.requestimport gzipurl = 'http://news.sina.com.cn/'def getUrlContent(url):    # 返回页面内容    req = urllib.request.Request(url)    req.add_header("User-Agent",                   "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")    data = urllib.request.urlopen(req).read()    # 解码    try:        html = gzip.decompress(data).decode("utf-8")    except:        html = data.decode("utf-8")    return htmlprint(getUrlContent(url))

转载地址:https://bupt-xbz.blog.csdn.net/article/details/78936702 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:计算机网络应用层笔记
下一篇:Linux运维笔记

发表评论

最新留言

关注你微信了!
[***.104.42.241]2024年04月12日 03时13分40秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

成功关键在于此:如何创造一个有即时价值的最小化可行产品? 2021-07-02
终端大改造:只需五步,构建你的梦中情“端” 2021-07-02
你的代码“balance”怎么样?找到简洁性和可读性的平衡点 2021-07-02
中科院刘康:低资源环境下的事件知识抽取 2021-07-02
提高软件工程技能的关键技术,这些资源赶紧收藏起来 2021-07-02
走进数据科学:最好是通过比网课更好的方法 2021-07-02
机器学习背后的数学支柱,这5本书帮你搞定! 2021-07-02
AI革命第一步:最容易被忽略但必不可少的物联网 2021-07-02
2020年开发运维工具清单:选择开发运维工具堆栈吧 2021-07-02
效率提升法则:高效人士不会去做的4件事 2021-07-02
8.PostgreSQL约束 2021-07-02
【技术分享】使用AES加密技术保障数据安全 2021-07-02
【应用实例】布线多?成本高?不可靠?泽耀方案没烦恼! 2021-07-02
数据可视化工具:Matplotlib绘图 2021-07-02
用Python写个超级小恐龙跑酷游戏,上班摸鱼我能玩一天 2021-07-02
闺蜜看我用Python画了一幅樱花图,吵着要我给他介绍程序员小哥哥 2021-07-02
【Python爬虫实战】知乎热榜数据采集,上班工作摸鱼两不误,知乎热门信息一网打尽 2021-07-02
自从我学会了数据挖掘Matplotlib、Numpy、Pandas、Ta-Lib等一系列库,我把领导开除了 2021-07-02
Python抓取哔哩哔哩up主信息:只要爬虫学的好,牢饭吃的早 2019-04-29
有个码龄5年的程序员跟我说:“他连wifi从来不用密码” 2019-04-29