Java爬虫实战第一篇:微博爬虫
发布日期:2021-06-29 19:25:53
浏览次数:3
分类:技术文章
本文共 535 字,大约阅读时间需要 1 分钟。
核心:1、有大量的微博uid 2、处理微博的反爬虫
一、开始准备工作
1、获取访问微博网页的cookie
谷歌浏览器访问:https://m.weibo.cn/按F12进入调试模式复制如图所示的数据,这就是我们需要的cookie了
2、cookie拿到了,接下来就是写代码模仿浏览器访问内容了
/** * 基于HttpClient 4.3的通用Get方法--微博Cookie * @param url 提交的URL * @return 提交响应 */ public static String get_byCookie(String url,String cookie) { if(CheckUtil.checkNull(cookie)){ cookie = "SCF=AjGxj6fuG*****00174";//这里就是刚刚你获取的cookie,有很长 } CloseableHttpClient client = HttpClients.createDefault(); String responseText = ""; Clos
转载地址:https://dada-superman.blog.csdn.net/article/details/91570539 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
感谢大佬
[***.8.128.20]2024年04月15日 22时13分07秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
算法-动态规划
2019-04-30
算法-3个水桶8升水
2019-04-30
算法-稳定匹配
2019-04-30
管道堵住问题的定位
2019-04-30
ssh问题
2019-04-30
struct union and endian
2019-04-30
a bug related with extern
2019-04-30
cbwfq移植的思考
2019-04-30
TCE1保序功能的开发
2019-04-30
TCE1保序功能开发-----续
2019-04-30
低温故障处理
2019-04-30
联想G455 XP/MAC 双系统安装
2019-04-30
学习cocoa编程-.Cocoa.Programming
2019-04-30
第3章 Object c
2019-04-30
第4章 memory management
2019-04-30
第5章 target/action
2019-04-30
第6章 helper object
2019-04-30
第7章 Key-Value Coding; Key-Value Observing
2019-04-30
第8章 NSArrayController
2019-04-30
第9章 NSUndoManager
2019-04-30