网站信息的采集系列(三)--百度搜索图片的采集及下载
发布日期:2022-02-24 11:35:56 浏览次数:6 分类:技术文章

本文共 1248 字,大约阅读时间需要 4 分钟。

本文实现在百度图片搜索栏中自动输入关键字搜索(以“军事”为例),并自动采集搜索的内容,采集内容包含图片标题,图片链接,显示在表中,并将图片下载到指定目录,效果如下图所示:

(一)网页分析

关键字输入框及搜索按钮

注意点击的是s_btn。

图片显示页面

图片标题存储在data-title的属性中,图片地址存储在data-objurl属性中。当图片增多时Imgpage会有更多。

(二)主要代码

输入关键字及点击搜索:

var keyword_input_element = document.getElementById('kw');

var search_elements = document.getElementsByClassName('s_btn');

keyword_input_element.value = '军事';

  //点击百度一下按钮

  search_elements[0].click();

获取图片信息的代码:

var imgid_element = document.getElementById('imgid');
if (imgid_element){
    var imgpage_elements = document.getElementsByClassName('imgpage');
    if (imgpage_elements && imgpage_elements.length > 0){
        for (var i = 0;i < imgpage_elements.length;i ++){
            var ul_elements = imgpage_elements[i].getElementsByTagName('ul');
            if (ul_elements && ul_elements.length > 0){
                var li_elememts = ul_elements[0].getElementsByTagName('li');
                for (var j = 0;j < li_elememts.length;j ++){
                    const regex = /<[^>]+>/gi;
                    var title = li_elememts[j].getAttribute('data-title');
                    var link = li_elememts[j].getAttribute('data-objurl');
                }
            }
        }
    }
};
 
获取到图片的地址后,利用QWebEnginePage::download函数可以很方便地下载图片。

转载地址:https://blog.csdn.net/hulinhulin/article/details/121192584 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Note-MySQL
下一篇:网站信息采集系统(四)--京东商品信息的采集

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月26日 10时37分28秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

MySQL数据库从入门到实战应用(学习笔记二) 2019-04-27
种树:二叉树、二叉搜索树、AVL树、红黑树、哈夫曼树、B树、树与森林 2019-04-27
【C++】攻克哈希表(unordered_map) 2019-04-27
转:【答学员问】- 该如何根据岗位学习相关技能 2019-04-27
转:【答学员问】有什么经验教训,是你在面试很多次之后才知道的? 2019-04-27
消息队列:解耦、异步、削峰,现有MQ对比以及新手入门该如何选择MQ? 2019-04-27
【奇技淫巧】-- 三角形最小路径和 2019-04-27
【小技巧】argc和argv的用法 2019-04-27
学不下去了怎么办? 2019-04-27
二叉树的前中后序遍历(迭代法)(带动画) 2019-04-27
【小技巧】【XShell】【Xftp】Windows桌面与Linux虚拟机互传文件 2019-04-27
【redis入门】Centos下安装redis 2019-04-27
【redis入门】redis安装后相关知识串讲 2019-04-27
【redis】来吧,展示一下redis 发布-订阅模式 2019-04-27
讲通C/C++预编译/条件编译指令 #ifdef,#ifndef,#endif,#define,… 2019-04-27
【redis6.0.6】redis源码慢慢学,慢慢看 -- 第二天:空间配置(zmalloc) 2019-04-27
当下热点词再学:redis缓存预热、更新、降级,限流 2019-04-27
【redis6.0.6】redis源码慢慢学,慢慢看 -- 第五天:adlist 2019-04-27
别抖,OK? 操作系统抖动现象、网络抖动与延迟、函数抖动之防抖与节流,串讲 2019-04-27
第六天:网络处理(anet部分)-- redis源码慢慢学,慢慢看【redis6.0.6】 2019-04-27