python scrapy基础学习
发布日期:2021-06-30 15:40:27
浏览次数:2
分类:技术文章
本文共 459 字,大约阅读时间需要 1 分钟。
PHP交流群:294088839 Python交流群:652376983scrapy的命令操作1.创建一个项目 scrapy startproject 项目名2.生成一个spiders文件 进行项目编写 scrapy genspider 文件名 网址3.全局执行命令4.局部执行命令 必须在项目下scrapy genspider -l 列出来创建时建的模板设置指定模板 scrapy genspider -t crawl 文件名 网址5.运行你爬虫的程序测试命令 scrapy crawl spiders文件中你创建的文件名例:scrapy crawl zhihu6.check 命令 为了测试代码是否有错例 :scrapy check7.list 返回项目中的所有的名称8.edit 在命令中书写代码 用的不太多9. fetch 帮助我们下载一个网页10.view 网站下载 把网址保存下来11. shell 命令行交互模式
12. 进行抓取数据的保存 scrapy crawl 项目名 -o 文件名.json
转载地址:https://jsonll.blog.csdn.net/article/details/81868744 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2024年04月07日 21时39分44秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
(12)香橙派+apache2与php+天猫精灵=自建平台语音支持--天猫精灵对接7
2019-05-01
IAR编译ZStack-CC2530,生成HEX文件完全配置
2019-05-01
(9)香橙派+apache2与php+天猫精灵=自建平台语音支持--天猫精灵对接4
2019-05-01
(10)香橙派+apache2与php+天猫精灵=自建平台语音支持--天猫精灵对接5
2019-05-01
(11)香橙派+apache2与php+天猫精灵=自建平台语音支持--天猫精灵对接6
2019-05-01
消息队列接口API(posix 接口和 system v接口)
2019-05-01
C语言实现任意进制转换代码及解析
2019-05-01
Glib学习(19) 内存分配 Memory Allocation
2019-05-01
Glib学习(20) 内存片 Memory Slices
2019-05-01
Glib学习(21) 动态加载模块 Dynamic Loading of Modules
2019-05-01
Glib学习(22) 主事件循环 The Main Event Loop
2019-05-01
Glib学习(23) IO通道 IO Channels
2019-05-01
Valgrind学习总结
2019-05-01
Glib学习(24) Base64编解码 Base64 Encoding
2019-05-01
Glib学习(25) 数据校验和 Data Checksums
2019-05-01
(13)香橙派+apache2与php+天猫精灵=自建平台语音支持--duerOS对接
2019-05-01
(1)CMake入门笔记--CMake官网教程
2019-05-01
(2)CMake入门笔记--CMake官网教程
2019-05-01
(3)CMake入门笔记--CMake官网教程
2019-05-01
(4)CMake入门笔记--CMake官网教程
2019-05-01