python scrapy基础学习
发布日期:2021-06-30 15:40:27 浏览次数:2 分类:技术文章

本文共 459 字,大约阅读时间需要 1 分钟。

 PHP交流群:294088839 Python交流群:652376983scrapy的命令操作1.创建一个项目 scrapy startproject 项目名2.生成一个spiders文件 进行项目编写 scrapy genspider 文件名 网址3.全局执行命令4.局部执行命令 必须在项目下scrapy genspider -l  列出来创建时建的模板设置指定模板 scrapy genspider -t crawl 文件名 网址5.运行你爬虫的程序测试命令 scrapy crawl spiders文件中你创建的文件名例:scrapy crawl zhihu6.check 命令 为了测试代码是否有错例 :scrapy check7.list 返回项目中的所有的名称8.edit 在命令中书写代码 用的不太多9. fetch 帮助我们下载一个网页10.view  网站下载 把网址保存下来11. shell 命令行交互模式

12. 进行抓取数据的保存 scrapy crawl 项目名 -o 文件名.json

 

 

转载地址:https://jsonll.blog.csdn.net/article/details/81868744 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:php EAS CBC 128 256加密(16进制/base64)
下一篇:python对word文档表格的处理

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2024年04月07日 21时39分44秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章