本文共 364 字，大约阅读时间需要 1 分钟。

1. 爬虫简介

• 爬虫：一段自动抓取互联网信息的程序。
  
• 价值：互联网数据，为我所用！
  

2. 简单爬虫架构

Python简单爬虫架构

Python简单爬虫架构的动态运行流程

3. URL管理器

RUL管理器

• 管理待爬取RUL集合和已抓取URL集合。
• 防止重复抓取、防止循环抓取
  

实现方式

1. 内存

如Python中：

• 待爬取URL集合：set()
• 已爬取URL集合：set()

2. 关系数据库

如MySQL：

• urls(url, is_crawled)

3. 缓存数据库

如Redis：

• 待爬取URL集合：set
• 已爬取URL集合：set

4. 网页下载器(urllib2)

网页下载器：将互联网上RUL对应的网页下载到本地的工具。

Python有哪几种网页下载器呢？

• Python官方基础模块：urllib2
• 更强大的第三方包：requests

转载地址：https://onefine.blog.csdn.net/article/details/86658551 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！