线程，协程对比和Python爬虫实战说明-白红宇的个人博客

线程，协程对比和Python爬虫实战说明

发布日期：2022-03-18 18:19:13 浏览次数：4 分类：技术文章

本文共 462 字，大约阅读时间需要 1 分钟。

此文首发于我的个人博客：

这篇文章写的是我对线程和协程的理解，有错误之处欢迎指出。

举一个餐馆的例子。我们把一个餐厅当做一个进程，如果这个餐厅只有1个服务员，那么这个餐厅是

单线程的；如果这个餐厅有2个服务员，那么这个餐厅是双线程的。

如果这个餐厅的服务员像海底捞的服务员一样，一次只服务一桌的客人，在这桌的客人离开前不会服务

下一桌的客人，那么我们称这个线程是阻塞的。如果一个服务员同时服务多桌客人，那么我们称这个线程

是非阻塞的。

实现了非阻塞的线程我们称之为协程，也就是说协程是依赖线程的存在。

下面就是Python的爬虫实战对比说明

本来想使用aiohttp库的，但为了对比效果更好，我使用requests库

我先写了一个本地的flask应用，在返回网页前等待3秒模拟真实网络爬虫

单线程爬虫：

共花费301秒

多线程爬虫：

共花费75秒

单线程协程爬虫：

只花费9秒

可以看出单线程的协程爬虫速度已经非常快了

多线程协程爬虫：

只花费3秒

多线程和协程结合，能够使得爬虫的速度达到极致

代码地址：

参考资料：

转载地址：https://zhang0peter.blog.csdn.net/article/details/83419165 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！

上一篇：Qt5.10.1在Windows平台下进行静态编译

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！